JP2022099183A - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP2022099183A
JP2022099183A JP2020213009A JP2020213009A JP2022099183A JP 2022099183 A JP2022099183 A JP 2022099183A JP 2020213009 A JP2020213009 A JP 2020213009A JP 2020213009 A JP2020213009 A JP 2020213009A JP 2022099183 A JP2022099183 A JP 2022099183A
Authority
JP
Japan
Prior art keywords
living body
predetermined
safety
life
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020213009A
Other languages
English (en)
Other versions
JP7480694B2 (ja
Inventor
晴規 井上
Haruki Inoue
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020213009A priority Critical patent/JP7480694B2/ja
Priority to US17/523,108 priority patent/US11830343B2/en
Priority to CN202111484240.XA priority patent/CN114663935A/zh
Publication of JP2022099183A publication Critical patent/JP2022099183A/ja
Application granted granted Critical
Publication of JP7480694B2 publication Critical patent/JP7480694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00764—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models the input being a vehicle driving condition, e.g. speed
    • B60H1/00778—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models the input being a vehicle driving condition, e.g. speed the input being a stationary vehicle position, e.g. parking or stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00785—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by the detection of humidity or frost
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00978—Control systems or circuits characterised by failure of detection or safety means; Diagnostic methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00985—Control systems or circuits characterised by display or indicating devices, e.g. voice simulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の確保を図ることが可能な技術を提供する。【解決手段】本開示の一実施形態に係る制御装置８０は、車両１００の室内に所定の生体が置き去りにされているか否かを判定する生体存否判定部８０１と、車両１００の室内に置き去りにされている所定の生体の顔を含む画像データを取得する室内カメラ１０と、画像データに基づき、所定の生体の顔の表情に関する情報を取得する表情解析情報取得部８０３と、所定の生体の表情に関する情報に基づき、所定の生体の生命の安全性が所定基準以下に低下しているか否かを判定する判定部８０６と、判定部８０６により所定の生体の生命の安全性が所定基準以下に低下していると判定される場合、所定の生体の生命の安全性を確保するための安全機能を作動させる制御部８０７と、を備える。【選択図】図３

Description

本開示は、情報処理装置等に関する。
従来、例えば、人やペットの動物等、車両の室内に置き去り状態の生体を検知し、生体の生命の安全性を確保するための技術が知られている（例えば、特許文献１参照）。
特許文献１では、車両の室内の温度や車両の施錠からの経過時間等に応じて、生体の生命の安全性の低下を判断し、警告のアラームを出力することで、生体の生命の安全確保を図っている。
特開２０２０－１４１４８９号公報
しかしながら、生体には、個体差が存在する。そのため、仮に、車両の室内の温度や車両の施錠からの経過時間等が基準の範囲内であっても、車両の室内に置き去りにされた特定の生体の生命の安全性が確保されているとは言い切れない可能性がある。
そこで、上記課題に鑑み、生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の確保を図ることが可能な技術を提供することを目的とする。
上記目的を達成するため、本開示の一実施形態では、
車両の室内に所定の生体が置き去りにされているか否かを判定する第１の判定部と、
前記車両の室内に置き去りにされている前記所定の生体の顔を含む画像データに基づき、前記所定の生体の顔の表情に関する情報を取得する表情情報取得部と、
前記所定の生体の表情に関する情報に基づき、前記所定の生体の生命の安全性が所定基準以下に低下しているか否かを判定する第２の判定部と、
前記第２の判定部により前記所定の生体の生命の安全性が前記所定基準以下に低下していると判定される場合、前記所定の生体の生命の安全性を確保するための安全機能を作動させる制御部と、を備える、
情報処理装置が提供される。
本実施形態によれば、情報処理装置は、車両の室内に置き去りにされている所定の生体の顔の表情に関する情報を利用することができる。そのため、情報処理装置は、所定の生体の顔の表情に関する情報に基づき、その所定の生体に固有の状態等を把握しながら、その所定の生体の生命の安全性の低下度合いを判断することができる。よって、情報処理装置は、所定の生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の確保を図ることができる。
また、上述の実施形態において、
前記表情情報取得部により取得される、前記所定の生体の表情に関する情報に基づき、前記所定の生体の生命の安全性の低下度合いを推定する推定部を備え、
前記第２の判定部は、前記推定部の推定結果に応じて、前記所定の生体の生命の安全性が前記所定基準以下に低下しているか否かを判定してよい。
本実施形態によれば、情報処理装置は、車両の室内に置き去りにされている所定の生体の顔の表情に関する情報を用いることで、所定の生体の個体差を考慮して、所定の生体の生命の安全性の低下度合いを推定することができる。そのため、情報処理装置は、その推定結果を用いて、所定の生体の生命の安全性が所定基準以下に低下しているかを判定することにより、具体的に、所定の生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の確保を図ることができる。
また、上述の実施形態において、
前記所定の生体の表情に関する情報には、前記所定の生体の感情に関する情報が含まれ、
前記推定部は、前記所定の生体の感情に関する情報がポジティブな感情又は中立の感情を表す場合よりネガティブな感情を表す方が前記所定の生体の生命の安全性の低下度合いが大きくなるように、前記所定の生体の生命の安全性の低下度合いを推定してよい。
本実施形態によれば、情報処理装置は、所定の生体の感情を捉えることにより、具体的に、所定の生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の低下度合いを推定することができる。
また、上述の実施形態において、
前記所定の生体の表情に関する情報には、前記所定の生体の顔の状態に関する情報が含まれ、
前記推定部は、前記所定の生体の顔の状態に関する情報が前記所定の生体のポジティブな顔の状態又は中立の顔の状態を表す場合よりネガティブな顔の状態を表す場合の方が前記所定の生体の生命の安全性の低下度合いが大きくなるように、前記所定の生体の生命の安全性の低下度合いを推定してよい。
本実施形態によれば、情報処理装置は、所定の生体の顔の状態を捉えることにより、具体的に、所定の生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の低下度合いを推定することができる。
また、上述の実施形態において、
前記推定部は、前記所定の生体の感情に関する情報のポジティブ感情又は中立の感情を表す状態からネガティブな感情を表す状態への変化、及び前記所定の生体の顔の状態に関する情報のポジティブな顔の状態又は中立の顔の状態を表す状態からネガティブな顔の状態を表す状態への変化に応じて、前記所定の生体の生命の安全性の低下が加速するように、前記所定の生体の生命の安全性の低下度合いを推定してよい。
本実施形態によれば、情報処理装置は、所定の生体の感情や顔の状態のネガティブな変化に合わせて、所定の生体の生命の安全性の低下が加速している状況を捉える形で、所定の生体の生命の安全性の低下度合いを推定することができる。そのため、情報処理装置は、所定の生体の感情や顔の状態のネガティブな変化を捉えることにより、具体的に、所定の生体の個体差を考慮して、所定の生体の生命の安全性の低下度合いを推定することができる。
また、上述の実施形態において、
前記推定部は、前記所定の生体が前記車両の室内に置き去りにされている時間の経過に応じて、前記所定の生体の生命の安全性が低下するように、前記所定の生体の生命の安全性の低下度合いを推定すると共に、前記所定の生体の感情に関する情報がポジティブな感情又は中立の感情を表す状態の場合よりもネガティブな感情を表す場合の方が、前記時間の経過に対する前記所定の生体の生命の安全性の低下速度が大きくなり、且つ、前記所定の生体の顔の状態に関する情報がポジティブな顔の状態又は中立の顔の状態を表す場合よりもネガティブな顔の状態を表す場合の方が、前記時間の経過に対する前記所定の生体の生命の安全性の低下速度が大きくなるように、前記所定の生体の生命の安全性の低下度合いを推定してよい。
本実施形態によれば、情報処理装置は、所定の生体が車両の室内に置き去りにされている時間の経過に応じて、所定の生体の生命の低下する前提の下で、所定の生体の感情や顔の状態の相違によって、その低下速度を可変させることができる。そのため、情報処理装置は、所定の生体の感情や顔の状態のネガティブな変化に合わせて、具体的に、所定の生体の生命の安全性の低下が加速するように、所定の生体の生命の安全性の低下度合いを推定することができる。
また、上述の実施形態において、
前記所定の生体の表情に関する情報には、前記所定の生体の感情に関する情報が含まれ、
前記推定部は、前記所定の生体の感情に関する情報が予め規定される複数の種類のネガティブ感情の何れかを表している場合、該当するネガティブ感情の種類によって、前記所定の生体の生命の安全性の低下度合いが異なるように、前記所定の生体の生命の安全性の低下度合いを推定してよい。
本実施形態によれば、情報処理装置は、ネガティブな感情の種類によって、その感情が表している所定の生体の身体的な状況等が異なり得るところ、より適切に、所定の生体の生命の安全性の低下度合いを推定することができる。
また、上述の実施形態において、
前記所定の生体の表情に関する情報には、前記所定の生体の年齢に関する情報が含まれ、
前記推定部は、前記所定の生体の年齢によって、前記所定の生体の生命の安全性の低下度合いが異なるように、前記所定の生体の生命の安全性の低下度合いを推定してもよい。
本実施形態によれば、情報処理装置は、所定の生体の年齢によって、体力等の特性が異なり得るところ、より適切に、所定の生体の生命の安全性の低下度合いを推定することができる。
また、上述の実施形態において、
前記所定の生体の生命の安全性を確保するための安全機能には、前記車両に搭載される音出力装置を通じて、前記車両の周囲に前記所定の生体の置き去りに関する報知を行う機能、前記車両の利用者が利用する端末装置に対して、前記所定の生体の置き去りに関する報知を行う機能、前記車両の外部に設置される所定の施設に対して、前記所定の生体の置き去りに関する通報を行う機能、及び前記車両の空調装置を作動させる機能のうちの少なくとも一つが含まれてよい。
本実施形態によれば、情報処理装置は、具体的に、所定の生体の生命の安全性の確保を図ることができる。
また、本開示の他の実施形態は、情報処理方法やプログラムにより実現される。
上述の実施形態によれば、生体の個体差を考慮して、車両に置き去り状態の生体の生命の安全性の確保を図ることができる。
生体置き去り監視システムの第１例を示す概要図である。 車両のハードウェア構成の一例を示す図である。 車両の機能構成の一例を示す機能ブロック図である。 評価指数の決定方法の一例を説明する図である。 評価指数の決定方法の一例を説明する図である。 評価指数の時系列での変化の具体例を示す図である。 生体置き去り監視処理の一例を概略的に示すフローチャートである。 生体置き去り監視システムの第２例を示す図である。 車両の機能構成の他の例を示す機能ブロック図である。 生体置き去り監視システムの第３例を示す図である。 サーバのハードウェア構成の一例を示す図である。 サーバの機能構成の一例を示す機能ブロック図である。
以下、図面を参照して実施形態について説明する。
［生体置き去り監視システムの第１例］
図１～図７を参照して、本実施形態に係る生体置き去り監視システムの第１例について説明する。
＜生体置き去り監視システムの概要＞
図１は、生体置き去り監視システム１の第１例を示す概要図である。
生体置き去り監視システム１は、車両１００の室内に置き去りにされた所定の監視対象の生体（以下、「監視生体」）の生命の安全性の低下度合いを監視する。そして、生体置き去り監視システム１は、車両の１００の室内に置き去りにされた監視生体の生命の安全性が所定基準以下に低下すると、監視生体の生命の安全性を確保するための機能（以下、「安全機能」）を作動させる。安全機能の詳細は、後述する。
監視生体には、例えば、人間が含まれる。また、監視生体には、例えば、ペットの動物が含まれる。
図１に示すように、生体置き去り監視システム１は、車両１００と、サーバ２００と、ユーザ端末３００とを含む。
生体置き去り監視システム１に含まれる車両１００は、一台であっても、複数台であってもよい。つまり、生体置き去り監視システム１は、複数の車両１００のそれぞれに置き去りにされた監視生体の生命の安全性の低下度合いを監視してよい。
車両１００は、その室内に置き去りにされた所定の監視生体の存否を判定し、監視生体が存在する場合、監視生体の生命の安全性の低下度合いを監視する機能を有する。そして、車両１００は、その室内に置き去りにされた監視生体の生命の安全性が所定基準以下に低下すると、安全機能を作動させる。
車両１００は、後述の通信装置５０を搭載し、所定の通信回線を通じて、外部（例えば、サーバ２００、ユーザ端末３００、警察ＰＳの通信システム等）と通信可能に接続される。これにより、車両１００は、サーバ２００やユーザ端末３００に監視生体の置き去りに関する情報を含む信号を送信したり、後述の如く、警察ＰＳに監視生体の置き去りに関する通報を行ったりすることができる。
所定の通信回線は、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等の広域ネットワーク（ＷＡＮ：Wide Area Network）を含む。また、所定の通信回線は、例えば、ロカールネットワーク（ＬＡＮ：Local Area Network）を含んでもよい。また、所定の通信回線は、例えば、ＷｉＦｉやブルートゥース（登録商標）等の無線通信規格に基づく近距離通信回線を含んでもよい。
サーバ２００は、例えば、車両１００の状態等の監視を行う監視センタＣＴに設置される。サーバ２００は、所定の通信回線を通じて、車両１００と通信可能に接続される。
サーバ２００は、例えば、監視センタＣＴに駐在するオペレータＯＰと、車両１００或いは車両１００の乗員との間のインタフェースとして機能する。これにより、オペレータＯＰは、車両１００の乗員と通話を行ったり、車両１００から送信される信号に含まれる情報を音声や画面を通じて確認したりすることができる。
ユーザ端末３００は、車両１００の利用者が利用（所持）する端末装置である。車両１００の利用者は、例えば、車両１００の所有者や車両１００の所有者の家族等である。ユーザ端末３００は、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等の携帯型（可搬型）の端末装置である。また、ユーザ端末３００は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
ユーザ端末３００は、所定の通信回線を通じて、車両１００と通信可能に接続される。これにより、ユーザ端末３００は、車両１００から送信される信号を受信し、信号に含まれる情報をディスプレイやスピーカ等を通じてユーザ（車両１００の利用者）に把握させることができる。
尚、ユーザ端末３００は、所定の通信回線を通じて、サーバ２００と通信可能に接続され、サーバ２００を経由して、車両１００と通信可能に接続されてもよい。以下、後述の第２例（図８）の場合についても同様であってよい。
＜車両の構成＞
図２は、本例に係る生体置き去り監視システム１に関する車両１００のハードウェア構成の一例を示す図である。図３は、本例に係る生体置き去り監視システム１に関する車両１００の機能構成の一例を示す図である。
図２に示すように、車両１００は、室内カメラ１０と、室温センサ２０と、湿度センサ３０と、車両状態データ出力装置４０と、通信装置５０と、音出力装置６０と、空調装置７０と、制御装置８０とを含む。
室内カメラ１０は、車両１００の室内に設置され、車両１００の室内の様子を撮像する。具体的には、室内カメラ１０は、室内の座席の全ての乗員の顔を撮像範囲に含むように設置されてよい。室内カメラ１０の出力（画像データ）は、一対一の通信線や車載ネットワーク等を通じて、制御装置８０に取り込まれる。車載ネットワークは、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ、車載イーサネット（Ethernet）等である。
室温センサ２０は、車両１００の室内の温度を計測する。室温センサ２０は、例えば、インストルメントパネルの内部に設置される。室温センサ２０の出力（計測データ）は、一対一の通信線や車載ネットワーク等を通じて、制御装置８０に取り込まれる。
湿度センサ３０は、車両１００の室内の湿度を計測する。湿度センサ３０は、例えば、インストルメントパネルの内部に設置される。湿度センサ３０の出力（計測データ）は、一対一の通信線や車載ネットワーク等を通じて、制御装置８０に取り込まれる。
車両状態データ出力装置４０は、車両１００の状態に関するデータを出力する。車両状態データ出力装置４０は、例えば、車両１００の状態に関する計測データを出力するセンサである。また、車両状態データ出力装置４０は、例えば、車両１００の状態に関する制御データを出力するＥＣＵ（Electronic Control Unit）である。車両状態データ出力装置４０の出力は、一対一の通信線や車載ネットワークを通じて、制御装置８０に取り込まれる。
通信装置５０は、所定の通信回線を通じて、外部と通信を行う。通信装置５０は、例えば、基地局を末端とする移動体通信網に接続し、外部と通信を行うことが可能な移動体通信モジュールであり、具体的には、ＤＣＭ（Data Communication Module）であってよい。通信装置５０は、一対一の通信線や車載ネットワークを通じて、制御装置８０と通信可能に接続される。通信装置５０は、例えば、制御装置８０の制御下で、信号を外部に送信してよい。また、通信装置５０により外部から受信される信号は、制御装置８０に取り込まれてよい。
音出力装置６０は、一対一の通信線や車載ネットワークを通じて、制御装置８０と通信可能に接続され、制御装置８０の制御下で、所定の音を出力する。音出力装置６０は、例えば、ブザー、アラーム、スピーカ等を含む。
空調装置７０は、車両１００の室内の温度や湿度等を調整する。空調装置７０は、例えば、インストルメントパネルの内部に設置される。空調装置７０は、一対一の通信線や車載ネットワークを通じて、制御装置８０と通信可能に接続され、制御装置８０の制御下で、作動することができる。
制御装置８０（情報処理装置の一例）のは、生体置き去り監視システム１に関する制御を行う。制御装置８０は、例えば、ＥＣＵである。制御装置８０は、生体置き去り監視システム１に関する制御に特化した専用の制御装置（ＥＣＵ）であってもよいし、車両１００に関する他の機能に関する制御と処理を共有する汎用の制御装置（ＥＣＵ）であってもよい。
制御装置８０は、その機能が任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図２に示すように、制御装置８０は、ＣＰＵ（Central Processing Unit）８１と、メモリ装置８２と、補助記憶装置８３と、インタフェース装置８４とを含み、それぞれがバスＢ１により接続されるコンピュータを中心に構成される。
ＣＰＵ８１は、メモリ装置８２にロードされるプログラムを実行し、プログラムの命令に従って、制御装置８０の各種機能を実現する。
メモリ装置８２は、例えば、プログラムの起動指示があった場合に、補助記憶装置８３のプログラムをＣＰＵ８１が読み込み可能なようにロードする。メモリ装置８２は、例えばＲＡＭ（Random Access Memory）等である。
補助記憶装置８３は、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置８３は、例えば、ＲＯＭ（Read Only Memory）等である。
インタフェース装置８４は、例えば、車載ネットワークに接続したり、各種センサ、アクチュエータ等と一対一で接続したりするためのインタフェースとして用いられる。インタフェース装置８４は、接続する対象に合わせて、複数の異なる種類のインタフェース装置を含んでよい。
制御装置８０の各種機能を実現するプログラムは、例えば、車両１００の車載ネットワークに繋がる所定の外部接続用のコネクタに着脱可能なケーブルで接続される専用ツールによって提供される。外部接続用のコネクタは、例えば、ＤＬＣ（Data Link Coupler）である。プログラムは、専用ツールにおける所定の操作に応じて、専用ツールからケーブル、コネクタ、及び車載ネットワークを経由して、制御装置８０の補助記憶装置８３にインストールされる。また、プログラムは、所定の通信回線を通じて、他のコンピュータ（例えば、サーバ２００）からダウンロードされ、補助記憶装置８３にインストールされてもよい。
図３に示すように、制御装置８０は、機能部として、生体存否判定部８０１と、室内環境情報取得部８０２と、表情解析情報取得部８０３と、経過時間取得部８０４と、評価情報取得部８０５と、判定部８０６と、制御部８０７とを含む。制御装置８０の機能部は、例えば、補助記憶装置８３にインストールされる各種プログラムをメモリ装置８２にロードし、ＣＰＵ８１上で実行することにより実現される。
生体存否判定部８０１（第１の判定部の一例）は、車両１００の駐車状態において、室内カメラ１０から取り込まれる画像データに基づき、車両１００の室内に監視生体が存在するか否かを判定する。即ち、生体存否判定部８０１は、駐車状態の車両１００の室内に監視生体が置き去りにされているか否かを判定する。車両１００の駐車状態とは、車両１００のアクセサリ電源がＯＦＦされた状態、即ち、ＡＣＣ－ＯＦＦの状態に相当する。具体的には、生体存否判定部８０１は、既知の画像処理技術や画像認識技術を用いて、室内カメラ１０の画像データから車両１００の室内の監視生体の認識を試みる。そして、生体存否判定部８０１は、室内カメラ１０の画像データから監視生体を認識できる場合、車両１００の室内に監視生体が存在すると判定し、監視生体を認識できない場合、車両１００の室内に監視生体が存在しないと判定する。より具体的には、生体存否判定部８０１は、所定の制御周期ごとに、室内カメラ１０の最新の画像データに基づき、車両１００の室内の監視生体の認識を試行する。そして、生体存否判定部８０１は、今回の試行結果に加えて、過去の試行結果も考慮して、車両１００の室内に監視生体が存在するか否かを判定する。これにより、制御装置８０は、何らかの理由で、今回の試行で監視生体を認識できない場合であっても、過去に監視生体が認識されている状況が継続している場合、監視生体が車両１００の室内に存在すると判定することができる。
尚、生体存否判定部８０１は、画像データ以外の異なるデータに基づき、車両１００の室内に監視生体が存在するか否かを判定してもよい。例えば、車両１００の室内にミリ波レーダが設けられ、生体存否判定部８０１は、ミリ波レーダから監視生体の心拍や脈拍による皮膚の表面の微細な動きを表す計測データの出力の有無により、車両１００の室内に監視生体が存在するか否かを判定してもよい。以下、後述の生体存否判定部２００１についても同様であってよい。
室内環境情報取得部８０２は、車両１００の駐車状態において、室内カメラ１０、室温センサ２０、及び湿度センサ３０等の出力に基づき、車両１００の室内環境に関する情報（以下、「室内環境情報」）を取得する。具体的には、室内環境情報は、車両１００の室内の監視生体に対する身体的、精神的な負荷を表す情報である。室内環境情報は、例えば、車両１００の室内の監視生体に対する暑さによる身体的、精神的な負荷を表す暑さ指数（ＷＢＧＴ：Wet Bulb Globe Temperature）である。室内環境情報取得部８０２は、例えば、室温センサ２０の画像データに基づき、画像解析処理を行い、車両１００の室内の陽の当たり具合等から、車両１００の室内の監視生体に対する輻射熱の影響を推定してよい。これにより、室内環境情報取得部８０２は、車両１００の室内の室温、湿度、及び輻射熱に基づき、暑さ指数を算出することができる。
尚、車両１００の室内には、車両１００の室内の構成要素の輻射熱を計測可能なサーモセンサが設置されてもよい。この場合、室内環境情報取得部８０２は、サーモセンサの出力に基づき、車両１００の室内の監視生体に対する輻射熱の影響を取得してよい。また、室内環境情報取得部８０２は、車両１００の室内の監視生体に対する寒さによる身体的、精神的な負荷を表す情報（例えば、車両１００の室温等）を取得してもよい。
表情解析情報取得部８０３（表情情報取得部の一例）は、生体存否判定部８０１により車両１００の室内に監視生体が存在すると判定される場合に、室内カメラ１０の画像データに基づき、画像データに含まれる監視生体の顔に関する既知の表情解析を行う。そして、表情解析情報取得部８０３は、室内カメラ１０の画像データに含まれる監視生体の顔の表情解析の結果に関する情報（以下、「表情解析情報」）を取得する。表情解析情報には、監視生体の感情に関する情報（以下、「感情情報」）、監視生体の顔の状態に関する情報（以下、「顔状態情報」）、及び監視生体の年齢に関する情報（以下、「年齢情報」）が含まれる。
感情情報には、監視生体の顔の表情から推測される、監視生体の感情の種類が含まれる。感情の種類には、例えば、ポジティブな感情、中立の感情、及びネガティブな感情が含まれる。ポジティブな感情には、"うれしい"、"楽しい"、"幸せ"等の感情が含まれうる。また、ネガティブな感情には、"怒り"、"悲しみ"、"驚き"、"怖れ"等の感情が含まれうる。
顔状態情報には、監視生体の顔の表情に現れている、監視生体の顔の状態の種類が含まれる。顔の状態の種類には、例えば、ポジティブな顔の状態、中立の顔の状態、及びネガティブな顔の状態が含まれる。ポジティブな顔の状態には、例えば、笑っている状態が含まれる。また、ネガティブな顔の状態には、例えば、泣いている状態が含まれる。また、ネガティブな顔の状態には、例えば、目を閉じている状態が含まれてもよい。監視生体が目を閉じている場合、身体的、精神的な負荷による疲労が相対的に大きくなっている可能性があると推測されるからである。
表情解析情報取得部８０３による表情解析の頻度（周期）は、室内カメラ１０による画像データの取得頻度（周期）と同じであってもよいし、室内カメラ１０による画像データの取得頻度（周期）より小さく設定されてもよい。また、表情解析情報取得部８０３による表情解析の頻度（周期）は、可変されてもよい。例えば、表情解析の頻度は、上述の室内環境情報に基づき、車両１００の室内環境が監視生体に対する身体的、心理的な負荷がより高い状態にあるほど、表情解析の頻度が高く、負荷がより低い状態にあるほど、表情解析の頻度が低くなるように設定されてよい。これにより、制御装置８０は、処理負荷の軽減を図りつつ、車両１００の室内環境が身体的、心理的な負荷がより高い状況では、リアルタイムでの表情解析を実現し、監視生体の表情の変化をリアルタイムに捉えることができる。
経過時間取得部８０４は、車両状態データ出力装置４０の出力に基づき、監視生体が車両１００の室内に置き去りにされている経過時間（以下、「置き去り経過時間」）を取得する。例えば、経過時間取得部８０４は、制御装置８０に内蔵されるＲＴＣ（Real Time Clock）等の計時機能を用いて、置き去り経過時間を取得する。置き去り経過時間は、例えば、車両１００が停止（即ち、ＡＣＣ－ＯＦＦ）された時点からの経過時間であってよい。また、置き去り経過時間は、車両１００の停止後、最初に、監視生体の存在が確認された時点からの経過時間であってもよい。また、置き去り経過時間は、例えば、車両１００の停止後、最初に、監視生体の存在が確認された時点から遡って、直近で、車両１００のドアが閉められた時点を起点とする経過時間であってもよい。
評価情報取得部８０５（推定部の一例）は、生体存否判定部８０１により車両１００の室内に生体が存在していると判定される場合、車両１００の監視生体の生命の安全性の低下度合いを推定する。具体的には、評価情報取得部８０５は、車両１００の室内に監視生体が置き去りにされている状況において、所定の制御周期ごとに、室内環境情報、表情解析情報、及び置き去り経過時間に基づき、車両１００の監視生体の生命の安全性の低下度合いを評価した情報（以下、「評価情報」）を取得する。
評価情報取得部８０５は、例えば、評価情報として、車両１００の監視生体の生命の安全性の低下度合いを表す指標値（以下、「評価指数」）ＥＩを算出してよい。
評価指数ＥＩは、例えば、ゼロ以上の値を有し、その値が大きくなるほど、車両１００の室内に置き去りにされている監視生体の生命の安全性の低下度合いがより高いと推定されるような相関関係に沿って規定される。具体的には、評価指数ＥＩは、室内環境情報に基づき決定される室内環境指数Ｗ、及び表情解析情報に基づき決定される表情解析指数Ｆ、置き去り経過時間ｔ、及び調整指数βを用いて、以下の式（１）、（２）により算出されてよい。
ＥＩ＝αｔ＋β ・・・（１）
α＝Ｗ＋Ｆ ・・・（２）
これにより、制御装置８０は、置き去り経過時間ｔの増加に応じて、監視生体の生命の安全性の低下度合いが大きくなる前提の下で、室内環境指数Ｗ及び表情解析指数Ｆによって、その進展速度αを調整可能な態様で、評価指数ＥＩを算出することができる。
尚、進展速度αには、室内環境指数Ｗ及び表情解析指数Ｆ以外の他の指標が考慮されてもよい。例えば、進展速度αには、監視生体の行動に関する指標が考慮されてもよい。具体的には、監視生体による生命の安全性の低下に関する行動の有無やその行動の回数等が進展速度αに考慮され、その行動の回数が多くなるほど、進展速度αが大きくなるように、進展速度αが設定されてもよい。
室内環境指数Ｗは、ゼロ以上の値を有し、車両１００の室内環境による監視物体に対する身体的、精神的な負荷が大きいほど、大きくなるように設定される。例えば、室内環境情報として暑さ指数（ＷＢＧＴ）が採用される場合、室内環境指数Ｗは、暑さ指数が大きくなるほど、大きくなるように設定される。
例えば、図４は、評価指数ＥＩの決定方法の一例を説明する図である。具体的には、図４は、室内環境指数Ｗの決定方法の一例を説明する図である。
図４に示すように、暑さ指数が２５℃未満の範囲、２５℃以上且つ２８℃未満の範囲、２８℃以上の範囲の３つの範囲のそれぞれに対して、ゼロより大きい所定値Ｗ１，Ｗ２，Ｗ３が割り当てられる。各範囲に割り当てられる所定値Ｗ１，Ｗ２，Ｗ３は、暑さ指数が大きく（高く）なるほど、室内環境指数Ｗが大きくなるように規定される（Ｗ１＜Ｗ２＜Ｗ３）。これにより、評価情報取得部８０５は、室内環境情報としての暑さ指数がどの範囲に該当するかを判断することにより、室内環境指数Ｗを決定することができる。
尚、２８℃以上の暑さ指数の範囲は、２８℃以上且つ３１℃未満の範囲と、３１℃以上の範囲とに分割され、後者の範囲の場合の方が前者の範囲の場合より大きくなるように、室内環境指数Ｗの値が設定されてもよい。また、暑さ指数が３１℃以上の範囲の場合、調整指数βにその影響が加味され、暑さ指数が３１℃未満の場合よりも調整指数βが大きくなるように設定されるようにしてもよい。
表情解析指数Ｆは、ゼロ以上の値を有し、車両１００の室内環境による監視物体に対する身体的、精神的な負荷を表情解析情報から評価する指数である。表情解析指数Ｆは、表情解析情報が監視生体に対する身体的、精神的な負荷がより大きい状態を表しているほど、大きな値になるように規定される。表情解析指数Ｆは、例えば、感情情報に基づき決定される感情指数ＦＥ、顔状態情報に基づき決定される顔状態指数ＦＳ、及び年齢情報に基づき決定される年齢指数ＦＡを用いて、以下の式（３）により算出されてよい。
Ｆ＝ＦＥ＋ＦＳ＋ＦＡ ・・・（３）
感情指数ＦＥは、ゼロ以上の値を有し、車両１００の室内に置き去りにされている監視生体の身体的、心理的な負荷を監視生体の感情面から評価する指数である。感情指数ＦＥは、感情情報が監視生体に対する身体的、精神的な負荷がより大きい状態を表しているほど、大きな値になるように規定される。感情指数ＦＥは、例えば、感情情報が監視生体のポジティブな感情或いは中立の感情を表している場合よりもネガティブな感情を表している場合の方が大きくなるように規定される。また、感情指数ＦＥは、例えば、感情情報が監視生体のネガティブな感情を表している場合、そのネガティブな感情の種類によって可変されてよい。監視生体の生命の安全性の低下度合いによって、ネガティブな感情の種類も変化しうるからである。
例えば、図５は、評価指数ＥＩの決定方法の一例を示す図である。具体的には、図５は、表情解析指数Ｆの決定方法の一例を説明する図である。
図５に示すように、感情指数ＦＥは、例えば、感情情報がポジティブな感情を表す場合、最も小さい所定値ＦＥ０（＞０）に設定され、ネガティブな感情を表す場合、その種類に応じて、所定値ＦＥ０より大きい所定値ＦＥ１～ＦＥ３の何れかに設定される。具体的には、感情指数ＦＥは、感情情報が"驚き"の感情を表す場合、所定値ＦＥ１に設定され、"悲しみ"の感情を表す場合、所定値ＦＥ２（＞ＦＥ１）に設定され、"怒り"の感情を表す場合、所定値ＦＥ３（＞ＦＥ２）に設定される。
尚、ネガティブな感情の種類に応じて規定される感情指数ＦＥの値の大小関係は、一例であり、他の大小関係が規定されてもよい。感情指数ＦＥを異ならせるためのネガティブな感情の種類区分には、"驚き"、"悲しみ"、"怒り"の他、上述の"怖れ"等の他の感情の種類が含まれてもよい。
顔状態指数ＦＳは、ゼロ以上の値を有し、車両１００の室内に置き去りにされている監視生体の身体的、心理的な負荷を監視生体の顔の状態から評価する指数である。顔状態指数ＦＳは、顔状態情報が監視生体に対する身体的、心理的な負荷がより大きい状態を表しているほど、大きな値になるように規定される。顔状態指数ＦＳは、例えば、顔状態情報が監視生体のポジティブな顔の状態或いは中立の顔の状態を表している場合よりもネガティブな顔の状態を表している場合の方が大きくなるように規定される。また、顔状態指数ＦＳは、例えば、顔状態情報が監視生体のネガティブな顔の状態を表している場合、そのネガティブな顔の状態の種類によって可変されてもよい。監視生体の生命の安全性の低下度合いによって、ネガティブな顔の状態の種類も変化しうるからである。
図５に示すように、顔状態指数ＦＳは、例えば、顔状態情報がポジティブな感情を表す場合、所定値ＦＳ０（＞０）に設定され、ネガティブな感情を表す場合、その種類に応じて、所定値ＦＳ０より大きい所定値ＦＳ１，ＦＳ２の何れかに設定される。具体的には、顔状態指数ＦＳは、開状態情報が"泣いている"顔の状態を表す場合、所定値ＦＳ１に設定され、目を閉じている場合、所定値ＦＳ２（＞ＦＳ１）に設定される。監視生体が目を閉じている状態は、例えば、監視生体の生命の安定度合いが相対的に低下し、顔の状態による反応が困難になっていると推定されうるからである。
年齢指数ＦＡは、ゼロ以上の値を有し、車両１００の室内に置き去りにされている監視生体の身体的、心理的な負荷を監視生体の年齢から評価する指数である。監視生体の年齢によって、負荷に対する耐性が異なりうるからである。年齢指数ＦＡは、身体的、心理的な負荷に対する耐性が低い年齢の監視生体であるほど、大きな値になるように規定される。年齢指数ＦＡは、例えば、監視生体の年齢が新生児や幼児に相当する場合、相対的に大きい値に設定されてよい。新生児は、例えば、０歳の監視物体に相当し、幼児は、例えば、１歳～５歳の監視物体に相当する。また、年齢指数ＦＡは、例えば、監視生体の年齢が高齢者に相当する場合、相対的に大きい場合に設定されてよい。高齢者は、例えば、６５歳以上の監視物体に相当する。
図５に示すように、年齢指数ＦＡは、例えば、年齢情報が"中学生以上（高齢者を除く）"、"小学生"、"高齢者"、"幼児"、"新生児"の何れの区分の年齢を表しているかによって、所定値ＦＡ０～ＦＡ４の何れかに設定される。"中学生以上（高齢者を除く）"の区分は、１２歳以上且つ６５歳未満の監視生体に相当し、"小学生"の区分は、６歳以上１２歳未満の監視物体に相当する。具体的には、年齢指数ＦＡは、年齢情報が"中学生以上（高齢者を除く）"に相当する年齢を表している場合、最も小さい所定値ＦＡ０に設定され、年齢情報が"小学生"に相当する年齢を表している場合、その次に小さい所定値ＦＡ１（＞ＦＡ０）に設定される。一方、年齢指数ＦＡは、年齢情報が"高齢者"、"幼児"、及び"新生児"の何れかに相当する年齢を表している場合、それぞれ、相対的に大きい所定値ＦＡ２（＞ＦＡ１），ＦＡ３（＞ＦＡ２），ＦＡ４（＞ＦＡ３）に設定される。
尚、"高齢者"、"幼児"、及び"新生児"のそれぞれの区分に対応する年齢指数ＦＡの大小関係は、一例であり、他の大小関係が規定されてもよい。
調整指数βは、例えば、進展速度αが変化する場合に、評価指数ＥＩが変化する直前の値を基準として、進展速度αで変化するように、評価指数ＥＩを調整するために用いられる（後述の図６参照）。また、調整指数βは、上述の如く、暑さ指数が３１℃以上の場合、暑さ指数が３１℃未満の場合よりも大きく設定されることで、暑さ指数が３１℃以上の場合の監視生体の生命の安全性の低下への影響が考慮されてもよい。
尚、室内環境情報及び表情解析情報の少なくとも一方は、進展速度αに代えて、或いは、加えて、調整指数βに考慮されてもよい。
図３に戻り、判定部８０６（第２の判定部の一例）は、車両１００の室内に監視生体が置き去りにされている状況下で評価情報取得部８０５により逐次取得される評価情報に基づき、監視生体の生命の安全性が所定基準以下に低下したか否かを判定する。
具体的には、判定部８０６は、評価情報取得部８０５により算出される評価指数ＥＩが所定の閾値ＥＩ＿ｔｈ以上になった場合に、監視生体の生命の安定性が所定基準以下に低下したと判定してよい。
例えば、図６は、車両１００の室内に監視生体（例えば、幼児）が置き去りにされた場合の評価指数ＥＩの時系列での変化の具体例を示す図である。
図６に示すように、置き去り経過時間ｔが０から所定値ｔ１までの期間ＴＰ１では、室内環境情報（暑さ指数）、感情情報、及び顔状態情報は、それぞれ、２５℃未満の状態、ポジティブな感情、及び中立の顔の状態を表している。そのため、置き去り経過時間ｔの増加に対して、比較的小さい傾き（進展速度α）で評価指数ＥＩが増加している。
その後、置き去り経過時間ｔが所定値ｔ１に到達したときに、室内環境情報（暑さ指数）、及び感情情報は、それぞれ、２５℃以上且つ２８℃未満の状態、及びネガティブな感情に移行（悪化）している。そのため、置き去り経過時間ｔが所定値ｔ１から所定値ｔ２までの期間ＴＰ２では、期間ＴＰ１よりも置き去り経過時間ｔの増加に対する評価指数ＥＩの増加速度（進展速度α）が大きくなり、評価指数ＥＩの増加が加速している。
更に、置き去り経過時間ｔが所定値ｔ２に到達したときに、監視生体の顔の状態が中立から泣いている状態に移行（悪化）している。そのため、置き去り経過時間ｔが所定値ｔ２以降の期間ＴＰ３では、期間ＴＰ２よりも置き去り経過時間ｔの増加に対する評価指数ＥＩの増加速度（進展速度α）が大きくなり、評価指数ＥＩの増加が更に加速している。
そして、置き去り経過時間ｔが所定値ｔ３に到達したときに評価指数ＥＩが閾値ＥＩ＿ｔｈに到達し、判定部８０６は、監視生体の生命の安定性が所定基準以下に低下したと判定する。
図３に戻り、制御部８０７は、判定部８０６により車両１００の室内の置き去りにされている監視生体の生命の安全性が所定基準以下に低下したと判定される場合、上記の安全機能を作動させる。
安全機能には、例えば、車両１００の周囲に対して、車両１００の室内への監視物体の置き去りに関する報知を行う機能（以下、「車両周囲報知機能」）が含まれてよい。具体的には、制御部８０７は、音出力装置６０を通じて、車両１００の室内への監視物体の置き去りに関する聴覚情報（音による情報）を車両１００の周囲に向かって出力させる。監視物体の置き去りに関する報知には、例えば、監視物体が車両１００の室内に置き去りにされている状態を表す報知や車両１００の室内への置き去りにより監視物体の生命の安全性が低下していることを表す報知等を含んでよい。これにより、制御装置８０は、車両１００の周囲の人に対して、車両１００の室内に置き去りにされている監視物体の存在やその監視物体の生命の安全性の低下等を報知することができる。そのため、制御装置８０は、車両１００の周囲の人に対して、所定の機関（例えば、警察ＰＳ）等への通報を促すことができる。
また、安全機能には、例えば、ユーザ端末３００を通じて、車両１００の利用者に車両１００の室内への監視生体の置き去りに関する報知を行う機能（以下、「ユーザ報知機能」）が含まれてよい。具体的には、制御部８０７は、通信装置５０を用いて、ユーザ端末３００と通信を行い、ユーザ端末３００に対して、車両１００の室内への監視生体の置き去りに関する報知信号（プッシュ通知）を送信することで、ユーザ報知機能を実現してよい。これにより、制御装置８０は、車両１００を離れている車両１００の利用者に対して、監視物体が置き去り状態であることを認識させたり、置き去り状態の監視生体の生命の安全性が低下していることを把握させたりして、車両１００に戻るように促すことができる。
また、安全機能には、例えば、監視センタＣＴ（所定の施設の一例）のオペレータＯＰ等に対して、車両１００の室内への監視生体の置き去りに関する報知（通報）を行う機能（以下、「オペレータ通報機能」）が含まれてよい。具体的には、制御部８０７は、通信装置５０を用いて、サーバ２００と通信を行い、車両１００の室内への監視物体の置き去りに関する報知信号をサーバ２００に送信することで、オペレータ報知機能を実現してよい。これにより、制御装置８０は、サーバ２００を通じて、監視センタＣＴのオペレータＯＰ等に、監視生体が車両１００の室内に置き去り状態であることや置き去り状態の監視生体の生命の安全性が低下していること等を知らせることができる。そのため、制御装置８０は、監視センタＣＴのオペレータＯＰ等に対して、車両１００の利用者への連絡、警察ＰＳへの通報、救急車の手配等を促すことができる。
また、安全機能には、例えば、警察ＰＳ（所定の施設の一例）に対して、車両１００の室内への監視生体の置き去りに関する報知（通報）を行う機能（以下、「警察通報機能」）が含まれてよい。具体的には、制御部８０７は、通信装置５０を用いて、警察ＰＳと通信（例えば、自動音声通話等）を行い、車両１００の室内への監視生体の置き去りに関する通報を行うことで、警察通報機能を実現させてよい。これにより、制御装置８０は、警察ＰＳに出動を要請したり、警察ＰＳを通じて、救急車の手配を依頼したりすることができる。
また、安全機能には、例えば、空調装置７０を作動させる機能（以下、「空調作動機能」）が含まれてよい。これにより、制御装置８０は、例えば、暑さ指数が上昇する方向に車両１００の室内環境が悪化している状況で、空調装置７０の冷房機能を作動させことができる。また、制御装置８０は、例えば、車両１００の室温が氷点下の場合のように、室温が非常に低くなる方向に車両１００の室内環境が悪化している状況で、空調装置７０の暖房機能を作動させることができる。
このように、本例では、制御装置８０は、表情解析情報を用いることで、監視生体に固有の感情、顔の状態、年齢等を考慮して、車両１００の室内に置き去りにされている監視生体の生命の安全性の低下度合いを判断（推定）することができる。そのため、制御装置８０は、監視生体の個体差を考慮して、車両１００の室内に置き去りにされている監視生体の生命の安全性の確保を図ることができる。
＜制御装置の処理フロー＞
図７は、制御装置８０による生体置き去り監視処理の一例を概略的に示すフローチャートである。本フローチャートは、例えば、車両１００の駐車状態において、所定の制御周期ごとに繰り返し実行される。
図７に示すように、ステップＳ１０２にて、生体存否判定部８０１は、車両１００の室内に監視生体が存在するか否かを判定する。生体存否判定部８０１は、車両１００の室内に監視生体が存在する場合、ステップＳ１０４に進み、存在しない場合、今回のフローチャートの処理を終了する。
ステップＳ１０４にて、室内環境情報取得部８０２は、室内環境情報を取得する。
制御装置８０は、ステップＳ１０４の処理が完了すると、ステップＳ１０６に進む。
ステップＳ１０６にて、表情解析情報取得部８０３は、最新の表情解析情報を取得する。最新の表情解析情報は、本フローチャートの処理周期中に出力される表情解析情報、或いは、本フローチャートの処理周期よりも前に直近で取得済みの表情解析情報である。表情解析の頻度が本フローチャートの処理頻度よりも低い場合や、上述の如く、表情解析の頻度が可変される場合がありうるからである。
制御装置８０は、ステップＳ１０６の処理が完了すると、ステップＳ１０８に進む。
ステップＳ１０８にて、経過時間取得部８０４は、置き去り経過時間を取得する。
制御装置８０は、ステップＳ１０８の処理が完了すると、ステップＳ１１０に進む。
ステップＳ１１０にて、評価情報取得部８０５は、取得された、室内環境情報、表情解析情報、及び置き去り経過時間に基づき、評価指数ＥＩを取得（算出）する。
制御装置８０は、ステップＳ１１０の処理が完了すると、ステップＳ１１２に進む。
ステップＳ１１２にて、判定部８０６は、評価指数ＥＩが閾値ＥＩ＿ｔｈ以上になったか否かを判定する。判定部８０６は、評価指数ＥＩが閾値ＥＩ＿ｔｈ以上になっている場合、監視生体の生命の安全性が所定基準以下に低下したと判断し、ステップＳ１１４に進み、閾値ＥＩ＿ｔｈ以上になっていない場合、今回のフローチャートの処理を終了する。
ステップＳ１１４にて、制御部８０７は、安全機能を作動させる。これにより、制御装置８０は、車両１００の室内に置き去りにされている監視生体の生命の安全性の確保を図ることができる。
このように、制御装置８０は、所定の制御周期ごとに、逐次、評価指数ＥＩを算出し、評価指数ＥＩが閾値ＥＩ＿ｔｈ以上になったかを監視することで、車両１００の室内に置き去り状態の監視生体の生命の安全性の低下度合いを監視することができる。そして、制御装置８０は、評価指数ＥＩが閾値ＥＩ＿ｔｈ以上になった場合に、安全機能を作動させることで、監視生体の生命の安全性の確保を図ることができる。
［生体置き去り監視システムの第２例］
次に、図８、図９を参照して、本実施形態に係る生体置き去り監視システム１の第２例について説明する。以下、上述の第１例と同じ或いは対応する構成には、同じ符号を付し、上述の第１例と異なる部分を中心に説明を行う。
＜生体置き去り監視システムの概要＞
図８は、生体置き去り監視システム１の第２例を示す概要図である。
図８に示すように、生体置き去り監視システム１は、車両１００と、サーバ２００と、ユーザ端末３００と、表情解析サーバ４００とを含む。
表情解析サーバ４００は、所定の通信回線を通じて、車両１００と通信可能に接続される。表情解析サーバ４００は、車両１００から送信（アップロード）される、室内カメラ１０の画像データに基づき、表情解析を行い、その表情解析結果に関する情報を含む信号を車両１００に返信する。これにより、車両１００（制御装置８０）は、例えば、その室内に置き去りにされた生体の生命の安全性の低下度合いに関する監視のための処理負荷を軽減することができる。また、車両１００は、制御装置８０の処理負荷の軽減に伴い、車両１００のバッテリの残容量の低下を抑制することができる。
＜車両の構成＞
図９は、生体置き去り監視システム１に関する車両１００の機能構成の他の例を示す機能ブロック図である。
尚、生体置き去り監視システム１に関する車両１００のハードウェア構成は、上述の第１例の場合と同様、図２で表されるため、図示を省略する。
車両１００は、上述の第１例の場合と同様、室内カメラ１０と、室温センサ２０と、湿度センサ３０と、車両状態データ出力装置４０と、通信装置５０と、音出力装置６０と、空調装置７０と、制御装置８０とを含む。
図９に示すように、制御装置８０は、上述の第１例の場合と同様、機能部として、生体存否判定部８０１と、室内環境情報取得部８０２と、表情解析情報取得部８０３と、経過時間取得部８０４と、評価情報取得部８０５と、判定部８０６と、制御部８０７とを含む。
表情解析情報取得部８０３は、通信装置５０を通じて、表情解析サーバ４００に表情解析を要求する信号（以下、「表情解析要求信号」）を送信すると共に、室内カメラ１０の画像データを表情解析サーバ４００に送信（アップロード）する。
表情解析サーバ４００は、車両１００から受信される表情解析要求信号に応じて、アップロードされた画像データの表情解析を行い、表情解析結果に関する情報（表情解析情報）を車両１００に返信する。
これにより、表情解析情報取得部８０３は、表情解析サーバ４００から返信される表情解析情報を取得することができる。
通信装置５０を通じて、表情解析要求信号が表情解析サーバ４００に送信される頻度（周期）は、室内カメラ１０による画像データの取得頻度（周期）と同じであってもよいし、室内カメラ１０による画像データの取得頻度（周期）より小さく設定されてもよい。また、表情解析要求信号が表情解析サーバ４００に送信される頻度（周期）は、上述の第１例の表情解析の頻度の場合と同様に、可変されてもよい。これにより、制御装置８０は、通信負荷や通信料金の軽減を図りつつ、車両１００の室内環境が身体的、心理的な負荷がより高い状況では、リアルタイムでの表情解析を実現し、監視生体の表情の変化をリアルタイムに捉えることができる。
このように、本例では、制御装置８０は、表情解析サーバ４００に画像データの表情解析を依頼し、表情解析サーバ４００から表情解析情報を取得することができる。これにより、制御装置８０は、車両１００の室内に置き去りにされている監視生体の監視の際の処理負荷を軽減することができる。
尚、制御装置８０は、画像データの表情解析だけでなく、画像データから監視生体を認識する画像認識処理を外部装置に依頼してもよい。この場合、生体存否判定部８０１は、外部装置から返信される、画像認識処理の結果に基づき、車両１００の室内に監視生体が存在するか否かを判定する。これにより、制御装置８０は、車両１００の室内に置き去りにされている監視生体の監視の際の処理負荷を更に軽減することができる。
［生体置き去り監視システムの第３例］
次に、図１０～図１２を参照して、本実施形態に係る生体置き去り監視システム１の第３例について説明する。以下、上述の第１例や第２例と同じ或いは対応する構成には、同じ符号を付し、上述の第１例、第２例と異なる部分を中心に説明を行う。
＜生体置き去り監視システムの概要＞
図１０は、生体置き去り監視システム１の第３例を示す概要図である。
図１０に示すように、生体置き去り監視システム１は、車両１００と、サーバ２００と、ユーザ端末３００とを含む。
車両１００は、その駐車状態において、その室内に置き去りにされている監視生体の存否の判定や監視生体の生命の安全性の低下度合いの監視を行うための各種データ（以下、「監視用データ」）をサーバ２００に送信（アップロード）する。監視用データには、室内カメラ１０の画像データ、室温センサ２０の出力データ（計測データ）、湿度センサ３０の出力データ（計測データ）、車両状態データ出力装置４０の出力データ等が含まれる。
サーバ２００（情報処理装置の一例）は、車両１００から送信される監視用データに基づき、車両１００の室内に置き去りにされた所定の監視生体の存否を判定し、監視生体が存在する場合、監視生体の生命の安全性の低下度合いを監視する機能を有する。そして、サーバ２００は、その室内に置き去りにされた監視生体の生命の安全性が所定基準以下に低下すると、安全機能を作動させる。
ユーザ端末３００は、所定の通信回線を通じて、サーバ２００と通信可能に接続される。これにより、ユーザ端末３００は、サーバ２００から送信される信号を受信し、信号に含まれる情報をディスプレイやスピーカ等を通じてユーザ（車両１００の利用者）に把握させることができる。
＜サーバの構成＞
図１１は、生体置き去り監視システム１に関するサーバ２００のハードウェア構成の一例を示す図である。図１２は、生体置き去り監視システム１に関するサーバ２００の機能構成の一例を示す機能ブロック図である。
尚、本例に係る車両１００のハードウェア構成は、上述の第１例等と同様に、図２で表される。また、本例では、制御装置８０の生体存否判定部８０１、室内環境情報取得部８０２、表情解析情報取得部８０３、経過時間取得部８０４、評価情報取得部８０５、判定部８０６、及び制御部８０７の機能は、省略され、後述の如く、サーバ２００に移管される。
サーバ２００は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図１１に示すように、サーバ２００は、ドライブ装置２０１と、補助記憶装置２０２と、メモリ装置２０３と、ＣＰＵ２０４と、インタフェース装置２０５と、表示装置２０６と、入力装置２０７とを含み、それぞれがバスＢ２により接続される。
サーバ２００の各種機能を実現するプログラムは、例えば、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、或いは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体２０１Ａによって提供される。プログラムが記録された記録媒体２０１Ａが、ドライブ装置２０１にセットされると、プログラムが記録媒体２０１Ａからドライブ装置２０１を介して補助記憶装置２０２にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置２０２にインストールされてもよい。
補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。
ＣＰＵ２０４は、メモリ装置２０３に格納された各種プログラムを実行し、プログラムに従ってサーバ２００に係る各種機能を実現する。
インタフェース装置２０５は、外部の通信回線に接続するためのインタフェースとして用いられる。これにより、サーバ２００は、所定の通信回線を通じて、例えば、車両１００、ユーザ端末３００、警察ＰＳ等の外部と通信を行うことができる。
表示装置２０６は、例えば、ＣＰＵ２０４で実行されるプログラムに従って、ＧＵＩ（Graphical User Interface）を表示する。
入力装置２０７は、サーバ２００に関する様々な操作指示をサーバ２００の作業者や管理者等に入力させるために用いられる。
図１２に示すように、サーバ２００は、機能部として、生体存否判定部２００１と、室内環境情報取得部２００２と、表情解析情報取得部２００３と、経過時間取得部２００４と、評価情報取得部２００５と、判定部２００６と、制御部２００７とを含む。サーバ２００の機能部は、例えば、補助記憶装置２０２にインストールされる各種プログラムをメモリ装置２０３にロードし、ＣＰＵ２０４上で実行することにより実現される。
生体存否判定部２００１（第１の判定部の一例）は、車両１００の駐車状態において、車両１００から受信される、室内カメラ１０の画像データに基づき、車両１００の室内に監視生体が存在するか否かを判定する。具体的な判定方法は、上述の第１例（生体存否判定部８０１）の場合と同様であってよい。
室内環境情報取得部２００２は、車両１００の駐車状態において、車両１００から受信される、室内カメラ１０、室温センサ２０、及び湿度センサ３０等の出力データに基づき、車両１００の室内環境情報を取得する。室内環境情報取得部２００２による室内環境情報の具体的な取得方法や取得される室内環境情報の具体的な内容は、上述の第１例等（室内環境情報取得部８０２）の場合と同様であってよい。
表情解析情報取得部２００３（表情情報取得部の一例）は、生体存否判定部２００１により車両１００の室内に監視生体が存在すると判定される場合に、室内カメラ１０の画像データに基づき、画像データに含まれる監視生体の顔に関する既知の表情解析を行う。そして、表情解析情報取得部２００３は、表情解析の結果に基づき、表情解析情報を取得する。表情解析情報取得部２００３により取得される表情解析情報の具体的な内容は、上述の第１例等（表情解析情報取得部８０３）の場合と同様であってよい。
尚、表情解析情報取得部２００３は、例えば、上述の第２例における表情解析サーバ４００等の外部装置に画像解析を依頼してもよい。
経過時間取得部２００４は、車両１００から受信される、車両状態データ出力装置４０の出力データに基づき、置き去り経過時間を取得する。経過時間取得部２００４により取得される置き去り経過時間の具体的な取得方法は、上述の第１例等（経過時間取得部８０４）の場合と同様であってよい。
評価情報取得部２００５（推定部の一例）は、生体存否判定部２００１により車両１００の室内に生体が存在していると判定される場合、車両１００の監視生体の生命の安全性の低下度合いを推定する。具体的には、評価情報取得部２００５は、車両１００の室内に監視生体が置き去りにされている状況において、所定の制御周期ごとに、室内環境情報、表情解析情報、及び置き去り経過時間に基づき、車両１００の監視生体の生命の安全性の低下度合いに関する評価指数ＥＩを取得する。評価情報取得部２００５により取得される評価指数ＥＩの具体的な取得方法や取得される評価指数ＥＩの具体的な内容は、上述の第１例等（評価情報取得部８０５）の場合と同様であってよい。
判定部２００６（第２の判定部の一例）は、車両１００の室内に監視生体が置き去りにされている状況下で評価情報取得部２００５により逐次取得される評価情報に基づき、監視生体の生命の安全性が所定基準以下に低下したか否かを判定する。具体的な判定方法は、上述の第１例等（判定部８０６）の場合と同様であってよい。
制御部２００７は、判定部２００６により車両１００の室内の置き去りにされている監視生体の生命の安全性が所定基準以下に低下したと判定される場合、上記の安全機能を作動させる。
制御部２００７は、例えば、車両１００に制御指令を送信することにより、車両周囲報知機能や空調作動機能を作動させてよい。
また、制御部２００７は、例えば、ユーザ端末３００に報知信号を送信することにより、ユーザ報知機能を作動させてよい。
また、制御部２００７は、例えば、オペレータＯＰ等が視認可能な表示装置２０６に、車両１００の室内への監視生体の置き去りに関する報知情報を表示させることにより、オペレータ通報機能を作動させてよい。
また、制御部２００７は、例えば、所定の通信回線を通じて、警察ＰＳと通信（自動音声通話等）を行い、車両１００の室内への監視生体の置き去りに関する通報を行うことで、警察通報機能を作動させてよい。
サーバ２００は、上述の第１例等の場合と同様の生体置き去り監視処理（図７）を実行する。この場合、上述した図７の処理の実行主体は、生体存否判定部２００１、室内環境情報取得部２００２、表情解析情報取得部２００３、経過時間取得部２００４、評価情報取得部２００５、判定部２００６、及び制御部２００７に置換される。
このように、本例では、サーバ２００は、車両１００からアップロードされる監視用データを用いて、車両１００の外部から、その室内に置き去りにされている監視物体の生命の安全性の低下度合いを監視する。そして、サーバ２００は、車両１００の室内に置き去りにされている監視物体の生命の安全性が所定基準以下に低下している場合、安全機能を作動させて、監視物体の生命の安全性の確保を図る。これにより、生体置き去り監視システム１は、車両１００（エッジ）側での処理負荷を抑制したり、車両１００の駐車状態における電力消費の増加によるバッテリ上がりを抑制したりすることができる。
［作用］
次に、本実施形態に係る生体置き去り監視システム１（制御装置８０、サーバ２００）の作用について説明する。
本実施形態では、制御装置８０は、生体存否判定部８０１と、表情解析情報取得部８０３と、判定部８０６と、制御部８０７とを備える。具体的には、生体存否判定部８０１は、車両１００の室内に監視生体が置き去りにされているか否かを判定する。また、表情解析情報取得部８０３は、車両１００の室内に置き去りにされている監視生体の顔を含む、室内カメラ１０の画像データに基づき、監視生体の顔の表情に関する情報を取得する。また、判定部８０６は、監視生体の表情に関する情報に基づき、監視生体の生命の安全性が所定基準以下に低下しているか否かを判定する。そして、制御部８０７は、判定部８０６により監視生体の生命の安全性が所定基準以下に低下していると判定される場合、監視生体の生命の安全性を確保するための安全機能を作動させる。
同様に、サーバ２００は、生体存否判定部２００１と、表情解析情報取得部２００３と、判定部２００６と、制御部２００７とを備える。具体的には、生体存否判定部２００１は、車両１００の室内に監視生体が置き去りにされているか否かを判定する。また、表情解析情報取得部２００３は、車両１００の室内に置き去りにされている監視生体の顔を含む、室内カメラ１０の画像データに基づき、監視生体の顔の表情に関する情報を取得する。また、判定部２００６は、監視生体の表情に関する情報に基づき、監視生体の生命の安全性が所定基準以下に低下しているか否かを判定する。そして、制御部２００７は、判定部２００６により監視生体の生命の安全性が所定基準以下に低下していると判定される場合、監視生体の生命の安全性を確保するための安全機能を作動させる。
これにより、制御装置８０やサーバ２００（以下、「制御装置８０等」）は、車両１００の室内に置き去りにされている監視生体の顔の表情に関する情報を利用することができる。そのため、制御装置８０等は、監視生体の顔の表情に関する情報に基づき、その監視生体に固有の状態等を把握しながら、その監視生体の生命の安全性の低下度合いを判断することができる。よって、制御装置８０等は、監視生体の個体差を考慮して、車両１００に置き去り状態の生体の生命の安全性の確保を図ることができる。
また、本実施形態では、制御装置８０は、評価情報取得部８０５を備えてよい。具体的には、評価情報取得部８０５は、表情解析情報取得部８０３により取得される、監視生体の表情に関する情報に基づき、監視生体の生命の安全性の低下度合いを推定してよい。そして、判定部８０６は、評価情報取得部８０５の推定結果に応じて、監視生体の生命の安全性が所定基準以下に低下しているか否かを判定してよい。
同様に、サーバ２００は、評価情報取得部２００５を備えてよい。具体的には、評価情報取得部２００５は、表情解析情報取得部２００３により取得される、監視生体の表情に関する情報に基づき、監視生体の生命の安全性の低下度合いを推定してよい。そして、判定部２００６は、評価情報取得部２００５の推定結果に応じて、監視生体の生命の安全性が所定基準以下に低下しているか否かを判定してよい。
これにより、制御装置８０等は、車両１００の室内に置き去りにされている監視生体の顔の表情に関する情報を用いることで、監視生体の個体差を考慮して、監視生体の生命の安全性の低下度合いを推定することができる。そのため、制御装置８０等は、その推定結果を用いて、監視生体の生命の安全性が所定基準以下に低下しているかを判定することにより、具体的に、監視生体の個体差を考慮して、車両１００に置き去り状態の生体の生命の安全性の確保を図ることができる。
尚、判定部８０６，２００６は、評価情報（評価指数ＥＩ）の代わりに、室内環境情報、表情解析情報、及び置き去り経過時間等を直接用いて、監視生体の生命の安全性が所定基準以下に低下したか否かを判定してもよい。この場合、評価情報取得部８０５，２００５は、省略されてよい。例えば、判定部８０６，２００６は、室内環境情報、表情解析情報、及び経過時間等のそれぞれに規定される条件の成否を判定することにより、監視生体の生命の安全性が所定基準以下に低下したか否かを判定してもよい。
また、本実施形態では、監視生体の表情に関する情報には、監視生体の感情に関する情報が含まれてよい。そして、評価情報取得部８０５は、監視生体の感情に関する情報がポジティブな感情或いは中立の感情を表す場合よりネガティブな感情を表す方が監視生体の生命の安全性の低下度合いが大きくなるように、監視生体の生命の安全性の低下度合いを推定してよい。
同様に、評価情報取得部２００５は、監視生体の感情に関する情報がポジティブな感情或いは中立の感情を表す場合よりネガティブな感情を表す方が監視生体の生命の安全性の低下度合いが大きくなるように、監視生体の生命の安全性の低下度合いを推定してよい。
これにより、制御装置８０等は、監視生体の感情を捉えることにより、具体的に、監視生体の個体差を考慮して、車両１００に置き去り状態の生体の生命の安全性の低下度合いを推定することができる。
また、本実施形態では、監視生体の表情に関する情報には、監視生体の顔の状態に関する情報が含まれてよい。そして、評価情報取得部８０５は、監視生体の顔の状態に関する情報が監視生体のポジティブな顔の状態或いは中立の顔の状態を表す場合よりネガティブな顔の状態を表す場合の方が監視生体の生命の安全性の低下度合いが大きくなるように、監視生体の生命の安全性の低下度合いを推定してよい。
同様に、評価情報取得部２００５は、監視生体の顔の状態に関する情報が監視生体のポジティブな顔の状態或いは中立の顔の状態を表す場合よりネガティブな顔の状態を表す場合の方が監視生体の生命の安全性の低下度合いが大きくなるように、監視生体の生命の安全性の低下度合いを推定してよい。
これにより、制御装置８０等は、監視生体の顔の状態を捉えることにより、具体的に、監視生体の個体差を考慮して、車両１００に置き去り状態の生体の生命の安全性の低下度合いを推定することができる。
また、本実施形態では、評価情報取得部８０５は、監視生体の感情に関する情報のポジティブ感情又は中立の感情を表す状態からネガティブな感情を表す状態への変化、及び監視生体の顔の状態に関する情報のポジティブな顔の状態又は中立の顔の状態を表す状態からネガティブな顔の状態を表す状態への変化に応じて、監視生体の生命の安全性の低下が加速するように、監視生体の生命の安全性の低下度合いを推定してよい。
同様に、評価情報取得部２００５は、監視生体の感情に関する情報のポジティブ感情又は中立の感情を表す状態からネガティブな感情を表す状態への変化、及び監視生体の顔の状態に関する情報のポジティブな顔の状態又は中立の顔の状態を表す状態からネガティブな顔の状態を表す状態への変化に応じて、監視生体の生命の安全性の低下が加速するように、監視生体の生命の安全性の低下度合いを推定してよい。
これにより、制御装置８０等は、監視生体の感情や顔の状態のネガティブな変化に合わせて、監視生体の生命の安全性の低下が加速している状況を捉える形で、監視生体の生命の安全性の低下度合いを推定することができる。そのため、制御装置８０等は、監視生体の感情や顔の状態のネガティブな変化を捉えることにより、具体的に、監視生体の個体差を考慮して、監視生体の生命の安全性の低下度合いを推定することができる。
また、本実施形態では、評価情報取得部８０５は、監視生体が車両１００の室内に置き去りにされている時間の経過に応じて、監視生体の生命の安全性が低下するように、監視生体の生命の安全性の低下度合いを推定する。そして、評価情報取得部８０５は、監視生体の感情に関する情報がポジティブな感情又は中立の感情を表す状態の場合よりもネガティブな感情を表す場合の方が、時間の経過に対する監視生体の生命の安全性の低下速度が大きくなり、且つ、監視生体の顔の状態に関する情報がポジティブな顔の状態又は中立の顔の状態を表す場合よりもネガティブな顔の状態を表す場合の方が、時間の経過に対する監視生体の生命の安全性の低下速度が大きくなるように、監視生体の生命の安全性の低下度合いを推定してよい。
同様に、評価情報取得部２００５は、監視生体が車両１００の室内に置き去りにされている時間の経過に応じて、監視生体の生命の安全性が低下するように、監視生体の生命の安全性の低下度合いを推定する。そして、評価情報取得部８０５は、監視生体の感情に関する情報がポジティブな感情又は中立の感情を表す状態の場合よりもネガティブな感情を表す場合の方が、時間の経過に対する監視生体の生命の安全性の低下速度が大きくなり、且つ、監視生体の顔の状態に関する情報がポジティブな顔の状態又は中立の顔の状態を表す場合よりもネガティブな顔の状態を表す場合の方が、時間の経過に対する監視生体の生命の安全性の低下速度が大きくなるように、監視生体の生命の安全性の低下度合いを推定してよい。
これにより、制御装置８０等は、監視生体が車両１００の室内に置き去りにされている時間の経過に応じて、監視生体の生命の低下する前提の下で、監視生体の感情や顔の状態の相違によって、その低下速度を可変させることができる。そのため、制御装置８０等は、監視生体の感情や顔の状態のネガティブな変化に合わせて、具体的に、監視生体の生命の安全性の低下が加速するように、監視生体の生命の安全性の低下度合いを推定することができる。
また、本実施形態では、監視生体の表情に関する情報には、監視生体の感情に関する情報が含まれてよい。そして、評価情報取得部８０５は、監視生体の感情に関する情報が予め規定される複数の種類のネガティブ感情の何れかを表している場合、該当するネガティブ感情の種類によって、監視生体の生命の安全性の低下度合いが異なるように、監視生体の生命の安全性の低下度合いを推定してよい。
同様に、評価情報取得部２００５は、監視生体の感情に関する情報が予め規定される複数の種類のネガティブ感情の何れかを表している場合、該当するネガティブ感情の種類によって、監視生体の生命の安全性の低下度合いが異なるように、監視生体の生命の安全性の低下度合いを推定してよい。
これにより、制御装置８０等は、ネガティブな感情の種類によって、その感情が表している監視生体の身体的な状況等が異なり得るところ、より適切に、監視生体の生命の安全性の低下度合いを推定することができる。
また、本実施形態では、監視生体の表情に関する情報には、監視生体の年齢に関する情報が含まれてよい。そして、評価情報取得部８０５は、監視生体の年齢によって、監視生体の生命の安全性の低下度合いが異なるように、監視生体の生命の安全性の低下度合いを推定してよい。
同様に、評価情報取得部２００５は、監視生体の年齢によって、監視生体の生命の安全性の低下度合いが異なるように、監視生体の生命の安全性の低下度合いを推定してよい。
これにより、制御装置８０等は、監視生体の年齢によって、体力等の特性が異なり得るところ、より適切に、監視生体の生命の安全性の低下度合いを推定することができる。
また、本実施形態では、監視生体の生命の安全性を確保するための安全機能には、車両１００に搭載される音出力装置６０を通じて、車両１００の周囲に監視生体の置き去りに関する報知を行う機能、車両１００の利用者が利用するユーザ端末３００に対して、監視生体の置き去りに関する報知を行う機能、車両１００の外部に設置される所定の施設に対して、監視生体の置き去りに関する通報を行う機能、及び車両１００の空調装置を作動させる機能のうちの少なくとも一つが含まれてよい。
これにより、制御装置８０等は、具体的に、監視生体の生命の安全性の確保を図ることができる。
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・改良が可能である。
１ 生体置き去り監視システム
１０ 室内カメラ
２０ 室温センサ
３０ 湿度センサ
４０ 車両状態データ出力装置
５０ 通信装置
６０ 音出力装置
７０ 空調装置
８０ 制御装置（情報処理装置）
８１ ＣＰＵ
８２ メモリ装置
８３ 補助記憶装置
８４ インタフェース装置
１００ 車両
２００ サーバ（情報処理装置）
２０１ ドライブ装置
２０１Ａ 記録媒体
２０２ 補助記憶装置
２０３ メモリ装置
２０４ ＣＰＵ
２０５ インタフェース装置
２０６ 表示装置
２０７ 入力装置
３００ ユーザ端末
４００ 表情解析サーバ
８０１ 生体存否判定部（第１の判定部）
８０２ 室内環境情報取得部
８０３ 表情解析情報取得部（表情情報取得部）
８０４ 経過時間取得部
８０５ 評価情報取得部（推定部）
８０６ 判定部（第２の判定部）
８０７ 制御部
２００１ 生体存否判定部（第１の判定部）
２００２ 室内環境情報取得部
２００３ 表情解析情報取得部（表情情報取得部）
２００４ 経過時間取得部
２００５ 評価情報取得部（推定部）
２００６ 判定部（第２の判定部）
２００７ 制御部
ＣＴ 監視センタ（所定の施設）
ＯＰ オペレータ
ＰＳ 警察（所定の施設）

Claims (11)

  1. 車両の室内に所定の生体が置き去りにされているか否かを判定する第１の判定部と、
    前記車両の室内に置き去りにされている前記所定の生体の顔を含む画像データに基づき、前記所定の生体の顔の表情に関する情報を取得する表情情報取得部と、
    前記所定の生体の表情に関する情報に基づき、前記所定の生体の生命の安全性が所定基準以下に低下しているか否かを判定する第２の判定部と、
    前記第２の判定部により前記所定の生体の生命の安全性が前記所定基準以下に低下していると判定される場合、前記所定の生体の生命の安全性を確保するための安全機能を作動させる制御部と、を備える、
    情報処理装置。
  2. 前記表情情報取得部により取得される、前記所定の生体の表情に関する情報に基づき、前記所定の生体の生命の安全性の低下度合いを推定する推定部を備え、
    前記第２の判定部は、前記推定部の推定結果に応じて、前記所定の生体の生命の安全性が前記所定基準以下に低下しているか否かを判定する、
    請求項１に記載の情報処理装置。
  3. 前記所定の生体の表情に関する情報には、前記所定の生体の感情に関する情報が含まれ、
    前記推定部は、前記所定の生体の感情に関する情報がポジティブな感情又は中立の感情を表す場合よりネガティブな感情を表す方が前記所定の生体の生命の安全性の低下度合いが大きくなるように、前記所定の生体の生命の安全性の低下度合いを推定する、
    請求項２に記載の情報処理装置。
  4. 前記所定の生体の表情に関する情報には、前記所定の生体の顔の状態に関する情報が含まれ、
    前記推定部は、前記所定の生体の顔の状態に関する情報が前記所定の生体のポジティブな顔の状態又は中立の顔の状態を表す場合よりネガティブな顔の状態を表す場合の方が前記所定の生体の生命の安全性の低下度合いが大きくなるように、前記所定の生体の生命の安全性の低下度合いを推定する、
    請求項３に記載の情報処理装置。
  5. 前記推定部は、前記所定の生体の感情に関する情報のポジティブ感情又は中立の感情を表す状態からネガティブな感情を表す状態への変化、及び前記所定の生体の顔の状態に関する情報のポジティブな顔の状態又は中立の顔の状態を表す状態からネガティブな顔の状態を表す状態への変化に応じて、前記所定の生体の生命の安全性の低下が加速するように、前記所定の生体の生命の安全性の低下度合いを推定する、
    請求項４に記載の情報処理装置。
  6. 前記推定部は、前記所定の生体が前記車両の室内に置き去りにされている時間の経過に応じて、前記所定の生体の生命の安全性が低下するように、前記所定の生体の生命の安全性の低下度合いを推定すると共に、前記所定の生体の感情に関する情報がポジティブな感情又は中立の感情を表す状態の場合よりもネガティブな感情を表す場合の方が、前記時間の経過に対する前記所定の生体の生命の安全性の低下速度が大きくなり、且つ、前記所定の生体の顔の状態に関する情報がポジティブな顔の状態又は中立の顔の状態を表す場合よりもネガティブな顔の状態を表す場合の方が、前記時間の経過に対する前記所定の生体の生命の安全性の低下速度が大きくなるように、前記所定の生体の生命の安全性の低下度合いを推定する、
    請求項５に記載の情報処理装置。
  7. 前記所定の生体の表情に関する情報には、前記所定の生体の感情に関する情報が含まれ、
    前記推定部は、前記所定の生体の感情に関する情報が予め規定される複数の種類のネガティブ感情の何れかを表している場合、該当するネガティブ感情の種類によって、前記所定の生体の生命の安全性の低下度合いが異なるように、前記所定の生体の生命の安全性の低下度合いを推定する、
    請求項２乃至６の何れか一項に記載の情報処理装置。
  8. 前記所定の生体の表情に関する情報には、前記所定の生体の年齢に関する情報が含まれ、
    前記推定部は、前記所定の生体の年齢によって、前記所定の生体の生命の安全性の低下度合いが異なるように、前記所定の生体の生命の安全性の低下度合いを推定する、
    請求項２乃至７の何れか一項に記載の情報処理装置。
  9. 前記所定の生体の生命の安全性を確保するための安全機能には、前記車両に搭載される音出力装置を通じて、前記車両の周囲に前記所定の生体の置き去りに関する報知を行う機能、前記車両の利用者が利用する端末装置に対して、前記所定の生体の置き去りに関する報知を行う機能、前記車両の外部に設置される所定の施設に対して、前記所定の生体の置き去りに関する通報を行う機能、及び前記車両の空調装置を作動させる機能のうちの少なくとも一つが含まれる、
    請求項１乃至８の何れか一項に記載の情報処理装置。
  10. 情報処理装置が実行する情報処理方法であって、
    車両の室内に所定の生体が置き去りにされているか否かを判定する第１の判定ステップと、
    前記車両の室内に置き去りにされている前記所定の生体の顔を含む画像データに基づき、前記所定の生体の顔の表情に関する情報を取得する表情情報取得ステップと、
    前記所定の生体の表情に関する情報に基づき、前記所定の生体の生命の安全性が所定基準以下に低下しているか否かを判定する第２の判定ステップと、
    前記第２の判定ステップで前記所定の生体の生命の安全性が前記所定基準以下に低下していると判定される場合、前記所定の生体の生命の安全性を確保するための安全機能を作動させる制御ステップと、を含む、
    情報処理方法。
  11. 情報処理装置に、
    車両の室内に所定の生体が置き去りにされているか否かを判定する第１の判定ステップと、
    前記車両の室内に置き去りにされている前記所定の生体の顔を含む画像データに基づき、前記所定の生体の顔の表情に関する情報を取得する表情情報取得ステップと、
    前記所定の生体の表情に関する情報に基づき、前記所定の生体の生命の安全性が所定基準以下に低下しているか否かを判定する第２の判定ステップと、
    前記第２の判定ステップで前記所定の生体の生命の安全性が前記所定基準以下に低下していると判定される場合、前記所定の生体の生命の安全性を確保するための安全機能を作動させる制御ステップと、を実行させる、
    プログラム。
JP2020213009A 2020-12-22 2020-12-22 情報処理装置、情報処理方法、プログラム Active JP7480694B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020213009A JP7480694B2 (ja) 2020-12-22 2020-12-22 情報処理装置、情報処理方法、プログラム
US17/523,108 US11830343B2 (en) 2020-12-22 2021-11-10 Information processing apparatus, information processing method, and non-transitory storage medium
CN202111484240.XA CN114663935A (zh) 2020-12-22 2021-12-07 信息处理设备、信息处理方法以及非暂态性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020213009A JP7480694B2 (ja) 2020-12-22 2020-12-22 情報処理装置、情報処理方法、プログラム

Publications (2)

Publication Number Publication Date
JP2022099183A true JP2022099183A (ja) 2022-07-04
JP7480694B2 JP7480694B2 (ja) 2024-05-10

Family

ID=82021554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020213009A Active JP7480694B2 (ja) 2020-12-22 2020-12-22 情報処理装置、情報処理方法、プログラム

Country Status (3)

Country Link
US (1) US11830343B2 (ja)
JP (1) JP7480694B2 (ja)
CN (1) CN114663935A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379362A1 (en) * 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
EP3767606B1 (en) 2018-03-14 2023-12-20 Panasonic Intellectual Property Management Co., Ltd. Travel sickness estimation system and travel sickness estimation method
CN108334871A (zh) 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及系统
US20190329790A1 (en) 2018-04-25 2019-10-31 Uber Technologies, Inc. Systems and Methods for Using Machine Learning to Determine Passenger Ride Experience
CN109003425A (zh) 2018-08-10 2018-12-14 北京车和家信息技术有限公司 一种预警方法及相关设备
CN111079474A (zh) 2018-10-19 2020-04-28 上海商汤智能科技有限公司 乘客状态分析方法和装置、车辆、电子设备、存储介质
JP2020149489A (ja) 2019-03-14 2020-09-17 日本電産モビリティ株式会社 車両制御装置
JP2020154976A (ja) 2019-03-22 2020-09-24 株式会社Ｊｖｃケンウッド 車内環境警告装置及び車内環境警告方法

Also Published As

Publication number Publication date
CN114663935A (zh) 2022-06-24
US11830343B2 (en) 2023-11-28
JP7480694B2 (ja) 2024-05-10
US20220198909A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN111602137B (zh) 评估装置、动作控制装置、评估方法以及存储媒介
US11993269B2 (en) Smart ring system for measuring driver impairment levels and using machine learning techniques to predict high risk driving behavior
US20030158644A1 (en) Artificial passenger with condition sensors
CN111381673A (zh) 双向车载虚拟个人助理
US20170154513A1 (en) Systems And Methods For Automatic Detection Of An Occupant Condition In A Vehicle Based On Data Aggregation
CN113370753B (zh) 车内环境远程调节方法和车内环境调节方法
US20220305988A1 (en) Passenger Protection Method and Apparatus
CN112277797B (zh) 汽车内的生命探测报警方法、装置、设备和介质
CN106218571A (zh) 一种防车内窒息装置
WO2019077998A1 (ja) 車両空調管理装置、車両空調管理システムおよび車両空調管理方法
CN113978354B (zh) 一种车辆控制的方法、装置、设备及存储介质
JP2022099183A (ja) 情報処理装置、情報処理方法、プログラム
CN114697596A (zh) 用于监视车辆中的乘客并检测乘客活动的相机系统
CN107472124A (zh) 车内生存环境的预警方法及其车载系统
US20200391754A1 (en) Driver assistance device that can be mounted on a vehicle
US20230356719A1 (en) Methods and systems for detection and prevention of unattended vehicle deaths
CN113859171B (zh) 车辆的控制方法、装置、设备和存储介质
US11440553B2 (en) Vehicular device and computer-readable non-transitory storage medium storing computer program
JP2022155584A (ja) 検知システム及び空間利用システム
WO2021112005A1 (ja) 車内監視システム、車内監視装置、及び車内監視プログラム
CN114987379B (zh) 车辆的控制方法、车辆以及计算机存储介质
US11854274B2 (en) In-vehicle monitoring information generation control device and in-vehicle monitoring information generation control method
US20230356754A1 (en) Control Mode Selection And Transitions
EP4336474A1 (en) Vehicle interior monitoring device, vehicle interior monitoring method, and program
US20240046719A1 (en) Solar Powered Multilingual Emergency Response Robot And Interactive Artificial Intelligence System For Detecting Hazardous Conditions Within a Motor Vehicle For Prevention of Vehicle Related Deaths.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7480694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150