JP2020008931A - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP2020008931A
JP2020008931A JP2018126749A JP2018126749A JP2020008931A JP 2020008931 A JP2020008931 A JP 2020008931A JP 2018126749 A JP2018126749 A JP 2018126749A JP 2018126749 A JP2018126749 A JP 2018126749A JP 2020008931 A JP2020008931 A JP 2020008931A
Authority
JP
Japan
Prior art keywords
monitoring
unit
vehicle
monitoring target
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018126749A
Other languages
English (en)
Other versions
JP6782283B2 (ja
Inventor
後藤　潤
Jun Goto
潤 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2018126749A priority Critical patent/JP6782283B2/ja
Priority to US16/452,824 priority patent/US11132534B2/en
Priority to EP19183209.6A priority patent/EP3590772B1/en
Priority to CN201910589599.XA priority patent/CN110682913B/zh
Publication of JP2020008931A publication Critical patent/JP2020008931A/ja
Application granted granted Critical
Publication of JP6782283B2 publication Critical patent/JP6782283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R2021/01315—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over monitoring occupant displacement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts, e.g. by feet
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts, e.g. by feet
    • E05Y2400/86—Actuation thereof by body parts, e.g. by feet by hand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】監視対象者の動作を正確に把握することができる監視システムを提供することを目的とする。【解決手段】監視システム１は、車両の室内の監視対象者までの距離を含む深度画像を撮像する撮像部３と、撮像部３によって撮像された深度画像から監視対象者の３次元の人体モデルを推定する推定部８３と、推定部８３によって推定された人体モデルに基づいて、当該人体モデルの監視対象部位が室内のドア操作に関する監視座標に接近する動作を監視して降車動作を検出する監視部８４と、を備えることを特徴とする。【選択図】図３

Description

本発明は、監視システムに関する。
車両の室内で用いられる従来の監視システムとして、例えば、特許文献１には、撮像データに基づいて乗員の腕がドア方向に移動することを認識し、この腕の移動に続いて乗員の身体がドア方向に傾いたことを認識したときに、乗員の降車動作と判定することが開示されている。
特開２０１４−２０３３１７号公報
ところで、上述の特許文献１に記載の監視方法は、例えば、乗員が姿勢を正すための座り直しや座席の移動や振り向き等に腕がドア方向に移動して姿勢が傾いただけで、乗員の降車動作と判定されてしまう虞がある。
本発明は、上記の事情に鑑みてなされたものであって、監視対象者の動作を正確に把握することができる監視システムを提供することを目的とする。
上記目的を達成するために、本発明に係る監視システムは、車両の室内の監視対象者までの距離を含む深度画像を撮像する撮像部と、前記撮像部によって撮像された前記深度画像から前記監視対象者の３次元の人体モデルを推定する推定部と、前記推定部によって推定された前記人体モデルに基づいて、当該人体モデルの監視対象部位が前記室内のドア操作に関する監視座標に接近する動作を監視して前記監視対象者の降車動作を検出する監視部と、を備えることを特徴とする。
また、上記監視システムでは、前記監視部は、前記監視座標を基準とした前記室内の監視領域内に位置する前記監視対象部位が前記監視座標に接近する動作を監視して前記降車動作を検出し、前記監視領域の外に位置する前記監視対象部位が前記監視座標に接近する動作を前記降車動作として検出しないものとすることができる。
また、上記監視システムでは、前記監視座標は、前記室内におけるドアノブの３次元座標であり、前記監視対象部位は、前記監視対象者の手であるものとすることができる。
また、上記監視システムでは、前記監視部の監視結果に基づいて前記降車動作を検出した場合に、当該降車動作に応じた処理を行う動作制御部をさらに備えるものとすることができる。
また、上記監視システムでは、前記動作制御部は、前記監視部の監視結果に基づいて前記降車動作が検出され、かつ前記車両が停車状態である場合に、当該降車動作に応じた処理を行うものとすることができる。
また、上記監視システムでは、前記室内に設けられ、前記監視対象者に対して警報を行う警報部をさらに備え、前記動作制御部は、前記監視部の監視結果に基づいて前記降車動作が検出され、かつ前記車両に対して他車両が接近している場合に、前記他車両の接近を前記警報部に警報させる前記処理を行うものとすることができる。
また、上記監視システムでは、前記車両の天井の前記室内側の面に設けられ、前記撮像部及び前記監視部が組み付けられる筐体を備えるものとすることができる。
本発明に係る監視システムは、推定部が撮像部によって撮像された深度画像から監視対象者の３次元の人体モデルを推定し、当該人体モデルの監視対象部位が室内のドア操作に関する監視座標に接近する動作を監視して監視対象者の降車動作を監視する。この結果、監視システムは、３次元の人体モデルの監視対象部位が室内の監視座標に接近する動作を監視することができるので、監視対象者の降車動作を正確に把握することできる、という効果を奏する。
図１は、実施形態に係る監視システムが適用される車両の室内の概略構成を表す模式図である。 図２は、実施形態に係る監視システムが適用される車両の室内を表す模式図である。 図３は、実施形態に係る監視システムの概略構成を表すブロック図である。 図４は、実施形態に係る監視システムの外観を表す斜視図である。 図５は、実施形態に係る監視システムが推定する人体モデルの一例を示す図である。 図６は、実施形態に係る監視システムが監視する室内の一例を表す模式図である。 図７は、実施形態に係る監視システムの降車動作を監視する一例を示す図である。 図８は、実施形態に係る監視システムの制御部の制御の一例を表すフローチャート図である。 図９は、実施形態に係る監視システムの人体モデルの推定処理の一例を表すフローチャート図である。 図１０は、実施形態に係る監視システムの制御部の制御の他の一例を表すフローチャート図である。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
図１から図５を参照して、実施形態について説明する。図１は、実施形態に係る監視システムが適用される車両の室内の概略構成を表す模式図である。図２は、実施形態に係る監視システムが適用される車両の室内を表す模式図である。図３は、実施形態に係る監視システムの概略構成を表すブロック図である。図４は、実施形態に係る監視システムの外観を表す斜視図である。図５は、実施形態に係る監視システムが推定する人体モデルの一例を示す図である。なお、図１、図２に示す矢印Ｘ方向は、車両１００の車幅方向とする。図１、図２に示す矢印Ｙ方向は、車両１００の高さ方向とする。図１、図２に示す矢印Ｚ方向は、車両１００の長さ方向（前後方向）とする。矢印Ｚ方向は、車両１００の奥行き方向である。以下の説明において、車両１００を「自車両」と表記する場合がある。
図１に示す本実施形態に係る監視システム１は、車両１００に搭載され、当該車両１００の室内１０１の監視対象者ＯＢを監視し、監視対象者ＯＢに対する様々な処理を行う車載システム（車室内監視システム）である。監視対象者ＯＢは、監視システム１による監視の対象者である。監視対象者ＯＢは、車両１００の室内１０１に乗車した搭乗者であり、車両１００の運転者や運転者以外の同乗者を含む。
図１、図２に示す一例では、車両１００は、運転席１０５と、助手席１０６と、２列目の後部座席１０７と、３列目の後部座席１０８とを備える。車両１００は、一例として、ウォークスルーが可能な車両である。換言すると、車両１００は、２列目の後部座席１０７と３列目の後部座席１０８との間を、座席を倒すことなく室内１０１を移動できる車両である。本実施形態の監視対象者ＯＢは、一例として、車両１００の後部座席１０７，１０８の同乗者であるものとして説明する。なお、本実施形態では、車両１００は、自動車である場合について説明するが、例えば、バス、電車等であってもよい。
図２に示す一例では、車両１００は、監視対象者ＯＢが乗降する後部のドア１１０を備える。車両１００のドア１１０は、室内の監視対象者ＯＢが降車する場合に用いるドアノブ１２０が室内側に設けられている。そして、本実施形態の監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ−Ｈｅａｄ Ｍｏｄｕｌｅ）を構成する。
以下、図１、図２、図３、図４、図５を参照して監視システム１の構成について詳細に説明する。
監視システム１は、筐体２と、撮像部３と、出力部４と、照明部５と、操作部６と、外部接続部７と、制御部８と、警報部９とを備える。なお、オーバーヘッドモジュールを構成する監視システム１は、この他、例えば、無線通信部、アンテナ、電源分配部等を備えていてもよい。
筐体２は、監視システム１を構成する各部を収容するものである。筐体２は、複数の部材が組み合わさって全体として中空箱状に形成される。筐体２は、絶縁性を有する合成樹脂によって形成される。ここでは、筐体２は、内部に撮像部３、出力部４、照明部５、操作部６、外部接続部７、及び、制御部８が組み付けられこれらを収容し、オーバーヘッドモジュールとしてユニット化する。筐体２は、内部に収容した撮像部３、出力部４、照明部５、操作部６、外部接続部７の一部が外面に露出している。そして、本実施形態の筐体２は、車両１００の天井（ルーフパネル）１０２の室内１０１側の面に設けられる。天井１０２は、ピラー等を介して車両ボデー本体に連結され当該車両ボデー本体の鉛直方向上側に支持された構造体である。車両１００は、天井１０２を鉛直方向上側の境界として、室内１０１と室外とに領域分けされる。ここでは、筐体２は、例えば、天井１０２とウインドシールド１０３との交差部分でかつ車両１００の車幅方向の略中央位置に設けられる。
撮像部３は、車両１００の室内１０１の監視対象者ＯＢまでの距離を計測する３次元のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、距離画像センサ等を含む。撮像部３は、監視対象者ＯＢまでの距離を含む深度画像を撮像するものである。本実施形態の撮像部３によって撮像される深度画像は、例えば、室内１０１の３次元座標（ＸＹＺ座標）における各点の距離（座標）を示す３次元点群データに相当する。３次元点群データは、撮像部３によって撮像した対象を立体的に示すデータである。３次元点群データは、各点でのＸＹＺ座標における座標を示す座標値を含む。本実施形態の撮像部３は、室内１０１の監視対象者ＯＢの監視対象部位ＴＧの３次元位置を計測可能な深度画像を撮像する機能を有する。監視対象部位ＴＧは、例えば、搭乗者の手、手及び前腕、手及び腕等を含む。本実施形態では、撮像部３は、ＴＯＦカメラを用いることで、暗い環境でも監視対象者ＯＢの撮像を可能としている。
撮像部３は、例えば、レンズが筐体２の外面に露出し、光軸が室内１０１の運転席１０５、後部座席１０７側を向くように当該筐体２に設けられる。撮像部３は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、撮像部３は、撮像した深度画像を制御部８に出力する。
出力部４は、車両１００の室内１０１に向けて、種々の情報を出力するものである。ここでは、出力部４は、表示部４１と、スピーカ４２とを含んで構成される。表示部４１は、視覚情報（図形情報、文字情報）を出力する表示装置である。表示部４１は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。スピーカ４２は、聴覚情報（音声情報、音情報）を出力する出力装置である。出力部４を構成する表示部４１、スピーカ４２は、それぞれ、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
照明部５は、車両１００の室内１０１を照明するものであり、例えば、マップランプ等である。照明部５は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
操作部６は、車両１００の室内１０１側から種々の操作を入力可能な操作機器である。操作部６は、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。操作部６は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
外部接続部７は、筐体２の外部の電気機器が電気的に接続される部分である。外部接続部７は、種々の形式のコネクタやインターフェース部によって構成される。外部接続部７は、警報部９が電気的に接続される。警報部９は、室内１０１のドア１１０に対応して設けられている。警報部９は、例えば、ドア１１０を開けようとする監視対象者ＯＢに対して警報を行う。警報部９は、例えば、ランプ、スピーカ等を有する。警報部９は、ドア１１０を開けようとする監視対象者ＯＢに気付かせるために、ドア１１０やドア１１０の近くに設けることが好ましい。例えば、警報部９は、自車両に対する他車両の接近を光によって警報する場合、他車両の自車両までの距離や接近状況に応じて赤ランプを点灯させてもよい。例えば、警報部９は、他車両の接近を音によって警報する場合、「車両が接近しています」等の音声データや、ブザーをパターン吹鳴させてもよい。なお、他車両は、例えば、自動車、自動二輪車、自転車等を含む。
外部接続部７は、車両１００の各部を統括的に制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）や車両１００の天井１０２の室内１０１側の面の後部座席側の位置に設けられるリヤモジュール等が電気的に接続される。外部接続部７は、制御部８、及び、筐体２の外部の電気機器に電気的に接続され、相互に電気信号を授受可能である。
図３に示す一例では、外部接続部７は、例えば、ブレーキＥＣＵ２０１と、先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）ＥＣＵ２０２とが電気的に接続されている。ブレーキＥＣＵ２０１は、車両１００のブレーキに関する車両情報を出力する。車両情報は、例えば、車両が停止状態であるか否かを示す情報を含む。先進運転支援システムＥＣＵ２０２は、車両１００の周辺状況に関する周辺状況情報を出力する。周辺状況情報は、例えば、車両１００の周辺環境や車両１００の周辺の人物、他車両、障害物等の外部物体を撮像した周辺画像情報、外部物体の有無や当該外部物体との相対距離、相対速度、ＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）等を表す外部物体情報等を含んでいてもよい。
制御部８は、監視システム１の各部を統括的に制御する部分である。制御部８は、監視対象者ＯＢの状態監視や様々な支援に関する種々の演算処理を実行する。制御部８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部８は、撮像部３、出力部４、照明部５、操作部６、及び、外部接続部７が電気的に接続される。制御部８は、撮像部３によって撮像された深度画像に対応した画像信号、各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
具体的には、制御部８は、機能概念的に、記憶部８１、及び、処理部８２を含んで構成される。記憶部８１、及び、処理部８２は、電気的に接続されている各種機器との間で種々の情報を授受することができる。記憶部８１は、メモリ等の記憶装置である。記憶部８１は、制御部８での各種処理に必要な条件や情報、制御部８で実行する各種プログラム等が格納されている。そして、記憶部８１は、表示部４１に表示する一部の画像等の視覚情報やスピーカ４２で出力する音声等の聴覚情報も記憶している。また、記憶部８１は、撮像部３が撮像した深度画像に関する情報や外部接続部７を介して取得された各種情報を一時的に記憶することもできる。記憶部８１は、処理部８２によって各種情報が必要に応じて読み出される。処理部８２は、各種入力信号等に基づいて、記憶部８１に記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。
図３に示す一例では、記憶部８１は、条件情報８１ａと、監視結果情報８１ｂとを記憶することができる。条件情報８１ａは、監視対象者ＯＢの降車動作の判定に必要な条件や情報を含む。条件情報８１ａの一例については、後述する。監視結果情報８１ｂは、撮像部３によって撮像した深度画像に基づいて、監視対象者ＯＢの監視対象部位が室内のドア操作に関する監視座標に接近する動作を監視した監視対象者の降車動作の監視結果を示す情報を含む。監視結果情報８１ｂは、監視対象者ＯＢの監視対象部位の経時的な３次元座標と監視結果とを含む。
処理部８２は、より詳細には、機能概念的に、推定部８３、監視部８４、及び、動作制御部８５を含んで構成される。処理部８２は、プログラムを実行することにより、推定部８３、監視部８４、及び、動作制御部８５を実現する。
推定部８３は、撮像部３によって撮像された深度画像から監視対象者ＯＢの３次元の人体モデルを推定する。例えば、推定部８３は、背景差分法、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｍｅａｎ Ｓｈｉｆｔ法、パターンマッチング等によって深度画像から監視対象者ＯＢを抽出し、当該監視対象者ＯＢの輪郭等に基づいて人体モデルを推定する。図５に示す人体モデルＯＢＭは、監視対象者ＯＢの骨格位置を示すモデルである。図５に示す一例では、人体モデルＯＢＭは、監視対象者ＯＢの頭、肩、肘、手、腰、膝及び足の人体パーツを特徴的に示している。そして、推定部８３は、深度画像の３次元点群データが示す各点の座標値に基づいて監視対象者ＯＢを深度画像から抽出し、当該監視対象者ＯＢの骨格位置に着目して人体モデルＯＢＭを推定する。なお、人体モデルＯＢＭの推定処理の一例については、後述する。推定部８３は、推定した人体モデルＯＢＭの各人体パーツから監視対象部位ＴＧを特定し、室内１０１の３次元空間における監視対象部位ＴＧの３次元座標を算出する。監視対象部位ＴＧが監視対象者ＯＢの手である場合、推定部８３は、人体モデルＯＢＭの人体パーツから左右の手の３次元座標を算出する。手の３次元座標は、例えば、手の中心座標、手の任意の１または複数のポイントの座標等を含む。推定部８３は、算出した監視対象部位ＴＧの３次元座標を、深度画像のフレームに紐付けて記憶部８１に記憶する。また、例えば、撮像部３によって撮像された深度画像に監視対象者ＯＢの手が写っていない場合、推定部８３は、監視対象者ＯＢの肩や肘等の人体パーツの位置と監視対象者ＯＢのサイズと姿勢とに着目し、着目した人体パーツから監視対象者ＯＢの手の３次元座標を推測することができる。
監視部８４は、推定部８３によって推定された監視対象者ＯＢの人体モデルＯＢＭに基づいて、当該人体モデルＯＢＭの監視対象部位ＴＧが室内１０１の監視座標に接近する動作を監視する。例えば、監視対象者ＯＢは、車両１００から降車する場合、ドア１１０のドアノブ１２０を操作してドア１１０を開く。このため、監視システム１は、監視対象者ＯＢの降車動作を監視する場合、室内１０１の３次元空間におけるドアノブ１２０の３次元座標をドア１１０に関する監視座標とする。監視座標は、例えば、ドアノブ１２０の輪郭に対応した３次元座標の範囲、ドアノブ１２０の任意のポイントに対応した３次元座標等を含む。そして、監視部８４は、監視対象部位ＴＧの時系列の３次元座標に基づいて、監視対象部位ＴＧの監視座標に接近する動作を監視する。例えば、監視部８４は、監視対象部位ＴＧのオプティカルフローを推定し、当該オプティカルフローに基づいて視対象部位ＴＧの監視座標に接近する動作を監視する。なお、監視対象部位ＴＧのオプティカルフローを推定する手法は、例えば、Ｌｕｃａｓ Ｋａｎａｄｅ法、Ｈｏｍ−Ｓｃｈｕｎｋ法等を用いることができる。監視部８４は、人体モデルＯＢＭの監視対象部位ＴＧの３次元座標とドアノブ１２０の監視座標との距離が判定閾値よりも小さくなった場合、監視対象部位ＴＧが監視座標に接近する動作を降車動作として検出する。なお、監視部８４は、人体モデルＯＢＭの監視対象部位ＴＧの３次元座標がドアノブ１２０の監視座標に到達したことを、監視対象部位ＴＧの降車動作として検出してもよい。監視部８４は、監視対象部位ＴＧが監視座標に接近する降車動作を検出したことを示す情報を監視結果情報８１ｂに記憶する。監視部８４は、監視対象部位ＴＧが監視座標に接近する降車動作の検出に用いた３次元座標を、監視結果に紐付けて監視結果情報８１ｂに記憶することができる。
動作制御部８５は、動作制御処理を実行可能な部分である。動作制御処理とは、撮像部３、出力部４、照明部５、操作部６、及び、警報部９等の監視システム１の各部の動作を制御する処理である。動作制御部８５は、撮像部３、出力部４（表示部４１、スピーカ４２）、照明部５、操作部６、外部接続部７、記憶部８１と電気的に接続される。動作制御部８５は、撮像部３に駆動信号を出力することで撮像部３の動作を制御し、監視対象者ＯＢを含む深度画像の撮像を開始させたり当該撮像を終了させたりすることができる。また、動作制御部８５は、出力部４（表示部４１、スピーカ４２）に駆動信号を出力することで出力部４の動作を制御し、表示部４１に視覚情報を表示させたりスピーカ４２に聴覚情報を出力させたりすることができる。また、動作制御部８５は、照明部５に駆動信号を出力することで照明部５の動作を制御し、照明部５を点灯させたり照明部５を消灯させたりすることができる。さらに、動作制御部８５は、操作部６から入力された操作信号に基づいて操作部６に対する操作入力を受け付け、照明部５の点灯、消灯を切り替えたり表示部４１による表示内容を切り替えたり各種設定を行ったりすることができる。動作制御部８５は、外部接続部７を介してブレーキＥＣＵ２０１、先進運転支援システムＥＣＵ２０２等に支援要求信号を出力し、上記の車両情報、周辺状況情報等を取得することができる。動作制御部８５は、外部接続部７を介して警報部９に駆動信号を出力することで、警報部９の動作を制御することができる。
動作制御部８５は、監視部８４によって監視対象部位ＴＧが監視座標に接近する降車動作を検出した場合に、当該降車動作に応じた処理を行う。動作制御部８５は、監視対象部位ＴＧが監視座標に接近する降車動作に応じた処理として、監視対象部位ＴＧが監視座標に向かったことを警報部９に警報させる処理を実行できる。動作制御部８５は、監視対象部位ＴＧが監視座標に向かう動作に応じた処理として、監視対象部位ＴＧが監視座標に向かったことを運転者等に警報する警報情報を出力部４から出力させる処理を実行できる。
動作制御部８５は、監視対象部位ＴＧが監視座標に接近する降車動作を監視している場合に、外部接続部７を介して上記の車両情報、周辺状況情報等を取得できる。動作制御部８５は、取得した車両情報に基づいて、車両１００が停車状態であるか否かを判定する機能を有する。動作制御部８５は、取得した周辺状況情報に基づいて、車両１００に対して他車両が接近しているか否かを判定する機能を有する。
動作制御部８５は、車両１００が停車状態である場合、かつ車両１００に対して他車両が接近している場合、かつ監視部８４によって監視対象部位ＴＧが監視座標に接近する降車動作を検出した場合に、自車両に対して他車両が接近していることを警報部９に警報させることができる。
次に、図６を参照しながら、監視システム１が監視する室内１０１の３次元空間の一例を説明する。図６は、実施形態に係る監視システム１が監視する室内の一例を表す模式図である。
図６に示すように、監視システム１は、室内１０１を監視対象の３次元空間として監視する。監視システム１は、車両１００の後部のドア１１０から降車しようとする監視対象者ＯＢの降車動作を監視する。この場合、監視システム１は、監視対象の３次元空間におけるドアノブ１２０の位置を示す監視座標Ｐ１，Ｐ２を含む条件情報８１ａを記憶部８１に予め記憶している。本実施形態では、条件情報８１ａは、監視座標Ｐ１、Ｐ２にそれぞれ対応した３次元の監視領域Ｅ１、Ｅ２を示す情報を含んでいる。監視領域Ｅ１は、例えば、車両１００の右側のドア１１０に対する降車動作の判定対象とする室内１０１の領域である。監視領域Ｅ２は、例えば、車両１００の左側のドア１１０に対する降車動作の判定対象とする室内１０１の領域である。図６に示す一例では、監視領域Ｅ１は、室内１０１の右側のドア１１０のドアノブ１２０の監視座標Ｐ１を基準とし、後部座席１０７とドアノブ１２０とを含む領域となっている。そして、監視領域Ｅ２は、室内１０１の左側のドア１１０のドアノブ１２０の監視座標Ｐ２を基準とし、室内１０１の左側の後部座席１０７とドアノブ１２０とを含む領域となっている。
本実施形態では、条件情報８１ａは、監視領域Ｅ１、Ｅ２を右側と左側との後部座席１０７に対して設定する場合について説明するが、これに限定されない。例えば、条件情報８１ａは、監視座標Ｐ１、Ｐ２と、室内１０１の２列目の２つの後部座席１０７との双方を含む３次元の領域を監視領域としてもよい。換言すると、監視情報８１０の監視領域は、室内１０１の座席と車両１００のドア１１０との配置関係に応じて適宜設定することができる。
次に、図７を参照しながら、本実施形態に係る監視システム１の降車動作を監視する一例を説明する。図７は、実施形態に係る監視システム１の降車動作を監視する一例を示す図である。
図７に示すステップＳ１の場面では、監視対象者ＯＢは、室内１０１の右側の後部座席１０７に、車両１００の進行方向に向かった姿勢で着席している。なお、車両１００は、走行状態であることを前提とする。
ステップＳ１に示す場面では、監視システム１の撮像部３は、右側の後部座席１０７に着席している監視対象者ＯＢを含む深度画像を撮像する。監視システム１の推定部８３は、当該深度画像から後部座席１０７に着席した状態の監視対象者ＯＢの人体モデルＯＢＭを推定する。そして、推定部８３は、推定した人体モデルＯＢＭから監視対象部位ＴＧを特定し、当該監視対象部位ＴＧの室内１０１における３次元座標を算出し、算出した監視対象部位ＴＧの３次元座標を時系列的に記憶部８１に記憶する。そして、監視部８４は、推定部８３によって推定された人体モデルＯＢＭに基づいて、人体モデルＯＢＭの監視対象部位ＴＧが室内１０１の監視座標Ｐ１に接近する動作を監視する。この場合、監視部８４は、監視対象部位ＴＧの時系列の３次元座標に基づいて、監視対象部位ＴＧが監視領域Ｅ１内に留まっており、かつ監視座標Ｐ１に向かっていないので、降車動作を検出していないことを示す監視結果を監視結果情報８１ｂに記憶する。そして、監視部８４は、監視対象部位ＴＧの降車動作の監視を継続する。
次に、図７に示すステップＳ２の場面では、監視対象者ＯＢは、右側の後部座席１０７から右側のドア１１０のドアノブ１２０に向かって監視対象の手を移動させる動作を行っている。この場合、車両１００は、走行状態から停車状態に遷移している。そして、停車状態の車両１００には、例えば後方から他車両が接近している。
ステップＳ２に示す例では、監視システム１の撮像部３は、右側の後部座席１０７で姿勢を変化させ、手をドアノブ１２０に向かって移動させている監視対象者ＯＢを含む深度画像を撮像する。監視システム１の推定部８３は、当該深度画像から後部座席１０７で手を移動させている監視対象者ＯＢの人体モデルＯＢＭを推定する。そして、推定部８３は、推定した人体モデルＯＢＭから監視対象部位ＴＧを特定し、当該監視対象部位ＴＧの３次元座標を算出し、算出した監視対象部位ＴＧの３次元座標を時系列的に記憶部８１に記憶する。そして、監視部８４は、推定部８３によって推定された人体モデルＯＢＭに基づいて、人体モデルＯＢＭの監視対象部位ＴＧが室内１０１の監視座標Ｐ１に接近する監視動作を検出すると、降車動作を検出したことを示す監視結果を監視結果情報８１ｂに記憶する。詳細には、監視部８４は、監視対象部位ＴＧの時系列の３次元座標に基づいて、監視対象部位ＴＧが監視領域Ｅ１内に留まっており、かつ監視座標Ｐ１と監視対象部位ＴＧの３次元座標との距離が判定閾値よりも小さくなったことを降車動作として検出する。そして、動作制御部８５は、外部接続部７を介して上記の車両情報を取得し、当該車両情報が停車状態を示していると、車両１００が停車状態であることを検出する。動作制御部８５は、外部接続部７を介して上記の周辺状況情報を取得すると、車両１００に対して他車両が接近していることを検出する。この場合、動作制御部８５は、監視部８４の監視結果に基づいて降車動作が検出された場合に、車両１００の停車状態を検出し、かつ車両１００に対して他車両の接近を検出しているので、車両１００に対する他車両の接近を警報部９に警報させる処理を実行する。これにより、監視システム１は、ドア１１０のドアノブ１２０を操作しようとする監視対象者ＯＢに対し、他車両の接近を警報部９によって警報することができる。すなわち、監視システム１は、監視対象者ＯＢが車両１００から降車する前に、他車両の接近を警報部９によって警報することができる。
例えば、図６に示す室内１０１において、右側の３列目の後部座席１０８に着席していた監視対象者ＯＢが、監視領域Ｅ１の外で、右側のドア１１０のドアノブ１２０に向かって降車するために移動し始めたとする。
この場合、監視システム１の撮像部３は、右側の後部座席１０８から移動し始めた監視対象者ＯＢを含む深度画像を撮像する。監視システム１の推定部８３は、当該深度画像から当該監視対象者ＯＢの人体モデルＯＢＭを推定する。そして、推定部８３は、推定した人体モデルＯＢＭから監視対象部位ＴＧを特定し、当該監視対象部位ＴＧの室内１０１における３次元座標を算出し、算出した監視対象部位ＴＧの３次元座標を時系列的に記憶部８１に記憶する。そして、監視部８４は、推定部８３によって推定された人体モデルＯＢＭに基づいて、人体モデルＯＢＭの監視対象部位ＴＧが室内１０１の監視座標Ｐ１に接近する動作を監視する。しかし、監視部８４は、監視対象部位ＴＧの時系列の３次元座標に基づいて、監視対象部位ＴＧが監視領域Ｅ１の外に位置しており、かつ監視座標Ｐ１までの距離が判定閾値よりも大きいので、降車動作を検出していないことを示す監視結果を監視結果情報８１ｂに記憶する。そして、監視部８４は、監視対象部位ＴＧの動作の監視を継続する。
その後、監視システム１の監視部８４は、監視対象部位ＴＧが監視領域Ｅ１に位置する状態で、当該監視対象部位ＴＧと監視座標Ｐ１との距離が判定閾値よりも小さくなった場合に、降車動作を検出したことを示す監視動作を検出したことを示す監視結果を監視結果情報８１ｂに記憶する。
以上で説明した監視システム１は、推定部８３が撮像部３によって撮像された深度画像から監視対象者ＯＢの３次元の人体モデルＯＢＭを推定し、当該人体モデルＯＢＭの監視対象部位ＴＧが室内１０１の監視座標Ｐ１に接近する動作を監視する。この結果、監視システム１は、３次元の人体モデルＯＢＭの監視対象部位ＴＧが室内１０１の監視座標Ｐ１に接近する動作を監視することができるので、監視対象者ＯＢの降車動作を正確に把握することできる。
監視システム１は、監視部８４が監視座標Ｐ１を基準とした室内１０１の監視領域Ｅ１内に位置する監視対象部位ＴＧが監視座標Ｐ１に接近する動作を監視する。そして、監視システム１は、監視領域Ｅ１の外に位置する監視対象部位ＴＧが監視座標Ｐ１に接近する動作を降車動作として検出しない。この結果、監視システム１は、監視領域Ｅ１の外部で監視対象部材ＴＧが監視領域Ｅ１の監視座標Ｐ１に接近する動作を降車動作から除外することができるので、監視対象の動作をより一層正確に監視することができる。
監視システム１は、監視座標Ｐ１が室内１０１におけるドアノブ１２０の３次元座標であり、監視対象部位ＴＧが監視対象者ＯＢの手である。この結果、監視システム１は、推測した監視対象者ＯＢの３次元の人体モデルＯＢＭに基づいて、監視対象者ＯＢの手がドアノブ１２０に接近する動作を監視することができるので、監視対象者ＯＢがドア１１０を開こうとする降車動作をより一層正確に監視することができる。
監視システム１は、動作制御部８５が監視部８４の監視結果に基づいて降車動作を検出した場合に、当該降車動作に応じた処理を行う。この結果、監視システム１は、監視対象部位ＴＧが監視座標Ｐ１に接近する動作を検出した場合、降車動作に応じた処理を実行することができるので、当該降車動作に応じたサービスを提供して利便性を向上させることができる。
監視システム１は、動作制御部８５が監視部８４の監視結果に基づいて降車動作が検出された場合、かつ車両１００が停車状態である場合、当該降車動作に応じた処理を行う。この結果、監視システム１は、車両１００が停車状態のときに、降車動作に応じた処理を実行することができるので、車両１００の停車時の降車動作に適したサービスを提供して利便性をより一層向上させることができる。
監視システム１は、動作制御部８５が監視部８４の監視結果に基づいて降車動作が検出された場合、かつ車両１００に対して他車両が接近している場合に、他車両の接近を警報部９に警報させる処理を行う。この結果、監視システム１は、降車動作を検出した場合に、他車両の接近を監視対象者ＯＢに警報することができるので、ドア１１０の開放時の事故を未然に防いで監視対象者ＯＢの安全性を向上させることができる。
監視システム１は、撮像部３、制御部８を含む各部が筐体２に設けられるので、当該監視システム１全体をオーバーヘッドモジュールとしてユニット化することができる。この構成により、監視システム１は、車両１００に対する搭載性を向上することができる。なお、監視システム１は、警報部９を筐体２の外部の監視座標Ｐ１，Ｐ２の近くに設けることで、監視対象者ＯＢに対する警報を速やかに認識させることができる。
次に、図８のフローチャート図を参照して、制御部８の処理部８２の制御の一例を説明する。図８は、実施形態に係る監視システムの制御部の制御の一例を表すフローチャート図である。図８に示すフローチャート図は、監視対象者ＯＢの降車動作の監視に関する処理手順の一例を示す。図８に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図８に示す処理手順は、処理部８２によって繰り返し実行される。
まず、監視システム１の制御部８の処理部８２は、撮像部３によって撮像された深度画像を取得する（ステップＳ１０１）。そして、処理部８２は、取得した深度画像から３次元の人体モデルＯＢＭを推定する推定処理を実行する（ステップＳ１０２）。例えば、処理部８２は、推定処理を実行することにより、深度画像の３次元点群データが示す各点の座標値に基づいて監視対象者ＯＢを抽出し、当該監視対象者ＯＢの骨格位置に着目して人体モデルＯＢＭを推定し、当該人体モデルＯＢＭから監視対象部位ＴＧを抽出する。なお、推定処理の詳細については、後述する。処理部８２は、ステップＳ１０２の処理を実行することにより、上記の推定部８３として機能する。処理部８２は、推定処理が終了すると、処理をステップＳ１０３に進める。
処理部８２は、抽出した人体モデルＯＢＭに基づいて、監視対象部位ＴＧが監視座標に接近する動作を監視して監視対象者ＯＢの降車動作を検出して監視対象者ＯＢの降車動作を検出する（ステップＳ１０３）。例えば、処理部８２は、監視対象部位ＴＧの３次元座標と条件情報８１ａの監視座標Ｐ１，Ｐ２との距離が判定閾値よりも小さくなったか否かを判定する。なお、処理部８２は、監視対象部位ＴＧの３次元座標がドアノブ１２０の監視座標に到達したか否かを判定してもよい。例えば、処理部８２は、監視対象部位ＴＧの３次元座標と条件情報８１ａの監視座標Ｐ１との距離が判定閾値よりも小さくなったと判定する。この場合、監視対象部位ＴＧが監視座標Ｐ１に接近する動作であるので、処理部８２は、監視対象者ＯＢの降車動作を検出したことを示す監視結果を監視結果情報８１ｂに記憶する。例えば、処理部８２は、監視対象部位ＴＧの３次元座標と条件情報８１ａの監視座標Ｐ１との距離が判定閾値よりも小さくなっていないと判定する。この場合、監視対象部位ＴＧが監視座標Ｐ１に接近する動作ではないので、処理部８２は、監視対象者ＯＢの降車動作を検出していないことを示す監視結果を監視結果情報８１ｂに記憶する。処理部８２は、ステップＳ１０３の処理を実行することにより、上記の監視部８４として機能する。処理部８２は、監視対象部位ＴＧを抽出すると、処理をステップＳ１０４に進める。
処理部８２は、外部接続部７を介して車両情報及び周辺状況情報を取得する（ステップＳ１０４）。処理部８２は、取得した車両情報及び周辺状況情報を一時的に記憶部８１に記憶すると、処理をステップＳ１０５に進める。
処理部８２は、車両１００が停車状態であるか否かを判定する（ステップＳ１０５）。例えば、処理部８２は、ステップＳ１０５で取得した車両情報が停車状態を示している場合、車両１００が停車状態であると判定する。処理部８２は、車両１００が停車状態ではないと判定した場合（ステップＳ１０５でＮｏ）、図８に示す処理手順を終了させる。処理部８２は、車両１００が停車状態であると判定した場合（ステップＳ１０５でＹｅｓ）、処理をステップＳ１０６に進める。
処理部８２は、監視対象者ＯＢの降車動作を検出したか否かを判定する（ステップＳ１０６）。例えば、処理部８２は、監視結果情報８１ｂの監視結果が監視対象者ＯＢの降車動作を検出したことを示す場合、監視対象者ＯＢの降車動作を検出したと判定する。処理部８２は、監視対象者ＯＢの降車動作を検出していないと判定した場合（ステップＳ１０６でＮｏ）、図８に示す処理手順を終了させる。処理部８２は、監視対象者ＯＢの降車動作を検出したと判定した場合（ステップＳ１０６でＹｅｓ）、処理をステップＳ１０７に進める。
処理部８２は、他車両が接近中であるか否かを判定する（ステップＳ１０７）。例えば、処理部８２は、ステップＳ１０４で取得した周辺状況情報が車両１００の周辺の他車両を示している場合に、他車両が接近中であると判定する。処理部８２は、他車両が接近中ではないと判定した場合（ステップＳ１０７でＮｏ）、図８に示す処理手順を終了させる。処理部８２は、他車両が接近中であると判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。
処理部８２は、他車両の接近を警報部９によって警報させる（ステップＳ１０８）。例えば、処理部８２は、監視座標の近くに設けられた警報部９を特定し、外部接続部７を介して、当該警報部９に他車両の接近を警報させる。その結果、監視座標の近くに設けられた警報部９は、監視対象者ＯＢに対して、例えば他車両の接近を警報部９の発光によって警報する。処理部８２は、ステップＳ１０５からステップＳ１０８の一連の処理を実行することにより、動作制御部８５として機能する。そして、処理部８２は、警報部９に警報させると、図８に示す処理手順を終了させる。
次に、図９のフローチャート図を参照して、制御部８の処理部８２による人体モデルＯＢＭの推定処理の一例を説明する。図９は、実施形態に係る監視システム１の人体モデルＯＢＭの推定処理の一例を表すフローチャート図である。図９に示すフローチャート図は、人体モデルＯＢＭの推定方法に関する処理手順の一例を示す。図９に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図９に示す処理手順は、処理部８２が図８に示すステップＳ１０２を実行することにより、起動される。
まず、監視システム１の制御部８の処理部８２は、深度画像から監視対象者ＯＢの人体部分を抽出する（ステップＳ２０１）。例えば、処理部８２は、公知である背景差分法を用いて、撮像部３によって撮像された深度画像の３次元点群データと事前に用意しておいた室内１０１の３次元点群データとを比較し、室内１０１の３次元点群データには存在しない３次元点群を人体部分として抽出する。処理部８２は、人体部分を抽出すると、処理をステップＳ２０２に進める。
処理部８２は、抽出した人体部分から各人体パーツを特定する（ステップＳ２０２）。例えば、処理部８２は、公知であるＲａｎｄｏｍ Ｆｏｒｅｓｔを用いて、予め定められた頭、肩、肘、手、腰、膝及び足の人体パーツを人体部分から特定する。監視対象者ＯＢの向き、姿勢等によって全ての人体パーツを特定できない場合、処理部８２は、特定可能な人体パーツを特定する。処理部８２は、特定を終了すると、処理をステップＳ２０３に進める。
処理部８２は、室内１０１の３次元空間における各人体パーツの３次元座標を算出する（ステップＳ２０３）。例えば、処理部８２は、公知であるＭｅａｎ Ｓｈｉｆｔ法を用いて、各人体パーツの重心を計算し、計算した重心の座標値と深度画像の３次元点群データが示す各点の座標値とに基づいて、人体パーツの３次元座標を算出する。処理部８２は、各人体パーツの３次元座標を算出すると、処理をステップＳ２０４に進める。
処理部８２は、各人体パーツをつなぎ合わせて人体モデルＯＢＭを推定する（ステップＳ２０４）。処理部８２は、推定した室内１０１の３次元空間における人体モデルＯＢＭを示す情報を記憶部８１に記憶すると、図９に示す処理手順を終了させる。
なお、上述した本発明の実施形態に係る監視システム１は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
［実施形態の変形例］
実施形態の変形例について説明する。実施形態に係る監視システム１における制御部８の処理部８２の制御の他の一例について、図１０のフローチャート図を参照して説明する。以下の説明において、監視システム１の同様の処理手順について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
図１０は、実施形態に係る監視システムの制御部の制御の他の一例を表すフローチャート図である。図１０に示すフローチャート図は、監視対象者ＯＢの降車動作の監視に関する処理手順の他の一例を示す。図１０に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図１０に示す処理手順は、処理部８２によって繰り返し実行される。
まず、監視システム１の制御部８の処理部８２は、撮像部３によって撮像された深度画像を取得する（ステップＳ１０１）。そして、処理部８２は、取得した深度画像から３次元の人体モデルＯＢＭを推定する推定処理を実行する（ステップＳ１０２）。処理部８２は、抽出した人体モデルＯＢＭに基づいて、監視対象部位ＴＧが監視座標に接近する動作を監視して監視対象者ＯＢの降車動作を検出する（ステップＳ１０３）。処理部８２は、外部接続部７を介して車両情報及び周辺状況情報を取得する（ステップＳ１０４）。処理部８２は、取得した車両情報及び周辺状況情報を一時的に記憶部８１に記憶すると、処理をステップＳ１０６に進める。
処理部８２は、監視対象者ＯＢの降車動作を検出したか否かを判定する（ステップＳ１０６）。処理部８２は、監視対象者ＯＢの降車動作を検出していないと判定した場合（ステップＳ１０６でＮｏ）、図１０に示す処理手順を終了させる。処理部８２は、監視対象者ＯＢの降車動作を検出したと判定した場合（ステップＳ１０６でＹｅｓ）、処理をステップＳ１０５に進める。
処理部８２は、車両１００が停車状態であるか否かを判定する（ステップＳ１０５）。処理部８２は、車両１００が停車状態であると判定した場合（ステップＳ１０５でＹｅｓ）、処理をステップＳ１０７に進める。処理部８２は、他車両が接近中であるか否かを判定する（ステップＳ１０７）。処理部８２は、他車両が接近中ではないと判定した場合（ステップＳ１０７でＮｏ）、図１０に示す処理手順を終了させる。処理部８２は、他車両が接近中であると判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。そして、処理部８２は、他車両の接近を警報部９によって警報させる（ステップＳ１０８）。処理部８２は、警報部９に警報させると、図１０に示す処理手順を終了させる。
また、処理部８２は、車両１００が停車状態ではないと判定した場合（ステップＳ１０５でＮｏ）、車両１００が走行状態であるので、処理をステップＳ１１１に進める。処理部８２は、監視対象部者ＯＢの降車動作を検出したことを出力部４によって警報する（ステップＳ１１１）。例えば、処理部８２は、監視対象部者ＯＢの降車動作を検出したことを警報する警報情報を出力部４の表示部４１に表示させるとともに、スピーカ４２から警報音を出力させる。その結果、出力部４は、運転者、他の同乗者等に対して、監視対象者ＯＢの降車動作を把握させることができる。処理部８２は、ステップＳ１０６、ステップＳ１０５及びステップＳ１１１の一連の処理を実行することにより、動作制御部８５として機能する。そして、処理部８２は、出力部４に警報させると、図１０に示す処理手順を終了させる。
以上により、監視システム１は、動作制御部８５が監視部８４の監視結果に基づいて監視対象部者ＯＢの降車動作が検出され、かつ車両１００が走行状態である場合に、監視対象者ＯＢの降車動作を警報する処理を行う。この結果、監視システム１は、車両１００が走行状態のときに、監視対象者ＯＢの降車動作を警報する処理を実行することができるので、同乗者が車両１００の走行中にドア１１０を誤って開放することを事前に防止することができる。
以上の説明では、監視部８４は、監視領域Ｅ１、Ｅ２における監視対象部位ＴＧの移動を監視する場合について説明したが、これに限定されない。例えば、監視部８４は、監視領域Ｅ１、Ｅ２を設定せずに、監視対象部位ＴＧが監視座標Ｐ１、Ｐ２に向かう動作を監視する構成としてもよい。
以上の説明では、監視部８４は、一例として車両１００の室内１０１の監視対象者ＯＢとして、後部空間の搭乗者の動作を監視するものとして説明したがこれに限らない。監視対象者ＯＢは、助手席１０６の同乗者であってもよい。また、監視対象部位ＴＧは、監視対象者ＯＢの手であるものとして説明したがこれに限らず、例えば、腕等であってもよい。
以上の説明では、監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、オーバーヘッドモジュールを構成するものとして説明したがこれに限らない。監視システム１は、例えば、制御部８が筐体２の外部に設けられ、配索材を介して各部と電気的に接続される構成であってもよく、例えば、制御部８が車両１００の各部を統括的に制御する車両ＥＣＵによって兼用されて構成されてもよい。また、警報部９は、例えば、車両１００の室内１０１の後部空間に搭載されたディスプレイやスピーカ等が兼用されてもよい。監視システム１は、出力部４を警報部として兼用してもよい。
１ 監視システム
２ 筐体
３ 撮像部
４ 出力部
５ 照明部
６ 操作部
７ 外部接続部
８ 制御部
８１ 記憶部
８１ａ 条件情報
８１ｂ 監視結果情報
８２ 処理部
８３ 推定部
８４ 監視部
８５ 動作制御部
９ 警報部
１００ 車両
１０１ 室内
１１０ ドア
１２０ ドアノブ
１０７ 後部座席
ＯＢ 監視対象者
ＯＢＭ 人体モデル
Ｐ１、Ｐ２ 監視座標
ＴＧ 監視対象部位

Claims (7)

  1. 車両の室内の監視対象者までの距離を含む深度画像を撮像する撮像部と、
    前記撮像部によって撮像された前記深度画像から前記監視対象者の３次元の人体モデルを推定する推定部と、
    前記推定部によって推定された前記人体モデルに基づいて、当該人体モデルの監視対象部位が前記室内のドア操作に関する監視座標に接近する動作を監視して前記監視対象者の降車動作を検出する監視部と、
    を備えることを特徴とする監視システム。
  2. 前記監視部は、前記監視座標を基準とした前記室内の監視領域内に位置する前記監視対象部位が前記監視座標に接近する動作を監視して前記降車動作を検出し、前記監視領域の外に位置する前記監視対象部位が前記監視座標に接近する動作を前記降車動作として検出しない、
    請求項１に記載の監視システム。
  3. 前記監視座標は、前記室内におけるドアノブの３次元座標であり、
    前記監視対象部位は、前記監視対象者の手である、
    請求項１または２に記載の監視システム。
  4. 前記監視部の監視結果に基づいて前記降車動作を検出した場合に、当該降車動作に応じた処理を行う動作制御部をさらに備える、
    請求項１から３のいずれか１項に記載の監視システム。
  5. 前記動作制御部は、前記監視部の監視結果に基づいて前記降車動作が検出され、かつ前記車両が停車状態である場合に、当該降車動作に応じた処理を行う、
    請求項４に記載の監視システム。
  6. 前記室内に設けられ、前記監視対象者に対して警報を行う警報部をさらに備え、
    前記動作制御部は、前記監視部の監視結果に基づいて前記降車動作が検出され、かつ前記車両に対して他車両が接近している場合に、前記他車両の接近を前記警報部に警報させる前記処理を行う、
    請求項４または５に記載の監視システム。
  7. 前記車両の天井の前記室内側の面に設けられ、前記撮像部及び前記監視部が組み付けられる筐体を備える、
    請求項１から６のいずれか１項に記載の監視システム。
JP2018126749A 2018-07-03 2018-07-03 監視システム Active JP6782283B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018126749A JP6782283B2 (ja) 2018-07-03 2018-07-03 監視システム
US16/452,824 US11132534B2 (en) 2018-07-03 2019-06-26 Monitoring system
EP19183209.6A EP3590772B1 (en) 2018-07-03 2019-06-28 Monitoring system
CN201910589599.XA CN110682913B (zh) 2018-07-03 2019-07-02 监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018126749A JP6782283B2 (ja) 2018-07-03 2018-07-03 監視システム

Publications (2)

Publication Number Publication Date
JP2020008931A true JP2020008931A (ja) 2020-01-16
JP6782283B2 JP6782283B2 (ja) 2020-11-11

Family

ID=67139620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018126749A Active JP6782283B2 (ja) 2018-07-03 2018-07-03 監視システム

Country Status (4)

Country Link
US (1) US11132534B2 (ja)
EP (1) EP3590772B1 (ja)
JP (1) JP6782283B2 (ja)
CN (1) CN110682913B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021147854A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6629810B2 (ja) * 2017-10-06 2020-01-15 株式会社Ｓｕｂａｒｕ ドア制御装置
JP7204421B2 (ja) * 2018-10-25 2023-01-16 キヤノン株式会社 検知装置およびその制御方法
JP7109866B2 (ja) * 2019-04-19 2022-08-01 矢崎総業株式会社 照明制御システム及び照明制御方法
US11485383B2 (en) * 2019-12-06 2022-11-01 Robert Bosch Gmbh System and method for detecting and mitigating an unsafe condition in a vehicle
JP7400697B2 (ja) * 2020-11-12 2023-12-19 豊田合成株式会社 車両用乗員保護システム
US11673559B2 (en) * 2020-12-22 2023-06-13 Toyota Jidosha Kabushiki Kaisha Disembarkation action determination device, vehicle, disembarkation action determination method, and non-transitory storage medium stored with program
US20230219578A1 (en) * 2022-01-07 2023-07-13 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015209154A (ja) * 2014-04-28 2015-11-24 矢崎総業株式会社 車載警報装置
WO2017056401A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 制御装置、制御方法及びプログラム
JP2017177883A (ja) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 車載報知装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19537619C2 (de) * 1995-10-09 1997-09-18 Rolf Dipl Ing Schiller Überwachungsvorrichtung für das Öffnen von (Kfz)-Türen
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
CN201402328Y (zh) * 2009-03-30 2010-02-10 德尔福技术有限公司 离车安全性检测设备
DE102010056171A1 (de) * 2010-12-24 2012-06-28 Volkswagen Ag Verfahren zum automatischen Betätigen eines Schließelements eines Fahrzeugs sowie entsprechende Vorrichtung und Fahrzeug
US8457355B2 (en) * 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
JP2014203317A (ja) 2013-04-08 2014-10-27 カルソニックカンセイ株式会社 携帯型通信機器
DE102014016749A1 (de) * 2014-11-12 2016-05-12 Daimler Ag Sensor zur Erfassung einer Fahrzeugumgebung
KR20160097661A (ko) * 2015-02-09 2016-08-18 엘지전자 주식회사 차량 내 탑승자 인식 장치 및 그 방법
JP6650595B2 (ja) * 2015-09-24 2020-02-19 パナソニックＩｐマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
JP6427125B2 (ja) * 2016-01-29 2018-11-21 矢崎総業株式会社 車内照明装置
JP2017224049A (ja) * 2016-06-13 2017-12-21 クラリオン株式会社 車載装置、報知方法
US10000172B2 (en) * 2016-06-28 2018-06-19 Ford Global Technologies, Llc Detecting hazards in anticipation of opening vehicle doors
JP6909960B2 (ja) * 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP6804416B2 (ja) * 2017-09-25 2020-12-23 矢崎総業株式会社 監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015209154A (ja) * 2014-04-28 2015-11-24 矢崎総業株式会社 車載警報装置
WO2017056401A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 制御装置、制御方法及びプログラム
JP2017177883A (ja) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 車載報知装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021147854A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム

Also Published As

Publication number Publication date
EP3590772A1 (en) 2020-01-08
US11132534B2 (en) 2021-09-28
CN110682913A (zh) 2020-01-14
JP6782283B2 (ja) 2020-11-11
CN110682913B (zh) 2022-08-16
US20200012848A1 (en) 2020-01-09
EP3590772B1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
JP6782283B2 (ja) 監視システム
JP5088669B2 (ja) 車両周辺監視装置
CN106484275B (zh) 提供停驶车辆移动模式的方法、驾驶员辅助设备及包括其的车辆
JP7161318B2 (ja) 乗車人数監視システム
JP6341055B2 (ja) 車載制御装置
US11008783B2 (en) Vehicle periphery monitoring apparatus
KR101487165B1 (ko) 차량 승객을 위한 승하차 안전 시스템
WO2016027412A1 (ja) 車載制御装置
US9981598B2 (en) Alighting notification device
US11292386B2 (en) Vehicle interior lighting system for illuminating an interior of a vehicle based on a predicted movement intention of an object person
JP2017146744A (ja) ドライバ状態判定装置
US10949688B2 (en) Monitoring system for person in a vehicle
ES2902698T3 (es) Determinación de la posición de un objeto ajeno a un vehículo en un vehículo
JP2018139070A (ja) 車両用表示制御装置
US20230234564A1 (en) Agent apparatus
JP6973019B2 (ja) 走行支援システム及び車載装置
WO2021085371A1 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
US20210279486A1 (en) Collision avoidance and pedestrian detection systems
JP6786451B2 (ja) 監視システム
KR20140141285A (ko) 자동차용 탑승자 추적 장치
JP2017149273A (ja) 車載装置、車両用システム、及びプログラム
JP2018160151A (ja) 運転支援装置
JP2006117118A (ja) 車両用前方視界表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6782283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250