JP2020001529A - 車内照明システム - Google Patents

車内照明システム Download PDF

Info

Publication number
JP2020001529A
JP2020001529A JP2018122047A JP2018122047A JP2020001529A JP 2020001529 A JP2020001529 A JP 2020001529A JP 2018122047 A JP2018122047 A JP 2018122047A JP 2018122047 A JP2018122047 A JP 2018122047A JP 2020001529 A JP2020001529 A JP 2020001529A
Authority
JP
Japan
Prior art keywords
unit
lighting
vehicle
human body
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018122047A
Other languages
English (en)
Other versions
JP7046734B2 (ja
Inventor
鈴木　正志
Masashi Suzuki
正志 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2018122047A priority Critical patent/JP7046734B2/ja
Priority to US16/437,215 priority patent/US11292386B2/en
Priority to EP19182076.0A priority patent/EP3587186B1/en
Priority to CN201910560638.3A priority patent/CN110716636B/zh
Publication of JP2020001529A publication Critical patent/JP2020001529A/ja
Application granted granted Critical
Publication of JP7046734B2 publication Critical patent/JP7046734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/40—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors specially adapted for specific vehicle types
    • B60Q3/41—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors specially adapted for specific vehicle types for mass transit vehicles, e.g. buses
    • B60Q3/47—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/50—Mounting arrangements
    • B60Q3/51—Mounting arrangements for mounting lighting devices onto vehicle interior, e.g. onto ceiling or floor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/60—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects
    • B60Q3/62—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects using light guides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/74—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for overall compartment lighting; for overall compartment lighting in combination with specific lighting, e.g. room lamps with reading lamps
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S8/00—Lighting devices intended for fixed installation
    • F21S8/04—Lighting devices intended for fixed installation intended only for mounting on a ceiling or the like overhead structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0018—Redirecting means on the surface of the light guide
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2500/00—Special features or arrangements of vehicle interior lamps
    • B60Q2500/30—Arrangements for illuminating different zones in the vehicle, e.g. front/rear, different seats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B60Q3/82—Switches specially adapted for vehicle interior lighting, e.g. switching by tilting the lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)

Abstract

【課題】車内を移動する対象者の利便性を向上させることができる車内照明システムを提供することを目的とする。【解決手段】車内照明システム１は、車両の室内に設けられた照明ユニット５０と、室内の対象者までの距離を含む深度画像を撮像する撮像部３と、撮像部３によって撮像された深度画像から対象者の３次元の人体モデルを推定する推定部８３と、推定部８３によって推定された人体モデルに基づいて室内における対象者の移動意思を予測する予測部８４と、予測部８４によって予測された移動意思に応じて照明ユニット５０の照明を制御する動作制御部８５と、を備えることを特徴とする。【選択図】図３

Description

本発明は、車内照明システムに関する。
車両の室内には、車室内を照明するための車室内照明装置が配設されている。例えば、特許文献１には、車両の搭乗者によって操作され、ＬＥＤの点灯／消灯のためのスイッチを備え、車室の天井などの壁面に配設される車両用室内灯が開示されている。
特開２０１８−６２２９９号公報
ところで、上述の特許文献１に記載の車両用室内灯は、例えば、搭乗者が夜間などにスイッチの操作が困難な車内の目的位置に移動する場合、スイッチの場所に移動してスイッチを操作したり、運転者、他の搭乗者等にスイッチの操作を依頼したりする必要がある。
本発明は、上記の事情に鑑みてなされたものであって、車内を移動する対象者の利便性を向上させることができる車内照明システムを提供することを目的とする。
上記目的を達成するために、本発明に係る車内照明システムは、車両の室内に設けられた照明ユニットと、前記室内の対象者までの距離を含む深度画像を撮像する撮像部と、前記撮像部によって撮像された前記深度画像から前記対象者の３次元の人体モデルを推定する推定部と、前記推定部によって推定された前記人体モデルに基づいて、前記室内における前記対象者の移動意思を予測する予測部と、前記予測部によって予測された前記移動意思に応じて、前記照明ユニットの照明を制御する動作制御部と、を備えることを特徴とする。
また、上記車内照明システムでは、前記照明ユニットは、複数の照明装置を有し、前記動作制御部は、前記予測部によって前記移動意思が予測された前記対象者の近くの前記照明装置を点灯させるものとすることができる。
また、上記車内照明システムでは、前記予測部は、前記推定部によって推定された前記人体モデルに基づいて、前記室内における前記対象者の移動先を予測し、前記動作制御部は、前記予測部によって予測された前記移動先の前記照明装置を点灯させるものとすることができる。
また、上記車内照明システムでは、前記動作制御部は、前記移動先の前記照明装置を点灯させると、前記対象者の移動元で点灯させている前記照明装置を消灯させるものとすることができる。
また、上記車内照明システムでは、前記予測部は、前記推定部によって推定された前記人体モデルに基づいて、前記室内を移動している前記対象者の移動終了意思を予測し、前記動作制御部は、前記予測部によって予測された前記移動終了意思に応じて、前記照明ユニットの照明を終了させるものとすることができる。
また、上記車内照明システムでは、前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記予測部、前記推定部及び前記動作制御部が組み付けられる筐体を備えるものとすることができる。
本発明に係る車内照明システムは、撮像部によって撮像された深度画像から対象者の３次元の人体モデルを推定し、当該人体モデルに基づいて室内における対象者の移動意思を予測し、当該移動意思に応じて照明ユニットの照明を制御する。この結果、車内照明システムは、３次元の人体モデルから予測した対象者の移動意思に応じて照明ユニットを照明させることができるので、照明ユニットの操作が不要となり、車内を移動する対象者の利便性を向上させることができる、という効果を奏する。
図１は、実施形態に係る車内照明システムが適用される車両の室内の概略構成を表す模式図である。 図２は、実施形態に係る車内照明システムが適用される車両の室内を表す模式図である。 図３は、実施形態に係る車内照明システムの概略構成を表すブロック図である。 図４は、実施形態に係る車内照明システムの外観を表す斜視図である。 図５は、実施形態に係る車内照明システムが推定する人体モデルの一例を示す図である。 図６は、実施形態に係る車内照明システムの照明ユニットの室内における配置の一例を表す模式図である。 図７は、実施形態に係る車内照明システムの照明ユニットの動作の一例を示す図である。 図８は、実施形態に係る車内照明システムの制御部の制御の一例を表すフローチャート図である。 図９は、実施形態に係る車内照明システムの人体モデルの推定処理の一例を表すフローチャート図である。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
図１から図５を参照して、実施形態について説明する。図１は、実施形態に係る車内照明システムが適用される車両の室内の概略構成を表す模式図である。図２は、実施形態に係る車内照明システムが適用される車両の室内を表す模式図である。図３は、実施形態に係る車内照明システムの概略構成を表すブロック図である。図４は、実施形態に係る車内照明システムの外観を表す斜視図である。図５は、実施形態に係る車内照明システムが推定する人体モデルの一例を示す図である。なお、図１、図２に示す矢印Ｘ方向は、車両１００の車幅方向とする。図１、図２に示す矢印Ｙ方向は、車両１００の高さ方向とする。図１、図２に示す矢印Ｚ方向は、車両１００の長さ方向（前後方向）とする。以下の説明において、車両１００を「自車両」と表記する場合がある。
図１に示す本実施形態に係る車内照明システム１は、車両１００に搭載され、当該車両１００の室内１０１に設けられた照明ユニット５０に対する様々な処理を行う車載システムである。車内照明システム１は、室内１０１における対象者ＯＢの移動に応じて照明ユニット５０の照明を制御する。対象者ＯＢは、車内照明システム１による照明のサービス提供の対象となる人物である。対象者ＯＢは、車両１００の室内１０１に乗車した搭乗者であり、車両１００の運転者や運転者以外の同乗者を含む。
図１、図２に示す一例では、車両１００は、運転席１０５と、助手席１０６と、２列目の後部座席１０７と、３列目の後部座席１０８とを備える。車両１００は、一例として、ウォークスルーが可能な車両である。換言すると、車両１００は、２列目の後部座席１０７と３列目の後部座席１０８との間を、座席を倒すことなく室内１０１を移動できる車両である。本実施形態の対象者ＯＢは、一例として、車両１００の後部座席１０７，１０８の同乗者であるものとして説明する。なお、本実施形態では、車両１００は、自動車である場合について説明するが、例えば、バス、トラック等であってもよい。
図２に示す一例では、車両１００は、対象者ＯＢが乗降する後部のドア１１０を備える。そして、本実施形態の車内照明システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ−Ｈｅａｄ Ｍｏｄｕｌｅ）を構成する。
以下、図１、図２、図３、図４、図５を参照して車内照明システム１の構成について詳細に説明する。
車内照明システム１は、筐体２と、撮像部３と、出力部４と、照明部５と、操作部６と、外部接続部７と、制御部８と、照明ユニット５０とを備える。なお、オーバーヘッドモジュールを構成する車内照明システム１は、この他、例えば、無線通信部、アンテナ、電源分配部等を備えていてもよい。なお、本実施形態では、車内照明システム１は、照明部５と、照明ユニット５０とを備える場合について説明するが、少なくとも照明ユニット５０を備える構成とすることもできる。
筐体２は、車内照明システム１を構成する一部を収容するものである。筐体２は、複数の部材が組み合わさって全体として中空箱状に形成される。筐体２は、絶縁性を有する合成樹脂によって形成される。ここでは、筐体２は、内部に撮像部３、出力部４、照明部５、操作部６、外部接続部７、及び、制御部８が組み付けられこれらを収容し、オーバーヘッドモジュールとしてユニット化する。筐体２は、内部に収容した撮像部３、出力部４、照明部５、操作部６、外部接続部７の一部が外面に露出している。そして、本実施形態の筐体２は、車両１００の天井（ルーフパネル）１０２の室内１０１側の面に設けられる。天井１０２は、ピラー等を介して車両ボデー本体に連結され当該車両ボデー本体の鉛直方向上側に支持された構造体である。車両１００は、天井１０２を鉛直方向上側の境界として、室内１０１と室外とに領域分けされる。ここでは、筐体２は、例えば、天井１０２とウインドシールド１０３との交差部分でかつ車両１００の車幅方向の略中央位置に設けられる。
撮像部３は、車両１００の室内１０１の対象者ＯＢまでの距離を計測する３次元のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、距離画像センサ等を含む。撮像部３は、対象者ＯＢまでの距離と画素値とが対応付けられた画素を含む深度画像を撮像するものである。本実施形態の撮像部３は、室内１０１の対象者ＯＢの監視対象部位の３次元位置を計測可能な深度画像を撮像する機能を有する。監視対象部位は、例えば、搭乗者の頭部、上半身等を含む。本実施形態では、撮像部３は、ＴＯＦカメラを用いることで、暗い環境でも対象者ＯＢの撮像を可能としている。そして、図１に示す一例では、撮像部３は、照明ユニット５０によって照明可能な車両１００の室内１０１を撮像範囲Ｒとしている。
撮像部３は、例えば、レンズが筐体２の内部に配置され、光軸が室内１０１の運転席１０５、後部座席１０７側を向くように当該筐体２に設けられる。撮像部３からの光及び撮像部３が受ける光は、筐体２の透過部を透過する。撮像部３は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、撮像部３は、撮像した深度画像を制御部８に出力する。なお、撮像部３は、レンズが筐体２の外面に露出するように当該筐体２に設けられてもよい。
出力部４は、車両１００の室内１０１に向けて、種々の情報を出力するものである。ここでは、出力部４は、表示部４１と、スピーカ４２とを含んで構成される。表示部４１は、視覚情報（図形情報、文字情報）を出力する表示装置である。表示部４１は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。スピーカ４２は、聴覚情報（音声情報、音情報）を出力する出力装置である。出力部４を構成する表示部４１、スピーカ４２は、それぞれ、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
照明部５は、車両１００の室内１０１を照明するものであり、例えば、マップランプ等である。照明部５は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
操作部６は、車両１００の室内１０１側から種々の操作を入力可能な操作機器である。操作部６は、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。操作部６は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。
外部接続部７は、筐体２の外部の電気機器が電気的に接続される部分である。外部接続部７は、種々の形式のコネクタやインターフェース部によって構成される。外部接続部７は、照明ユニット５０が電気的に接続される。
照明ユニット５０は、車両１００の室内１０１における後部座席１０７、１０８等を照明するものである。照明ユニット５０は、外部接続部７を介して制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。照明ユニット５０は、複数の照明装置５１を有する。複数の照明装置５１は、室内１０１に配置されている。本実施形態の複数の照明装置５１は、ダウンライト５２と、フットランプ５３とを有する。ダウンライト５２は、車両１００の天井１０２に設けられ、設けられた下方の場所を照明する照明装置５１である。フットランプ５３は、車両１００の床面の縁等に設けられ、対象者ＯＢの足下を照明する照明装置５１である。複数の照明装置５１は、例えば、ダウンライト５２及びフットランプ５３のいずれか１つとしてもよいし、ルームランプを含んでもよい。本実施形態のダウンライト５２及びフットランプ５３は、各ライト及び各ランプの全点灯状態と、当該全点灯状態よりも低い照度で点灯する第１点灯状態とを切り替え可能な構成となっている。
外部接続部７は、車両１００の各部を統括的に制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）や車両１００の天井１０２の室内１０１側の面の後部座席側の位置に設けられるリヤモジュール等が電気的に接続される。外部接続部７は、制御部８、及び、筐体２の外部の電気機器に電気的に接続され、相互に電気信号を授受可能である。
図３に示す一例では、外部接続部７は、例えば、上述した照明ユニット５０に加えて、状態検出装置２００が電気的に接続されている。状態検出装置２００は、種々の情報を検出するものである。状態検出装置２００は、例えば、車両状態情報、周辺状況情報等を検出する。車両状態情報は、車両１００の走行状態を表す情報である。周辺状況情報は、車両１００の周辺状況を表す情報である。車両状態情報は、例えば、車両１００の車速情報、シートベルト装着の有無を示すシートベルト情報、蓄電装置の蓄電量情報等を含んでいてもよい。周辺状況情報は、例えば、車両１００の周辺の照度、周辺環境等を表す情報を含んでいてもよい。
制御部８は、車内照明システム１の各部を統括的に制御する部分である。制御部８は、対象者ＯＢの状態監視や様々な支援に関する種々の演算処理を実行する。制御部８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部８は、撮像部３、出力部４、照明部５、操作部６、及び、外部接続部７が電気的に接続される。制御部８は、撮像部３によって撮像された深度画像に対応した画像信号、各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
具体的には、制御部８は、機能概念的に、記憶部８１、及び、処理部８２を含んで構成される。記憶部８１、及び、処理部８２は、電気的に接続されている各種機器との間で種々の情報を授受することができる。記憶部８１は、メモリ等の記憶装置である。記憶部８１は、制御部８での各種処理に必要な条件や情報、制御部８で実行する各種プログラム等が格納されている。そして、記憶部８１は、表示部４１に表示する一部の画像等の視覚情報やスピーカ４２で出力する音声等の聴覚情報も記憶している。また、記憶部８１は、撮像部３が撮像した深度画像に関する情報や外部接続部７を介して取得された各種情報を一時的に記憶することもできる。記憶部８１は、処理部８２によって各種情報が必要に応じて読み出される。処理部８２は、各種入力信号等に基づいて、記憶部８１に記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。
図３に示す一例では、記憶部８１は、予測情報８１ａと、照明配置情報８１ｂとを記憶することができる。予測情報８１ａは、人工知能技術や深層学習技術を用いた様々な手法によって、対象者ＯＢが移動しようとする移動意思を学習した結果が反映された情報である。言い換えれば、予測情報８１ａは、対象者ＯＢの移動意思を予測するために、人工知能技術や深層学習技術を用いた様々な手法を用いてデータベース化された情報である。例えば、室内１０１で座席に着席している対象者ＯＢの移動意思は、対象者ＯＢの頭部が大きく前に傾くことや、対象者ＯＢの上半身が室内１０１を移動することを捉えることで予測することができる。また、移動意思は、例えば、移動開始意思、移動継続意思、移動終了意思に分類することができる。移動開始意思は、移動を開始しようとする対象者ＯＢの心理作用である。移動開始意思は、例えば、対象者ＯＢが座席から立ち上がって上半身を室内１０１の通路等に向ける動作を把握することで予測することができる。また、移動継続意思は、移動を継続しようとする対象者ＯＢの心理作用である。移動継続意思は、例えば、対象者ＯＢの上半身の移動を継続する動作を把握することで予測することができる。また、移動終了意思は、移動を終了しようとする対象者ＯＢの心理作用である。移動終了意思は、例えば、対象者ＯＢが移動先の座席に座る動作を把握することで予測することができる。本実施形態では、予測情報８１ａは、３次元の人体モデルに基づいて、対象者ＯＢの移動意思に応じた動作を把握するための情報がデータベース化されている。
照明配置情報８１ｂは、室内１０１における照明ユニット５０の照明装置５１の配置を表す情報である。照明配置情報８１ｂは、例えば、照明ユニット５０が有する各照明装置５１の識別情報、室内１０１における位置情報等を表す情報を含む。照明配置情報８１ｂの一例については、後述する。
処理部８２は、より詳細には、機能概念的に、推定部８３、予測部８４、及び、動作制御部８５を含んで構成される。処理部８２は、プログラムを実行することにより、推定部８３、予測部８４、及び、動作制御部８５を実現する。
推定部８３は、撮像部３によって撮像された深度画像から対象者ＯＢの３次元の人体モデルを推定する。例えば、推定部８３は、背景差分法、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｍｅａｎ Ｓｈｉｆｔ法、パターンマッチング等によって深度画像から対象者ＯＢを抽出し、当該対象者ＯＢの輪郭等に基づいて人体モデルを推定する。図５に示す人体モデルＯＢＭは、対象者ＯＢの骨格位置を示すモデルである。図５に示す一例では、人体モデルＯＢＭは、対象者ＯＢの頭、肩、肘、手、腰、膝及び足の人体パーツを特徴的に示している。そして、推定部８３は、深度画像の各画素の距離と画素値とに基づいて対象者ＯＢを深度画像から抽出し、当該対象者ＯＢの骨格位置に着目して人体モデルＯＢＭを推定する。なお、人体モデルＯＢＭの推定処理の一例については、後述する。推定部８３は、推定した人体モデルＯＢＭの各人体パーツを推定し、室内１０１の３次元空間における各人体パーツの３次元座標を算出する。推定部８３は、算出した各人体パーツの３次元座標を、深度画像のフレームに紐付けて記憶部８１に記憶する。
予測部８４は、推定部８３によって推定された対象者ＯＢの人体モデルＯＢＭに基づいて、室内１０１における対象者ＯＢの移動意思を予測する。例えば、予測部８４は、人体モデルＯＢＭのオプティカルフローを推定し、当該オプティカルフローに基づいて人体モデルＯＢＭの状態及び過程を把握する。なお、人体モデルＯＢＭのオプティカルフローを推定する手法は、例えば、Ｌｕｃａｓ Ｋａｎａｄｅ法、Ｈｏｍ−Ｓｃｈｕｎｋ法等を用いることができる。そして、予測部８４は、把握した人体モデルの状態及び過程、記憶部１５Ｂに記憶されている予測情報８１ａ等に基づいて、人体モデルＯＢＭの動作を把握し、当該動作に応じた対象者ＯＢの移動意思を予測する。例えば、人体モデルＯＢＭが座席から立ち上がって通路を向いた動作を把握した場合、予測部８４は、対象者ＯＢの移動意思として移動開始意思を予測する。例えば、人体モデルＯＢＭが室内１０１の通路を移動している動作を把握した場合、予測部８４は、対象者ＯＢの移動意思として移動継続意思を予測する。例えば、移動した人体モデルＯＢＭが座席に座る動作を把握した場合、予測部８４は、対象者ＯＢの移動意思として移動終了意思を予測する。また、予測部８４は、推定部によって推定された人体モデルＯＢＭに基づいて、室内１０１における対象者ＯＢの移動先を予測する。例えば、予測部８４は、オプティカルフローに基づく人体モデルＯＢＭの位置と向き（移動方向）と室内１０１のマップ情報とに基づいて、人体モデルＯＢＭの移動先を予測する。なお、マップ情報は、車両１００の室内１０１における座席、通路等の配置と座標とを示す情報であり、記憶部８１に予め記憶している。また、予測部８４は、例えば、後部座席１０７に座っていた対象者ＯＢが後部座席１０８に接近している場合、当該後部座席１０８や当該後部座席１０８に向かう通路等を移動先として予測する。予測部８４は、対象者ＯＢの移動意思、移動先等の予測結果を示す情報を記憶部８１に記憶する。
動作制御部８５は、動作制御処理を実行可能な部分である。動作制御処理とは、撮像部３、出力部４、照明部５、及び、操作部６等の車内照明システム１の各部の動作を制御する処理である。動作制御部８５は、撮像部３、出力部４（表示部４１、スピーカ４２）、照明部５、操作部６、外部接続部７、記憶部８１と電気的に接続される。動作制御部８５は、撮像部３に駆動信号を出力することで撮像部３の動作を制御し、対象者ＯＢを含む深度画像の撮像を開始させたり当該撮像を終了させたりすることができる。また、動作制御部８５は、出力部４（表示部４１、スピーカ４２）に駆動信号を出力することで出力部４の動作を制御し、表示部４１に視覚情報を表示させたりスピーカ４２に聴覚情報を出力させたりすることができる。また、動作制御部８５は、照明部５に駆動信号を出力することで照明部５の動作を制御し、照明部５を点灯させたり照明部５を消灯させたりすることができる。さらに、動作制御部８５は、操作部６から入力された操作信号に基づいて操作部６に対する操作入力を受け付け、照明部５及び照明ユニット５０の点灯、消灯を切り替えたり表示部４１による表示内容を切り替えたり各種設定を行ったりすることができる。
そして、動作制御部８５は、外部接続部７を介して照明ユニット５０のダウンライト５２、フットランプ５３に点灯信号、消灯信号等の駆動信号を出力することで照明ユニット５０の照明を制御し、照明ユニット５０を点灯させたり照明ユニット５０を消灯させたりすることができる。動作制御部８５は、複数の照明装置５１を構成する複数のダウンライト５２及びフットランプ５３をそれぞれ点灯／消灯させることができる。
動作制御部８５は、予測部８４によって移動開始意思及び移動継続意思が予測された対象者ＯＢの近くの照明装置５１を点灯させる機能を有する。例えば、動作制御部８５は、人体モデルＯＢＭの３次元座標から室内１０１における現在位置を特定する。そして、動作制御部８５は、特定した現在位置と人体モデルＯＢＭの向き（移動方向）と照明配置情報８１ｂとに基づいて、複数の照明装置５１の中から点灯させる照明装置５１を特定する。言い換えると、動作制御部８５は、特定した現在位置と人体モデルＯＢＭの向き（移動方向）と照明配置情報８１ｂとに基づいて、複数のダウンライト５２及びフットランプ５３の中から点灯させるダウンライト５２及びフットランプ５３の少なくとも１つを特定する。そして、動作制御部８５は、外部接続部７を介して、特定したダウンライト５２及びフットランプ５３の少なくとも１つを点灯させる。
動作制御部８５は、予測部８４によって予測された移動先の照明装置５１を点灯させる機能を有する。例えば、動作制御部８５は、人体モデルＯＢＭの３次元座標から室内１０１における移動先を特定する。そして、動作制御部８５は、現在位置と当該移動先と照明配置情報８１ｂとに基づいて、複数のダウンライト５２及びフットランプ５３の中から点灯させるダウンライト５２及びフットランプ５３の少なくとも１つを特定する。そして、動作制御部８５は、特定したダウンライト５２及びフットランプ５３の少なくとも１つを点灯させる。
動作制御部８５は、移動先の照明装置５１を点灯させると、対象者ＯＢの移動元で点灯させている照明装置５１を消灯させる機能を有する。例えば、動作制御部８５は、複数のダウンライト５２及びフットランプ５３のそれぞれの点灯状態を記憶部８１に記憶しておくことで、ダウンライト５２及びフットランプ５３の点灯／消灯を制御する構成となっている。
動作制御部８５は、予測部８４によって予測された移動終了意思に応じて、照明ユニット５０の照明を終了させる機能を有する。動作制御部８５は、対象者ＯＢの移動終了意思が予測された場合、照明ユニット５０による照明サービスを終了する。例えば、動作制御部８５は、予測部８４によって移動終了意思が予測されると、外部接続部７を介してダウンライト５２及びフットランプ５３の全てに消灯を要求する信号を出力する。例えば、動作制御部８５は、予測部８４によって移動終了意思が予測されると、外部接続部７を介して、点灯させているダウンライト５２、フットランプ５３等に消灯を要求する信号を出力してもよい。
動作制御部８５は、外部接続部７を介して状態検出装置２００に要求信号を出力し、上記の車両情報、周辺状況情報等を取得することができる。動作制御部８５は、車両情報、周辺状況情報等に応じた安全性の優先度に基づいて、照明ユニット５０の照明を制御することができる。例えば、動作制御部８５は、夜間などの周囲が暗い場合、車両１００の走行中に対象者ＯＢが室内１０１を移動していると、照明ユニット５０を上記の第１点灯状態で照明ユニット５０を点灯させることができる。この結果、車内照明システム１は、照明ユニット５０をぼんやりと照明させることで、室内１０１を突然明るく照明して周囲を驚かせることを防止できる。また、動作制御部８５は、夜間などの周囲が暗い場合、車両１００の停車中に対象者ＯＢが室内１０１を移動していると、照明ユニット５０を上記の全点灯状態で照明ユニット５０を点灯させることもできる。この結果、車内照明システム１は、室内１０１を照明ユニット５０によって第１点灯状態よりも明るく照明することで、対象者ＯＢの視認性を向上させることができる。
次に、図６を参照しながら、車内照明システム１の照明ユニット５０の配置の一例を説明する。図６は、実施形態に係る車内照明システム１の照明ユニット５０の室内１０１における配置の一例を表す模式図である。
図６に示す一例では、車内照明システム１は、室内１０１の後部座席１０７、１０８を照明ユニット５０によって照明可能な構成となっている。この場合、車内照明システム１は、複数の照明装置５１として、ダウンライト５２及びフットランプ５３を車両１００の進行方向Ｍに沿って並べて設けている。車内照明システム１は、室内１０１の右側の後部座席１０７、１０８の上方に、ダウンライト５２ａ１、５２ａ２、５２ａ３、５２ａ４を車両１００の前方から後方へ並べて設けている。車内照明システム１は、左右の後部座席１０７、１０８の間の通路１３０の上方に、ダウンライト５２ｂ１、５２ｂ２、５２ｂ３、５２ｂ４を車両１００の前方から後方へ並べて設けている。車内照明システム１は、室内１０１の左側の後部座席１０７、１０８の上方に、ダウンライト５２ｃ１、５２ｃ２、５２ｃ３、５２ｃ４を車両１００の前方から後方へ並べて設けている。車内照明システム１は、室内１０１の右側の後部座席１０７、１０８の足下付近に、フットランプ５３ａ１、５３ａ２を車両１００の前方から後方へ並べて設けている。車内照明システム１は、室内１０１の左側の後部座席１０７，１０８の足下付近に、フットランプ５３ｂ１、５３ｂ２を車両１００の前方から後方へ並べて設けている。
本実施形態では、記憶部８１の照明配置情報８１ｂは、ダウンライト５２ａ１、５２ａ２、５２ａ３、５２ａ４、５２ｂ１、５２ｂ２、５２ｂ３、５２ｂ４、５２ｃ１、５２ｃ２、５２ｃ３、５２ｃ４のそれぞれに対応した識別情報及び位置情報を含む。照明配置情報８１ｂは、フットランプ５３ａ１、５３ａ２、５３ｂ１、５３ｂ２のそれぞれに対応した識別情報及び位置情報を含む。照明配置情報８１ｂは、識別情報及び位置情報を含む場合について説明するが、例えば、照明装置５１の照明範囲、照度等を示す情報を含んでもよい。例えば、室内１０１にルームランプが設けられている場合、照明配置情報８１ｂは、当該ルームランプに関する情報を含んでもよい。
次に、図７を参照しながら、本実施形態に係る車内照明システム１の照明ユニット５０の動作について説明する。図７は、実施形態に係る車内照明システム１の照明ユニット５０の動作の一例を示す図である。
図７に示すステップＳ１の場面では、対象者ＯＢは、室内１０１の右側の後部座席１０７から立ち上がり、上半身を室内１０１の通路１３０に向けて移動しようとしている。
ステップＳ１に示す場面では、車内照明システム１の撮像部３は、右側の後部座席１０７に着席している対象者ＯＢを含む深度画像を撮像する。車内照明システム１の推定部８３は、当該深度画像から後部座席１０７に着席した状態の対象者ＯＢの人体モデルＯＢＭを推定する。この場合、推定部８３は、右側の後部座席１０７から立ち上がり、上半身を室内１０１の通路１３０に向けた人体モデルＯＢＭを推定する。そして、予測部８４は、推定した人体モデルＯＢＭと予測情報８１ａとに基づいて、対象者ＯＢの移動意思として移動開始意思を予測する。そして、動作制御部８５は、人体モデルＯＢＭの室内１０１の現在位置と向き（移動方向）と照明配置情報８１ｂとに基づいて、対象者ＯＢの近くと移動先のダウンライト５２ａ１、５２ｂ１を特定する。そして、動作制御部８５は、外部接続部７を介して、特定したダウンライト５２ａ１、５２ｂ１に点灯信号を出力する。そして、ダウンライト５２ａ１、５２ｂ１は、点灯信号に応じて第１点灯状態で点灯する。この結果、車内照明システム１は、対象者ＯＢの周囲とその前方である移動先をダウンライト５２ａ１、５２ｂ１によって照明することができる。
ステップＳ２の場面では、対象者ＯＢは、室内１０１の右側の後部座席１０７から通路１３０に移動し、上半身を車両１００の後方に向けて後部座席１０７の横を移動している。
ステップＳ２に示す場面では、車内照明システム１の撮像部３は、後部座席１０７の横の通路１３０を移動している対象者ＯＢを含む深度画像を撮像する。車内照明システム１の推定部８３は、当該深度画像から後部座席１０８の方向に移動する対象者ＯＢの人体モデルＯＢＭを推定する。この場合、推定部８３は、上半身を車両１００の後方に向けて通路１３０を移動している人体モデルＯＢＭを推定する。そして、予測部８４は、推定した人体モデルＯＢＭと予測情報８１ａとに基づいて、対象者ＯＢの移動意思として移動継続意思を予測する。そして、動作制御部８５は、人体モデルＯＢＭの室内１０１の現在位置と向き（移動方向）と照明配置情報８１ｂとに基づいて、対象者ＯＢの近くと移動先のダウンライト５２ｂ２、５２ｂ３を特定する。そして、動作制御部８５は、外部接続部７を介して、特定したダウンライト５２ｂ２、５２ｂ３に点灯信号を出力し、点灯させていた移動元のダウンライト５２ａ１、５２ｂ１に消灯信号を出力する。そして、ダウンライト５２ｂ２、５２ｂ３は、点灯信号に応じて第１点灯状態で点灯する。ダウンライト５２ａ１、５２ｂ１は、消灯信号に応じて消灯する。この結果、車内照明システム１は、通路１３０を後方に向かって移動する対象者ＯＢの周囲とその移動先をダウンライト５２ｂ２、５２ｂ３によって照明することができる。
ステップＳ３の場面では、対象者ＯＢは、通路１３０を後方に向かって移動した後、上半身を室内１０１の左側の後部座席１０８に向かって移動している。
ステップＳ３に示す場面では、車内照明システム１の撮像部３は、通路１３０を後部座席１０８付近まで移動して上半身を室内１０１の左側の後部座席１０８に向けた対象者ＯＢを含む深度画像を撮像する。車内照明システム１の推定部８３は、当該深度画像から室内１０１の左側の後部座席１０８に向かって移動する対象者ＯＢの人体モデルＯＢＭを推定する。そして、予測部８４は、推定した人体モデルＯＢＭと予測情報８１ａとに基づいて、対象者ＯＢの移動意思として移動継続意思を予測する。そして、動作制御部８５は、人体モデルＯＢＭの室内１０１の現在位置と向き（移動方向）と照明配置情報８１ｂとに基づいて、対象者ＯＢの近くと移動先のダウンライト５２ｃ３、５２ｃ４を特定する。そして、動作制御部８５は、外部接続部７を介して、特定したダウンライト５２ｃ３、５２ｃ４に点灯信号を出力し、点灯させていた移動元のダウンライト５２ｂ２、５２ｂ３に消灯信号を出力する。そして、ダウンライト５２ｃ３、５２ｃ４は、点灯信号に応じて第１点灯状態で点灯する。ダウンライト５２ｂ２、５２ｂ３は、消灯信号に応じて消灯する。この結果、車内照明システム１は、通路１３０から室内１０１の左側の後部座席１０８に向かって移動する対象者ＯＢの周囲とその移動先である後部座席１０８をダウンライト５２ｃ３、５２ｃ４によって照明することができる。
ステップＳ４の場面では、対象者ＯＢは、室内１０１の左側の後部座席１０８に着席し、上半身を車両１００の前方に向けている。
ステップＳ４に示す場面では、車内照明システム１の撮像部３は、室内１０１の左側の後部座席１０８に着席している対象者ＯＢを含む深度画像を撮像する。車内照明システム１の推定部８３は、当該深度画像から後部座席１０８に着席している対象者ＯＢの人体モデルＯＢＭを推定する。そして、予測部８４は、推定した人体モデルＯＢＭと予測情報８１ａとに基づいて、対象者ＯＢの移動意思として移動終了意思を予測する。そして、動作制御部８５は、外部接続部７を介して、照明ユニット５０に消灯信号を出力する。照明ユニット５０は、点灯しているダウンライト５２ｃ３、５２ｃ４を消灯する。この結果、車内照明システム１は、対象者ＯＢの移動の終了に応じて、照明ユニット５０による照明を終了することができる。
以上で説明した車内照明システム１は、撮像部３によって撮像された深度画像から対象者の３次元の人体モデルＯＢＭを推定し、当該人体モデルＯＢＭに基づいて室内１０１における対象者ＯＢの移動意思を予測し、当該移動意思に応じて照明ユニット５０の照明を制御する。この結果、車内照明システム１は、３次元の人体モデルＯＢＭから予測した対象者ＯＢの移動意思に応じて照明ユニット５０を照明させることができるので、照明ユニット５０の操作が不要となり、室内１０１を移動する対象者ＯＢの利便性を向上させることができる。
車内照明システム１は、動作制御部８５が予測部８４によって対象者ＯＢの移動意思が予測された対象者ＯＢの近くの照明装置５１を点灯させる。この結果、車内照明システム１は、移動意思を示す対象者ＯＢの周囲に障害物の存在の有無を当該対象者ＯＢに把握させることができるので、対象者ＯＢが障害物に接触することを回避させることができる。
車内照明システム１は、予測部８４が推定部８３によって推定された人体モデルＯＢＭに基づいて室内１０１における対象者ＯＢの移動先を予測し、動作制御部８５が予測部８４によって予測された移動先の照明装置５１を点灯させる。この結果、車内照明システム１は、予測した移動先の照明装置５１を点灯させ、移動先に置いてある物体を対象者に把握させて、当該物体を壊したり、対象者が物体に接触したりすることを回避させることができるので、室内１０１を移動する対象者ＯＢの安全性を向上させることができる。
車内照明システム１は、動作制御部８５が対象者ＯＢの移動先の照明装置５１を点灯させると、対象者ＯＢの移動元で点灯させている照明装置５１を消灯させる。この結果、車内照明システム１は、対象者ＯＢの移動に応じて複数の照明装置５１の点灯、消灯させるというように照明ユニット５０を演出することで、利便性を向上せるとともに照明ユニット５０の高級感を向上させることができる。
車内照明システム１は、予測部８４が推定部８３によって推定された人体モデルＯＢＭに基づいて、室内１０１を移動している対象者ＯＢの移動終了意思を予測し、動作制御部８５が予測部８４によって予測された移動終了意思に応じて、照明ユニット５０の照明を終了させる。この結果、車内照明システム１は、対象者ＯＢの移動終了意思の予測に応じて、照明ユニット５０の照明を終了することができるので、移動先に対象者ＯＢが留まった状態になっても、照明装置５１の点灯が継続することを防止できる。
車内照明システム１は、撮像部３、推定部８３、予測部８４及び動作制御部８５を含む各部が筐体２に設けられるので、当該車内照明システム１全体をオーバーヘッドモジュールとしてユニット化することができる。この構成により、車内照明システム１は、車両１００に対する搭載性を向上することができる。
次に、図８のフローチャート図を参照して、制御部８の処理部８２の制御の一例を説明する。図８は、実施形態に係る車内照明システム１の制御部８の制御の一例を表すフローチャート図である。図８に示すフローチャート図は、対象者ＯＢの移動意思に応じた照明ユニット５０の制御に関する処理手順の一例を示す。図８に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図８に示す処理手順は、処理部８２によって繰り返し実行される。
まず、車内照明システム１の制御部８の処理部８２は、撮像部３によって撮像された深度画像を取得する（ステップＳ１０１）。そして、処理部８２は、取得した深度画像から３次元の人体モデルＯＢＭを推定する推定処理を実行する（ステップＳ１０２）。例えば、処理部８２は、推定処理を実行することにより、深度画像の各画素の距離と画素値とに基づいて対象者ＯＢを抽出し、当該対象者ＯＢの骨格位置に着目して人体モデルＯＢＭを推定する。なお、推定処理の詳細については、後述する。処理部８２は、ステップＳ１０２の処理を実行することにより、上記の推定部８３として機能する。処理部８２は、推定処理が終了すると、処理をステップＳ１０３に進める。
処理部８２は、抽出した人体モデルＯＢＭに基づいて、室内１０１における対象者ＯＢの移動意思及び移動先を予測する（ステップＳ１０３）。例えば、処理部８２は、人体モデルＯＢＭのオプティカルフローを推定し、当該オプティカルフローに基づいて人体モデルＯＢＭの状態及び過程を把握する。処理部８２は、把握した人体モデルＯＢＭの状態及び過程、位置、向き、室内１０１のマップ情報、記憶部１５Ｂに記憶されている予測情報８１ａ等に基づいて、人体モデルＯＢＭの動作を把握し、当該動作に応じた対象者ＯＢの移動意思及び移動先を予測する。例えば、人体モデルＯＢＭが座席から立ち上がって通路を向いた動作を把握した場合、処理部８２は、対象者ＯＢの移動意思として、移動開始意思を予測する。例えば、人体モデルＯＢＭが室内１０１の通路を移動している動作を把握した場合、処理部８２は、対象者ＯＢの移動意思として、移動継続意思を予測する。例えば、移動した人体モデルＯＢＭが座席に座る動作を把握した場合、処理部８２は、対象者ＯＢの移動意思として、移動終了意思を予測する。処理部８２は、予測した移動意思及び移動先を示す予測結果を記憶部８１に記憶すると、処理をステップＳ１０４に進める。
処理部８２は、移動意思として、移動開始意思が予測されたか否かを判定する（ステップＳ１０４）。例えば、処理部８２は、ステップＳ１０３の予測結果が移動開始意思であることを示している場合に、移動開始意思が予測されたと判定する。処理部８２は、移動開始意思が予測されたと判定した場合（ステップＳ１０４でＹｅｓ）、処理をステップＳ１０５に進める。
処理部８２は、対象者ＯＢの移動開始位置及び移動先を照明する照明装置５１を特定する（ステップＳ１０５）。例えば、処理部８２は、推定した人体モデルＯＢＭの室内１０１の現在位置と向き（移動方向）と照明配置情報８１ｂとに基づいて、対象者ＯＢの近くと移動先の照明装置５１を特定する。そして、処理部８２は、特定した照明装置５１を点灯させる（ステップＳ１０６）。例えば、処理部８２は、外部接続部７を介して、特定した照明装置５１を点灯させる点灯信号を照明ユニット５０に出力する。この結果、照明ユニット５０は、点灯信号に基づいて、移動を開始し始めた対象者ＯＢの近くの照明装置５１を点灯させる。そして、処理部８２は、特定した照明装置５１を点灯させると、図８に示す処理手順を終了させる。
処理部８２は、移動意思として、移動開始意思が予測されていないと判定した場合（ステップＳ１０４でＮｏ）、処理をステップＳ１０７に進める。処理部８２は、移動意思として、移動継続意思が予測されたか否かを判定する（ステップＳ１０７）。例えば、処理部８２は、ステップＳ１０３の予測結果が移動継続意思であることを示している場合に、移動継続意思が予測されたと判定する。処理部８２は、移動継続意思が予測されたと判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。
処理部８２は、対象者ＯＢの現在位置及び移動先を照明する照明装置５１を特定する（ステップＳ１０８）。例えば、処理部８２は、推定した人体モデルＯＢＭの室内１０１の現在位置と向き（移動方向）と照明配置情報８１ｂとに基づいて、対象者ＯＢの近くと移動先の照明装置５１を特定する。そして、処理部８２は、特定した照明装置５１を点灯させる（ステップＳ１０９）。そして、処理部８２は、移動元の点灯中の照明装置５１を消灯させる（ステップＳ１１０）。例えば、処理部８２は、外部接続部７を介して、移動元の点灯中の照明装置５１を消灯させる消灯信号を照明ユニット５０に出力する。この結果、照明ユニット５０は、点灯信号に基づいて、移動している対象者ＯＢの近くと移動先の照明装置５１を点灯させ、消灯信号に基づいて、移動元の点灯中の照明装置５１を消灯させる。そして、処理部８２は、特定した照明装置５１を点灯させ、移動元の照明装置５１を消灯させると、図８に示す処理手順を終了させる。
処理部８２は、移動意思として、移動継続意思が予測されていないと判定した場合（ステップＳ１０７でＮｏ）、処理をステップＳ１１１に進める。処理部８２は、移動意思として、移動終了意思が予測されたか否かを判定する（ステップＳ１１１）。例えば、処理部８２は、ステップＳ１０３の予測結果が移動終了意思であることを示している場合に、移動終了意思が予測されたと判定する。処理部８２は、移動終了意思が予測されていないと判定した場合（ステップＳ１１１でＮｏ）、図８に示す処理手順を終了させる。処理部８２は、移動終了意思が予測されたと判定した場合（ステップＳ１１１でＹｅｓ）、処理をステップＳ１１２に進める。処理部８２は、照明ユニット５０の照明を終了させる（ステップＳ１１２）。例えば、処理部８２は、外部接続部７を介して、照明ユニット５０の消灯信号を出力する。この結果、照明ユニット５０は、点灯中の照明装置５１を消灯させる。そして、処理部８２は、照明ユニット５０の照明を終了させると、図８に示す処理手順を終了させる。
次に、図９のフローチャート図を参照して、制御部８の処理部８２が実行する人体モデルＯＢＭの推定処理の一例を説明する。図９は、実施形態に係る車内照明システム１の人体モデルＯＢＭの推定処理の一例を表すフローチャート図である。図９に示すフローチャート図は、人体モデルＯＢＭの推定方法に関する処理手順の一例を示す。図９に示す処理手順は、処理部８２がプログラムを実行することによって実現される。図９に示す処理手順は、処理部８２が図８に示すステップＳ１０２を実行することにより、起動される。
まず、車内照明システム１の制御部８の処理部８２は、深度画像から対象者ＯＢの人体部分を抽出する（ステップＳ２０１）。例えば、処理部８２は、公知である背景差分法を用いて、撮像部３によって撮像された深度画像と事前に撮像しておいた室内１０１の室内画像とを比較し、室内画像には存在しない物体を人体部分として抽出する。処理部８２は、人体部分を抽出すると、処理をステップＳ２０２に進める。
処理部８２は、抽出した人体部分から各人体パーツを特定する（ステップＳ２０２）。例えば、処理部８２は、公知であるＲａｎｄｏｍ Ｆｏｒｅｓｔを用いて、予め定められた頭、肩、肘、手、腰、膝及び足の人体パーツを人体部分から特定する。対象者ＯＢの向き、姿勢等によって全ての人体パーツを特定できない場合、処理部８２は、特定可能な人体パーツを特定する。処理部８２は、特定を終了すると、処理をステップＳ２０３に進める。
処理部８２は、室内１０１の３次元空間における各人体パーツの３次元座標を算出する（ステップＳ２０３）。例えば、処理部８２は、公知であるＭｅａｎ Ｓｈｉｆｔ法を用いて、各人体パーツの重心を計算し、重心と深度画像の画素が示す距離とに基づいて、人体パーツの３次元座標を算出する。処理部８２は、各人体パーツの３次元座標を算出すると、処理をステップＳ２０４に進める。
処理部８２は、各人体パーツをつなぎ合わせて人体モデルＯＢＭを推定する（ステップＳ２０４）。処理部８２は、推定した室内１０１の３次元空間における人体モデルＯＢＭを示す情報を記憶部８１に記憶すると、図９に示す処理手順を終了させる。
なお、上述した本発明の実施形態に係る車内照明システム１は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
以上の説明では、車内照明システム１は、後部座席１０７の対象者ＯＢが室内１０１を移動する場合に照明ユニット５０が照明サービスを提供する制御について説明したが、これに限定されない。例えば、車内照明システム１は、運転席１０５の対象者ＯＢが室内１０１の後方に移動する場合に照明ユニット５０による照明サービスを提供してもよい。
以上の説明では、車内照明システム１は、照明ユニット５０が複数の照明装置５１を備える場合について説明したが、これに限定されない。例えば、照明ユニット５０は、室内１０１の後部座席１０７から後部座席１０８の後方まで延びて、部分的に点灯／消灯が可能な照明装置としてもよい。また、照明ユニットは、上述の照明ユニット５０に加えて照明部５を含んで構成されてもよい。
以上の説明では、車内照明システム１は、車両１００が後部座席１０７、１０８を有する自動車の場合について説明したが、これに限定されない。例えば、車内照明システム１は、車両１００が荷台を有する貨物自動車である場合、当該荷台の天井や床等に複数の照明装置５１を設ければよい。
以上の説明では、車内照明システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、オーバーヘッドモジュールを構成するものとして説明したがこれに限らない。車内照明システム１は、例えば、制御部８が筐体２の外部に設けられ、配索材を介して各部と電気的に接続される構成であってもよく、例えば、制御部８が車両１００の各部を統括的に制御する車両ＥＣＵによって兼用されて構成されてもよい。また、車内照明システム１は、筐体２を室内１０１の天井１０２の全面に設け、当該筐体２に照明ユニット５０を組み込む構成としてもよい。
１ 車内照明システム
２ 筐体
３ 撮像部
４ 出力部
５ 照明部
５０ 照明ユニット
５１ 照明装置
５２ ダウンライト
５３ フットランプ
６ 操作部
７ 外部接続部
８ 制御部
８１ 記憶部
８１ａ 予測情報
８１ｂ 照明配置情報
８２ 処理部
８３ 推定部
８４ 予測部
８５ 動作制御部
１００ 車両
１０１ 室内
１１０ ドア
１０７ 後部座席
１０８ 後部座席
２００ 状態検出装置
ＯＢ 対象者
ＯＢＭ 人体モデル

Claims (6)

  1. 車両の室内に設けられた照明ユニットと、
    前記室内の対象者までの距離を含む深度画像を撮像する撮像部と、
    前記撮像部によって撮像された前記深度画像から前記対象者の３次元の人体モデルを推定する推定部と、
    前記推定部によって推定された前記人体モデルに基づいて、前記室内における前記対象者の移動意思を予測する予測部と、
    前記予測部によって予測された前記移動意思に応じて、前記照明ユニットの照明を制御する動作制御部と、
    を備えることを特徴とする車内照明システム。
  2. 前記照明ユニットは、複数の照明装置を有し、
    前記動作制御部は、前記予測部によって前記移動意思が予測された前記対象者の近くの前記照明装置を点灯させる、
    請求項１に記載の車内照明システム。
  3. 前記予測部は、前記推定部によって推定された前記人体モデルに基づいて、前記室内における前記対象者の移動先を予測し、
    前記動作制御部は、前記予測部によって予測された前記移動先の前記照明装置を点灯させる、
    請求項２に記載の車内照明システム。
  4. 前記動作制御部は、前記移動先の前記照明装置を点灯させると、前記対象者の移動元で点灯させている前記照明装置を消灯させる、
    請求項３に記載の車内照明システム。
  5. 前記予測部は、前記推定部によって推定された前記人体モデルに基づいて、前記室内を移動している前記対象者の移動終了意思を予測し、
    前記動作制御部は、前記予測部によって予測された前記移動終了意思に応じて、前記照明ユニットの照明を終了させる、
    請求項１から４のいずれか１項に記載の車内照明システム。
  6. 前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記推定部、前記予測部及び前記動作制御部が組み付けられる筐体を備える、
    請求項１から５のいずれか１項に記載の車内照明システム。
JP2018122047A 2018-06-27 2018-06-27 車内照明システム Active JP7046734B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018122047A JP7046734B2 (ja) 2018-06-27 2018-06-27 車内照明システム
US16/437,215 US11292386B2 (en) 2018-06-27 2019-06-11 Vehicle interior lighting system for illuminating an interior of a vehicle based on a predicted movement intention of an object person
EP19182076.0A EP3587186B1 (en) 2018-06-27 2019-06-24 Vehicle interior lighting system
CN201910560638.3A CN110716636B (zh) 2018-06-27 2019-06-26 车内照明系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018122047A JP7046734B2 (ja) 2018-06-27 2018-06-27 車内照明システム

Publications (2)

Publication Number Publication Date
JP2020001529A true JP2020001529A (ja) 2020-01-09
JP7046734B2 JP7046734B2 (ja) 2022-04-04

Family

ID=67105704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018122047A Active JP7046734B2 (ja) 2018-06-27 2018-06-27 車内照明システム

Country Status (4)

Country Link
US (1) US11292386B2 (ja)
EP (1) EP3587186B1 (ja)
JP (1) JP7046734B2 (ja)
CN (1) CN110716636B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140893A1 (ja) 2020-01-08 2021-07-15 日本製鉄株式会社 鋼板およびその製造方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10864848B2 (en) * 2018-12-21 2020-12-15 Continental Automotive Systems, Inc. Reverse lights trailer hitch assist
JP7109866B2 (ja) * 2019-04-19 2022-08-01 矢崎総業株式会社 照明制御システム及び照明制御方法
JP7425679B2 (ja) * 2020-06-23 2024-01-31 本田技研工業株式会社 車両用灯体装置
JP2022149041A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 照明制御装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109785A1 (en) * 2005-09-06 2007-05-17 Marten Wittorf System and method for proactively controlling interior light in vehicles
US20100014711A1 (en) * 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
JP2013237386A (ja) * 2012-05-16 2013-11-28 Kojima Press Industry Co Ltd 自動車用照明装置
JP2016529159A (ja) * 2014-06-30 2016-09-23 デースン エレクトリック カンパニー リミテッド 車両シート位置連携ランプ点灯システム及び方法
US20160353551A1 (en) * 2015-05-26 2016-12-01 Idd Aerospace Corporation Adjustable lighting in an aircraft based on location of movable object
JP2017084454A (ja) * 2015-10-22 2017-05-18 富士通テン株式会社 照明装置および照明装置の制御方法
JP2017520446A (ja) * 2014-05-01 2017-07-27 ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ 動的照明装置および動的照明方法
JP2017171287A (ja) * 2016-03-21 2017-09-28 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ 車両内照明のための音声および／またはジェスチャー認識を伴う制御デバイスおよび方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
EP2062776A1 (en) * 2007-11-20 2009-05-27 Mazda Motor Corporation Illumination device for a vehicle and method of controlling an illumination device
US20100182425A1 (en) * 2009-01-21 2010-07-22 Mazda Motor Corporation Vehicle interior state recognition device
JP5251680B2 (ja) * 2009-03-31 2013-07-31 株式会社豊田中央研究所 照明制御装置及びプログラム
WO2012017559A1 (ja) * 2010-08-06 2012-02-09 トヨタ自動車株式会社 車両配光制御装置及び方法
US9325818B2 (en) * 2011-12-09 2016-04-26 Charles J. Kulas Dedicated processor for camera functions in host devices
JP5906865B2 (ja) * 2012-03-22 2016-04-20 アイシン精機株式会社 車両用シート装置
DE102014004674B4 (de) * 2014-03-31 2017-05-11 Audi Ag Beleuchtungsvorrichtung für ein Kraftfahrzeug sowie dazugehöriges Verfahren
DE102014217983A1 (de) * 2014-09-09 2016-03-10 SBF Spezialleuchten GmbH Beleuchtungsgesteuerte Personenführung
JP6650619B2 (ja) * 2016-03-10 2020-02-19 パナソニックＩｐマネジメント株式会社 照明システム及び移動体
EP3433936B1 (en) * 2016-03-20 2020-09-02 Case Cam LLC Phone case with camera
US10579108B2 (en) * 2016-03-20 2020-03-03 Case Cam LLC Phone case with camera
JP6912178B2 (ja) 2016-10-14 2021-08-04 矢崎総業株式会社 照明装置および車室内照明装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109785A1 (en) * 2005-09-06 2007-05-17 Marten Wittorf System and method for proactively controlling interior light in vehicles
US20100014711A1 (en) * 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
JP2013237386A (ja) * 2012-05-16 2013-11-28 Kojima Press Industry Co Ltd 自動車用照明装置
JP2017520446A (ja) * 2014-05-01 2017-07-27 ジャガー ランド ローバー リミテッドＪａｇｕａｒ Ｌａｎｄ Ｒｏｖｅｒ Ｌｉｍｉｔｅｄ 動的照明装置および動的照明方法
JP2016529159A (ja) * 2014-06-30 2016-09-23 デースン エレクトリック カンパニー リミテッド 車両シート位置連携ランプ点灯システム及び方法
US20160353551A1 (en) * 2015-05-26 2016-12-01 Idd Aerospace Corporation Adjustable lighting in an aircraft based on location of movable object
JP2017084454A (ja) * 2015-10-22 2017-05-18 富士通テン株式会社 照明装置および照明装置の制御方法
JP2017171287A (ja) * 2016-03-21 2017-09-28 ヴァレオ ビジョンＶａｌｅｏ Ｖｉｓｉｏｎ 車両内照明のための音声および／またはジェスチャー認識を伴う制御デバイスおよび方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140893A1 (ja) 2020-01-08 2021-07-15 日本製鉄株式会社 鋼板およびその製造方法

Also Published As

Publication number Publication date
CN110716636B (zh) 2023-04-18
JP7046734B2 (ja) 2022-04-04
US20200001783A1 (en) 2020-01-02
EP3587186A1 (en) 2020-01-01
EP3587186B1 (en) 2023-05-24
US11292386B2 (en) 2022-04-05
CN110716636A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
JP2020001529A (ja) 車内照明システム
JP6914843B2 (ja) 車両用照明装置、車両システム及び車両
CN109641552B (zh) 车用照明系统、车辆系统和车辆
JP6782283B2 (ja) 監視システム
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
JP4580288B2 (ja) 運転支援自動車
US11584293B2 (en) Vehicle communication system, vehicle module, front composite module, and vehicle lamp
WO2014188903A1 (ja) 灯火制御装置
JP5271432B1 (ja) 車両の室内照明装置
JP2018025986A (ja) 自動運転システム
JP2019151228A (ja) 表示システム、及び、車載システム
CN108603762B (zh) 机动车辆
US10949688B2 (en) Monitoring system for person in a vehicle
US10178740B2 (en) Road lighting
CN113497876B (zh) 红外摄像头模块盖
JP2006027534A (ja) 車両用覚醒照明装置の制御装置
EP3885195A1 (en) System and method for providing visual guidance using light projection
JP2010012995A (ja) 照明装置
CN111516588A (zh) 警车的速度相关暗模式
WO2023145432A1 (ja) 車両用コミュニケーションランプ
WO2023145433A1 (ja) 車両用コミュニケーションランプ
JP2024111934A (ja) 車両用照明装置
JP2023077731A (ja) 車両用表示制御システム、車両用表示制御方法、及び車両用表示制御プログラム
JP4554528B2 (ja) 光源装置
CN116811726A (zh) 用于汽车乘客的跟随照明装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7046734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350