JP2022155335A - インキャビンモニタリングシステムおよび車室内検知方法 - Google Patents

インキャビンモニタリングシステムおよび車室内検知方法 Download PDF

Info

Publication number
JP2022155335A
JP2022155335A JP2021058776A JP2021058776A JP2022155335A JP 2022155335 A JP2022155335 A JP 2022155335A JP 2021058776 A JP2021058776 A JP 2021058776A JP 2021058776 A JP2021058776 A JP 2021058776A JP 2022155335 A JP2022155335 A JP 2022155335A
Authority
JP
Japan
Prior art keywords
vehicle
light
interior
image
vehicle interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021058776A
Other languages
English (en)
Inventor
英樹 高橋
Hideki Takahashi
真治 竹中
Shinji Takenaka
吉輝 三野
Yoshiteru Mino
竜起 帆谷
Tatsuoki Hotani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021058776A priority Critical patent/JP2022155335A/ja
Priority to US17/671,290 priority patent/US11683454B2/en
Publication of JP2022155335A publication Critical patent/JP2022155335A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B60Q3/74—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose for overall compartment lighting; for overall compartment lighting in combination with specific lighting, e.g. room lamps with reading lamps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/001—Vehicle control means, e.g. steering-wheel or column
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0022—Pillars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0028—Ceiling, e.g. roof rails
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0033—Rear-view mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Lock And Its Accessories (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • Image Analysis (AREA)

Abstract

【課題】外乱光による影響を抑え、車室内の検知を簡易に行うことができるインキャビンモニタリングシステムを提供する。【解決手段】インキャビンモニタリングシステム１は、車両９の車室２内を撮像するカメラ２０と、車室２内に光を照射する光源３０と、カメラ２０および光源３０を制御する制御部５０と、を備える。光源３０は、カメラ２０で人の有無を確認するときに発光する第１の光Ｌ１、および、第１の光Ｌ１よりも強い光である第２の光Ｌ２を発光可能である。制御部５０は、車両９に人が乗車する前、および、車両９から人が降車した後に、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。【選択図】図１

Description

本開示は、車両の車室内をモニタリングするインキャビンモニタリングシステム、および、車室内検知方法に関する。
従来、車両の車室内をモニタリングするインキャビンモニタリングシステム（Ｉｎ－Ｃａｂｉｎ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）が知られている。この種のインキャビンモニタリングシステムの一例として、特許文献１には、所定の光量を物体に照射して撮像したときの画像の濃淡変化と、所定の光量よりも小さな光量を物体に照射して撮像したときの画像の濃淡変化とに基づいて、物体を検知する技術が開示されている。この技術によれば、外乱光が照射された状態であっても物体を検知することが可能である。
特開２００６－１５５４８３号公報
しかしながら、車室内に照射される外乱光は、天気、季節、時間帯、車両の向きおよび車両の内装等によって様々である。そのため、特許文献１に記載された技術では、様々な外乱光に対応した濃淡変化の分析が必要となり、車室内を検知することが複雑化するという問題がある。
本開示は、車室内の検知を簡易に行うことができるインキャビンモニタリングシステム等を提供することを目的とする。
上記目的を達成するため、本開示の一態様に係るインキャビンモニタリングシステムは、車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、前記カメラおよび前記光源を制御する制御部と、を備え、前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像する。
上記目的を達成するため、本開示の一態様に係る車室内検知方法は、車両の車室内を検知する車室内検知方法であって、前記車両に人が乗車する前に、カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、前記車両から人が降車した後に、前記カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、前記車両に人が乗車する前に前記車室内を撮像したときの画像と、前記車両から人が降車した後に前記車室内を撮像したときの画像とを比較するステップと、を含む。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示のインキャビンモニタリングシステム等によれば、車室内の検知を簡易に行うことができる。
実施の形態に係るインキャビンモニタリングシステムを車室内の側方から見た模式図である。 実施の形態に係るインキャビンモニタリングシステムが備えるカメラおよび光源を示す図である。 実施の形態に係るインキャビンモニタリングシステムを示すブロック構成図である。 実施の形態に係るインキャビンモニタリングシステムの光源の発光によって照射される光を示す図である。 実施の形態に係る車室内検知方法を示すフローチャートである。
レンタカービジネスまたはカーシェアリングなどが普及する昨今において、車室内における携帯電話、財布などの忘れ物、および、車室内における座席の汚れ等を検知する技術が求められている。車室内の忘れ物や汚れを検知するため、例えば、インキャビンモニタリングシステムを用いて車室内の物を検知することが考えられる。
物体を検知する方法の一例として、所定の光量を物体に照射して撮像したときの画像の濃淡変化と、所定の光量よりも小さな光量を物体に照射して撮像したときの画像の濃淡変化とに基づいて、物体を検知する従来技術がある。この技術によれば、外乱光が物体に照射される場合であっても物体の検知を行うことが可能である。
しかしながら、車室内に照射される外乱光は、天気、季節、時間帯、車両の向きおよび車両の内装等によって様々である。そのため、従来技術では様々な外乱光に対応した濃淡変化の分析が必要となり、車室内を検知することが複雑化するという問題がある。
本開示のインキャビンモニタリングシステムは、外乱光による影響を抑え、車室内の検知を簡易に行うことができるように、以下に示す構成を有している。
本開示の一態様に係るインキャビンモニタリングシステムは、車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、前記カメラおよび前記光源を制御する制御部と、を備える。前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能である。前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像する。
このように、第１の光よりも強い第２の光を発光させた状態で車室内を撮像することで、外乱光による影響を抑え、車室内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれにおいて、車室内を撮像することで、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
また、前記制御部は、前記車両に人が乗車する前であって前記車両のドアロック解除信号を受け付けたときに、前記カメラで前記車室内を撮像し、および、前記車両から人が降車した後であって前記車両のドアロック信号を受け付けたときに、前記カメラで前記車室内を撮像してもよい。
これによれば、乗車する前のドアロック解除時、および、降車した後のドアロック時のそれぞれにおいて、車室内を撮像することができる。これにより、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
また、前記制御部は、前記ドアロック解除信号を受け付けて前記車室内を撮像したときの画像と、前記ドアロック信号を受け付けて前記車室内を撮像したときの画像とを比較することで、前記車室内に置かれた物の状態の違いを判断してもよい。
これによれば、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
また、前記車室内に置かれた物の状態の違いは、前記車室内に置かれた物の有無、および、前記車室内に置かれた物の破損または汚れの有無の少なくとも１つであってもよい。
これによれば、車室内に置かれた物の有無、および、車室内に置かれた物の破損または汚れの有無を検知することが可能である。
また、前記制御部は、前記車室内に置かれた物の状態が違うと判断した場合に、異常信号を出力してもよい。
これによれば、車室内に置かれた物の状態に異常があることを、車両のユーザ等に報知することができる。
また、前記制御部は、前記ドアロック解除信号または前記ドアロック信号を受け付けた場合に、前記光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断してもよい。
このように、第２の光を発光させる前に人の有無を判断することで、強い光である第２の光が人に照射されることを回避可能となる。
また、前記制御部は、前記車室内に人がいると判断した場合に、前記光源を前記第２の光で発光させず、前記車室内に人がいないと判断した場合に、前記光源を前記第２の光で発光させ、かつ、前記カメラで前記車室内を撮像してもよい。
これによれば、第２の光が人に照射されるのを回避することができる。また、強い光である第２の光を発光して撮像することで、外乱光による影響を抑えて車室内を撮像することができる。
また、インキャビンモニタリングシステムは、さらに、過去に撮像した複数の画像を保存する記憶部を備え、前記制御部は、前記記憶部に保存された前記複数の画像から、現在撮像した画像の前記車室内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した前記画像と前記現在撮像した画像とを比較することで、前記車室内に置かれた物の状態の違いを判断してもよい。
これによれば、例えば、車室内のレイアウトがユーザによって変えられた場合であっても、撮像した画像に最も近い車室内のレイアウトを有する画像を用いて、車室内に置かれた物の状態の違いを簡易に検知することができる。
また、前記制御部は、前記カメラを用いて過去に撮像した画像と、現在撮像した画像とを比較することで、前記車室内のメンテナンスの要否を判断してもよい。
このように、過去に撮像した画像と現在撮像した画像とを比較することで、車室内のメンテナンスの要否を適切に判断することができる。
また、前記カメラおよび前記光源は、前記車室内の天井、オーバーヘッドコンソール、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーまたはＡピラー、Ｂピラー、Ｃピラー、Ｄピラーに設けられていてもよい。
これによれば、カメラおよび光源を用いて、車室内に置かれた物の状態を適切に撮像することができる。これにより、車室内に置かれた物の状態の違いを適切に検知することができる。
本開示の一態様に係る車室内検知方法は、車両の車室内を検知する車室内検知方法であって、前記車両に人が乗車する前に、カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、前記車両から人が降車した後に、前記カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、前記車両に人が乗車する前に前記車室内を撮像したときの画像と、前記車両から人が降車した後に前記車室内を撮像したときの画像とを比較するステップと、を含む。
このように、人の有無を確認するときに照射する光よりも強い光を照射させて車室内を撮像することで、外乱光による影響を抑え、車室内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれの車室内の画像を比較することで、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
（実施の形態）
［インキャビンモニタリングシステムの構成］
実施の形態に係るインキャビンモニタリングシステムの構成について、図１～図３を参照しながら説明する。
図１は、実施の形態に係るインキャビンモニタリングシステム１を車室２内の側方から見た模式図である。図２は、インキャビンモニタリングシステム１が備えるカメラ２０および光源３０を示す図である。図３は、インキャビンモニタリングシステム１を示すブロック構成図である。
図１～図３に示すように、インキャビンモニタリングシステム１は、カメラ２０と、光源３０と、カメラ２０および光源３０を制御する制御部５０と、を備える。また、インキャビンモニタリングシステム１は、筐体１０を備える。
筐体１０は、車室２内の天井７の中央に設けられている。筐体１０は、樹脂製のケースであり、開口部１１を有している。筐体１０の開口部１１には、カメラ２０および光源３０が配置され、筐体１０の内部には、制御部５０が配置されている。なお、筐体１０は、ウィンドシールド４の上方に位置するオーバーヘッドコンソールに設けられていてもよい。また、筐体１０は、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーまたはＡピラー、Ｂピラー、Ｃピラー、Ｄピラーに設けられていてもよい。すなわち、カメラ２０および光源３０は、乗員３やシートを撮影できる位置に設けられていればよい。
光源３０は、車室２内に光を照射する装置である。光源３０は、可視光もしくは近赤外光を出射する複数の発光素子を有する。光源３０は、筐体１０の開口部１１に設けられ、かつ、座席、足元フロアおよび乗員３に可視光もしくは近赤外光を照射可能な向きで配置されている。光源３０は、第１の光Ｌ１および第２の光Ｌ２を発光可能である。
図４は、インキャビンモニタリングシステム１の光源３０の発光によって照射される光を示す図である。図４の（ａ）には、光源３０が第１の光Ｌ１を発光している様子が示され、図４の（ｂ）には、光源３０が第２の光Ｌ２を発光している様子が示されている。なお、図４の（ａ）および（ｂ）には、車室２内に忘れ物等がなく、また、乗員３がいない状態が示されている。
光源３０は、カメラ２０で車室２内における人の有無を確認するときに第１の光Ｌ１を発光する。第１の光Ｌ１の強さは、通常、人を撮像するときに発光する強さである。第１の光Ｌ１によって照射される光の照度は、例えば、可視光であれば、１００ルクス以上２０００ルクス未満であり、近赤外光で９４０ｎｍの波長であれば、０．１Ｗ／ｍ２以上１Ｗ／ｍ２未満の発光強度である。また、光源３０は、カメラ２０で車室２内を撮像する時に外乱光の影響を抑えるために第２の光Ｌ２を発光する。第２の光Ｌ２は、第１の光Ｌ１よりも強い光（発光強度の強い光）である。第２の光Ｌ２によって照射される光の照度は、例えば、可視光であれば、２０００ルクス以上１０００００ルクス以下、近赤外光で９４０ｎｍの波長であれば１Ｗ／ｍ２以上１０Ｗ／ｍ２以下の発光強度である。光源３０は、後述する制御部５０からの発光指令に基づいて、第１の光Ｌ１または第２の光Ｌ２を発光する。
カメラ２０は、車室２内または乗員３を撮像する装置である。カメラ２０は、筐体１０の開口部１１に設けられている。カメラ２０は、カメラ２０のレンズ画角α内に座席、足元フロアおよび乗員３が位置するように、すなわち座席、足元フロアおよび乗員３を撮像可能な向きで配置される。
カメラ２０は、例えば、可視光を検出する可視光カメラ、近赤外光を検出する近赤外光カメラ、或いは、両者が検出可能なカメラである。カメラ２０としては、ＧＳ（グローバルシャッター）方式のＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いることができる。カメラ２０は、制御部５０からの撮像指令に基づいて、車室２内または乗員３を撮像する。制御部５０は、例えば、強い光である第２の光Ｌ２の発光時間およびカメラ２０の露光時間を短くすることで、外乱光の影響を抑えて車室２内を撮像することが可能である。
制御部５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、揮発性メモリおよび不揮発性メモリを有する記憶部５３と、記憶部５３に格納されたプログラムとによって構成されている。制御部５０が有する機能的な構成は、上記プログラムを実行することで実現される。制御部５０は、筐体１０の内部に設けられているが、それに限られず、筐体１０の外部に設けられていてもよい。制御部５０は、車両９のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９０と通信しながら、カメラ２０、光源３０等の動作を制御する。
制御部５０は、車両９のドアのロックを開閉する信号であるドアロック解除信号ｓ１およびドアロック信号ｓ２を取得する。ドアロック解除信号ｓ１は、車両９に人が乗車する前に制御部５０に入力される。ドアロック信号ｓ２は、車両９から人が降車した後に制御部５０に入力される。例えば、ドアロック解除信号ｓ１およびドアロック信号ｓ２は、車両９のユーザの操作入力によってＥＣＵ９０に入力され、ＥＣＵ９０を介して制御部５０に入力される。制御部５０が取得するドアロック解除信号ｓ１およびドアロック信号ｓ２は、ＥＣＵ９０が受け付けた信号そのものであってもよいし、ＥＣＵ９０が受け付けた信号に連動してＥＣＵ９０から出力された信号であってもよい。
本実施の形態では、車両９に人が乗車する前、および、車両９から人が降車した後のそれぞれの場面において、第２の光Ｌ２を用いて車室２内を撮像する。ただし、制御部５０は、人に対して強い光を与え過ぎないようにするため、第２の光Ｌ２を発光させる前に、車室２内における人の有無を確認する。具体的には制御部５０は、第２の光Ｌ２よりも弱い第１の光Ｌ１を発光させた状態で、カメラ２０で車室２内を撮像する。制御部５０は、第１の光Ｌ１で撮像した画像に基づいて、車室２内における人の有無を判断する。画像に基づく人の有無の判断は、周知技術によって実現可能である。
制御部５０は、車室２内に人がいると判断した場合に、光源３０を第２の光Ｌ２で発光させず、また、車室２内の撮像を行わない。制御部５０は、第１の光Ｌ１で撮像した画像に基づいて車室２内に人がいないと判断した場合に、光源３０を第２の光Ｌ２で発光させ、かつ、カメラ２０で車室２内を撮像する。
例えば制御部５０は、車両９に人が乗車する前であってドアロック解除信号ｓ１を受け付けたときに、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。また、制御部５０は、車両９から人が降車した後であって、ドアロック信号ｓ２を受け付けたときに、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。
制御部５０は、ドアロック解除信号ｓ１を受け付けて車室２内を撮像したときの第１の画像ｉｍ１と、ドアロック信号ｓ２を受け付けて車室２内を撮像したときの第２の画像ｉｍ２とを比較することで、車室２内に置かれた物の状態の違いを判断する。具体的には制御部５０は、第１の画像ｉｍ１および第２の画像ｉｍ２の差分（例えば、画像を構成する複数の画素の色、明るさ等の違い）を取得することで、車室２内に置かれた物の状態の違いを判断する。
物の状態の違いとは、車室２内に置かれた物の有無、および、車室２内に置かれた物の破損または汚れの有無の少なくとも１つである。車室２内に置かれた物は、携帯電話、財布、ごみなどのように外から車室２内に持ち込まれた物であってもよいし、座席、足元フロアなどのように車室２内に予め配置されている物であってもよい。なお、本実施の形態では、物の物品名まで特定する必要はなく、少なくとも、画像ｉｍ１およびｉｍ２に違いがあるか否かで物の状態の違いを判断すればよい。
制御部５０は、車室２内に置かれた物の状態が違うと判断した場合に、異常であることを示す異常信号を出力し、車両９のユーザに報知する。
本実施の形態のインキャビンモニタリングシステム１では、光源３０が、カメラ２０で人の有無を確認するときに発光する第１の光Ｌ１、および、第１の光Ｌ１よりも強い光である第２の光Ｌ２を発光可能であり、車両９に人が乗車する前、および、車両９から人が降車した後に、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。
このように、第１の光Ｌ１よりも強い第２の光Ｌ２を発光させた状態で、車室２内を撮像することで、外乱光による影響を抑え、車室２内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれにおいて、車室２内を撮像することで、乗車する前と降車した後との車室２内の違いを簡易に検知することができる。
［車室内検知方法］
実施の形態に係る車室内検知方法について、図５を参照しながら説明する。
図５は、実施の形態に係る車室内検知方法を示すフローチャートである。
ここでは、インキャビンモニタリングシステム１を用いて、車室２内の物の状態を検出する例について説明する。車室２内の物の状態の検知は、車両９が駐車しているときに実行される。
インキャビンモニタリングシステム１は、人が車両９に乗車する前にドアロック解除信号ｓ１を受け付ける（ステップＳ１１）。例えば、制御部５０は、ユーザのキー操作により、ＥＣＵ９０を介してドアロック解除信号ｓ１を受け付ける。
制御部５０は、ドアロック解除信号ｓ１を受け付けると、車室２内における人の有無を確認する。具体的には、制御部５０は、光源３０を第１の光Ｌ１で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１２）。第１の光Ｌ１の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
制御部５０は、第１の光Ｌ１を発光した際に取得した画像を用いて、車室２内に人がいるか否かを判断する（ステップＳ１３）。
制御部５０は、車室２内に人がいると判断した場合（Ｓ１３にてＹｅｓ）、光源３０を第２の光Ｌ２で発光させず、また、車室２内の撮像を行わず、ステップＳ１１へ戻る。このとき制御部５０は、車室２内の人が車室２外へ出るように催促する信号をＥＣＵ９０へ出力し、ＥＣＵ９０は、車室２内の音響機器等を用いて、車室２内の人に対して車室２外へ出るように通知してもよい。
制御部５０は、車室２内に人がいないと判断した場合（Ｓ１３にてＮｏ）、光源３０を第２の光Ｌ２で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１４）。第２の光Ｌ２の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
制御部５０は、第２の光Ｌ２を発光した際に取得した画像を、第１の画像ｉｍ１として記憶部５３に保存させる（ステップＳ１５）。第１の画像ｉｍ１は、車両９の利用期間において最初に撮像された静止画像であり、撮像日時もあわせて記憶部５３に保存される。
次に、ユーザが車両９の走行を終えた後について説明する。
インキャビンモニタリングシステム１は、人が車両９から降車した後にドアロック信号ｓ２を受け付ける（ステップＳ１６）。例えば、制御部５０は、ユーザのキー操作により、ＥＣＵ９０を介してドアロック信号ｓ２を受け付ける。
制御部５０は、ドアロック信号ｓ２を受け付けると、車室２内における人の有無を確認する。具体的には、制御部５０は、光源３０を第１の光Ｌ１で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１７）。第１の光Ｌ１の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
制御部５０は、第１の光Ｌ１を発光した際に取得した画像を用いて、車室２内に人がいるか否かを判断する（ステップＳ１８）。
制御部５０は、車室２内に人がいると判断した場合（Ｓ１８にてＹｅｓ）、光源３０を第２の光Ｌ２で発光させず、また、車室２内の撮像を行わず、ステップＳ１６へ戻る。このとき制御部５０は、車室２内の人が車室２外へ出るように催促する信号をＥＣＵ９０へ出力し、ＥＣＵ９０は、車室２内の音響機器等を用いて、車室２内の人に対して車室２外へ出るように通知してもよい。
制御部５０は、車室２内に人がいないと判断した場合（Ｓ１８にてＮｏ）、光源３０を第２の光Ｌ２で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１９）。第２の光Ｌ２の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
制御部５０は、第２の光Ｌ２を発光した際に取得した画像を、第２の画像ｉｍ２として記憶部５３に保存させる（ステップＳ２０）。第２の画像ｉｍ２は、車両９の利用期間において最後に撮像された静止画像であり、撮像日時もあわせて記憶部５３に保存される。
次に、制御部５０は、第１の画像ｉｍ１と第２の画像ｉｍ２とを比較し、車室２内の物の状態の違い判断する（ステップＳ２１）。
制御部５０は、車室２内の物の状態に違いがあると判断した場合（Ｓ２１にてＹｅｓ）に、異常があることを示す異常信号をＥＣＵ９０に出力する（ステップＳ２２）。また、制御部５０は、車室２内の物の状態に違いがないと判断した場合（Ｓ２１にてＮｏ）に、異常がないことを示す正常信号をＥＣＵ９０に出力する（ステップＳ２３）。異常信号および正常信号に基づく情報は、例えばインターネット通信によって、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信によって、ユーザの通信端末に提示される。
これらのステップＳ１１～Ｓ２３を実行することで、インキャビンモニタリングシステム１における車室内検知方法が実現される。
本実施の形態の車室内検知方法は、車両９に人が乗車する前に、カメラ２０で人の有無を確認するときに照射する光よりも強い光を照射して、車室２内を撮像するステップと、車両９から人が降車した後に、カメラ２０で人の有無を確認するときに照射する光よりも強い光を照射して車室２内を撮像するステップと、車両９に人が乗車する前に車室２内を撮像したときの画像ｉｍ１と、車両９から人が降車した後に車室２内を撮像したときの画像ｉｍ２とを比較するステップと、を含む。
このように、人の有無を確認するときに照射する光よりも強い光を照射させて車室２内を撮像することで、外乱光による影響を抑え、車室２内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれの車室２内の画像を比較することで、乗車する前と降車した後との車室２内の違いを簡易に検知することができる。
次に、実施の形態の変形例について説明する。
上記の記憶部５３には、第１の画像ｉｍ１および第２の画像ｉｍ２が保存されるが、記憶部５３に保存される画像はこれに限られない。例えば、記憶部５３には、新車時に撮像した画像など、過去に撮像した複数の画像が蓄積して保存されてもよい。複数の画像には、座席の位置または背もたれの角度など、車室２内のレイアウトを変えた状態の画像が含まれていてもよい。そして制御部５０は、記憶部５３に保存された複数の画像から、現在撮像した画像の車室２内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した画像と現在撮像した画像とを比較することで、車室２内に置かれた物の状態の違いを判断してもよい。
また、上記の制御部５０は、車両９の利用期間の最初および最後に撮像した画像に基づいて、車室２内の物の状態の違いを判断しているが、それに限られない。例えば、制御部５０は、カメラ２０を用いて過去に撮像した画像と、現在撮像した画像とを比較することで、車室２内のメンテナンスの要否を判断してもよい。過去に撮像した画像は、例えば、新車時に撮像した画像である。車室２内のメンテナンスは、例えば、シートカバー、フロアマットなどの修繕、交換である。制御部５０は、メンテナンスの要否の判断結果をユーザに通知してもよい。
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態および実施の形態の変形例を説明した。しかしながら、実施の形態および実施の形態の変形例における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
上記の実施の形態では、制御部５０が、ドアロック解除信号ｓ１およびドアロック信号ｓ２のそれぞれを受け付けたときに、カメラ２０で車室２内を撮像する例を示したが、それに限られない。例えば、制御部５０は、ドアロック解除信号ｓ１の代わりに事前撮像指示信号を受け付け、および、ドアロック信号ｓ２の代わりに事後撮像指示信号を受け付け、それぞれの信号を受け付けたときに、カメラ２０で車室２内を撮像してもよい。
上記の実施の形態では、カメラ２０および光源３０が天井７に設けられている例を示したが、それに限られない。カメラ２０および光源３０は、車室２内の天井７、オーバーヘッドコンソール、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーおよびＡピラー、Ｂピラー、Ｃピラー、Ｄピラーの少なくとも１つに設けられていればよい。光源３０は、車室２内に複数設けられていてもよい。カメラ２０は、車室２内に複数設けられていてもよい。
また、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
上述した機能をプログラムにより実現するコンピュータは、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
そして、プロセッサまたはＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。
本開示のインキャビンモニタリングシステムは、車室内をモニタリングする場合等に利用することができる。
１ インキャビンモニタリングシステム
２ 車室
３ 乗員
４ ウィンドシールド
７ 天井
９ 車両
１０ 筐体
１１ 開口部
２０ カメラ
３０ 光源
５０ 制御部
５３ 記憶部
９０ ＥＣＵ
ｉｍ１、ｉｍ２ 画像
Ｌ１ 第１の光
Ｌ２ 第２の光
ｓ１ ドアロック解除信号
ｓ２ ドアロック信号
α レンズ画角

Claims (11)

  1. 車両の車室内を撮像するカメラと、
    前記車室内に光を照射する光源と、
    前記カメラおよび前記光源を制御する制御部と、
    を備え、
    前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、
    前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像する
    インキャビンモニタリングシステム。
  2. 前記制御部は、前記車両に人が乗車する前であって前記車両のドアロック解除信号を受け付けたときに、前記カメラで前記車室内を撮像し、および、前記車両から人が降車した後であって前記車両のドアロック信号を受け付けたときに、前記カメラで前記車室内を撮像する
    請求項１に記載のインキャビンモニタリングシステム。
  3. 前記制御部は、前記ドアロック解除信号を受け付けて前記車室内を撮像したときの画像と、前記ドアロック信号を受け付けて前記車室内を撮像したときの画像とを比較することで、前記車室内に置かれた物の状態の違いを判断する
    請求項２に記載のインキャビンモニタリングシステム。
  4. 前記車室内に置かれた物の状態の違いは、前記車室内に置かれた物の有無、および、前記車室内に置かれた物の破損または汚れの有無の少なくとも１つである
    請求項３に記載のインキャビンモニタリングシステム。
  5. 前記制御部は、前記車室内に置かれた物の状態が違うと判断した場合に、異常信号を出力する
    請求項３または４に記載のインキャビンモニタリングシステム。
  6. 前記制御部は、前記ドアロック解除信号または前記ドアロック信号を受け付けた場合に、前記光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断する
    請求項２～５のいずれか１項に記載のインキャビンモニタリングシステム。
  7. 前記制御部は、前記車室内に人がいると判断した場合に、前記光源を前記第２の光で発光させず、前記車室内に人がいないと判断した場合に、前記光源を前記第２の光で発光させ、かつ、前記カメラで前記車室内を撮像する
    請求項６に記載のインキャビンモニタリングシステム。
  8. さらに、過去に撮像した複数の画像を保存する記憶部を備え、
    前記制御部は、前記記憶部に保存された前記複数の画像から、現在撮像した画像の前記車室内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した前記画像と前記現在撮像した画像とを比較することで、前記車室内に置かれた物の状態の違いを判断する
    請求項３～７のいずれか１項に記載のインキャビンモニタリングシステム。
  9. 前記制御部は、前記カメラを用いて過去に撮像した画像と、現在撮像した画像とを比較することで、前記車室内のメンテナンスの要否を判断する
    請求項１～７のいずれか１項に記載のインキャビンモニタリングシステム。
  10. 前記カメラおよび前記光源は、前記車室内の天井、オーバーヘッドコンソール、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーまたはＡピラー、Ｂピラー、Ｃピラー、Ｄピラーに設けられている
    請求項１～９のいずれか１項に記載のインキャビンモニタリングシステム。
  11. 車両の車室内を検知する車室内検知方法であって、
    前記車両に人が乗車する前に、カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、
    前記車両から人が降車した後に、前記カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、
    前記車両に人が乗車する前に前記車室内を撮像したときの画像と、前記車両から人が降車した後に前記車室内を撮像したときの画像とを比較するステップと、
    を含む車室内検知方法。



JP2021058776A 2021-03-30 2021-03-30 インキャビンモニタリングシステムおよび車室内検知方法 Pending JP2022155335A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021058776A JP2022155335A (ja) 2021-03-30 2021-03-30 インキャビンモニタリングシステムおよび車室内検知方法
US17/671,290 US11683454B2 (en) 2021-03-30 2022-02-14 In-cabin monitoring system and in-cabin detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021058776A JP2022155335A (ja) 2021-03-30 2021-03-30 インキャビンモニタリングシステムおよび車室内検知方法

Publications (1)

Publication Number Publication Date
JP2022155335A true JP2022155335A (ja) 2022-10-13

Family

ID=83450223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021058776A Pending JP2022155335A (ja) 2021-03-30 2021-03-30 インキャビンモニタリングシステムおよび車室内検知方法

Country Status (2)

Country Link
US (1) US11683454B2 (ja)
JP (1) JP2022155335A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155483A (ja) 2004-12-01 2006-06-15 Tokai Rika Co Ltd 物体検知装置
US10290158B2 (en) * 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
JP2019123421A (ja) * 2018-01-18 2019-07-25 株式会社デンソー 乗員検知システム、照明制御システム、及び車内照明方法
US11100347B2 (en) * 2019-03-12 2021-08-24 Ford Global Technologies, Llc Photometric stereo object detection for articles left in an autonomous vehicle
US11820338B2 (en) * 2021-02-10 2023-11-21 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle cleaning and feedback system using adjustable ground truth

Also Published As

Publication number Publication date
US20220321845A1 (en) 2022-10-06
US11683454B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
JP2005115911A (ja) 車両内忘れ物防止装置
WO2015025435A1 (ja) 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
US10829034B2 (en) Vehicle control device
JP2006321273A (ja) 車載撮影システム
CN112543281B (zh) 车辆检查装置及车辆检查系统
JP5368771B2 (ja) 乗員監視装置
JP2019173541A (ja) 車両制御装置
WO2018079357A1 (ja) 電子ミラー装置
JP2022155335A (ja) インキャビンモニタリングシステムおよび車室内検知方法
JP4144448B2 (ja) 車両後方表示装置
JP2008102752A (ja) 監視システム
WO2018143064A1 (ja) 車載カメラ
JP6678844B2 (ja) 異常検出装置及び異常検出方法
JP6485296B2 (ja) 映像記録装置
CN110312640B (zh) 车辆监视设备
JP7090707B2 (ja) 報知対象検知装置、警報システムおよび報知対象検知方法
JP2011164665A (ja) 車両周囲変化検出装置
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
JP5041985B2 (ja) 車載撮像装置
JP2008166926A (ja) 逆光判定装置、及び被写体撮像方法
JP7109866B2 (ja) 照明制御システム及び照明制御方法
JP2010208416A (ja) 車載装置設定装置、車載装置設定プログラム及び方法
WO2023210433A1 (ja) 異常検出システム及び異常検出方法
JP2004182064A (ja) 鉄道車両における乗客検知システム
JP2007030569A (ja) 車両用静脈認証装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230919

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240528