JP2022153202A - インキャビンモニタリングシステム - Google Patents

インキャビンモニタリングシステム Download PDF

Info

Publication number
JP2022153202A
JP2022153202A JP2021056317A JP2021056317A JP2022153202A JP 2022153202 A JP2022153202 A JP 2022153202A JP 2021056317 A JP2021056317 A JP 2021056317A JP 2021056317 A JP2021056317 A JP 2021056317A JP 2022153202 A JP2022153202 A JP 2022153202A
Authority
JP
Japan
Prior art keywords
light
light emitting
emitting elements
light source
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021056317A
Other languages
English (en)
Inventor
吉輝 三野
Yoshiteru Mino
英樹 高橋
Hideki Takahashi
竜起 帆谷
Tatsuoki Hotani
真治 竹中
Shinji Takenaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021056317A priority Critical patent/JP2022153202A/ja
Priority to US17/699,995 priority patent/US20220306001A1/en
Publication of JP2022153202A publication Critical patent/JP2022153202A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R1/1207Mirror assemblies combined with other articles, e.g. clocks with lamps; with turn indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/20Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors for lighting specific fittings of passenger or driving compartments; mounted on specific fittings of passenger or driving compartments
    • B60Q3/258Rear-view mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Abstract

Figure 2022153202000001
【課題】車室内の撮像対象体に適切に光を照射する。
【解決手段】インキャビンモニタリングシステム1は、車室2内に設けられた電子ミラー10と、車室2内の撮像対象体3を撮像するカメラ20と、電子ミラー10に設けられ、車室2内に光を出射する光源30と、を備える。光源30は、複数の発光素子Lを有し、複数の発光素子Lの少なくとも一部の発光素子は、発光素子の光軸axが他の発光素子の光軸axに対して異なる方向を向くように配置されている。
【選択図】図7

Description

本開示は、車室内の乗員等をモニタリングするインキャビンモニタリングシステムに関する。
従来、車室内の乗員等をモニタリングするインキャビンモニタリングシステム(In-Cabin Monitoring System)が知られている。この種のインキャビンモニタリングシステムの一例として、特許文献1には、車室内の乗員をカメラで検知しやすいように車室内の光量を制御する技術が開示されている。
特開2019-123421号公報
しかしながら、車室内の光量を制御しても、光を出射する光源の向きによっては乗員等に適切に光を照射できないことがある。乗員等である撮像対象体に適切に光を照射できないと、撮像対象体の画像を精度よく取得することができなくなる。
本開示は、車室内の撮像対象体に適切に光を照射することができるインキャビンモニタリングシステムを提供することを目的とする。
上記目的を達成するため、本開示の一態様に係るインキャビンモニタリングシステムは、車室内に設けられた電子ミラーと、前記車室内の撮像対象体を撮像するカメラと、前記電子ミラーに設けられ、前記車室内に光を出射する光源と、を備え、前記光源は、複数の発光素子を有し、前記複数の発光素子の少なくとも一部の発光素子は、前記発光素子の光軸が他の発光素子の光軸に対して異なる方向を向くように配置されている。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示のインキャビンモニタリングシステムによれば、車室内の撮像対象体に適切に光を照射することができる。
図1は、比較例のインキャビンモニタリングシステムを上方から模式的に見た図である。 図2は、実施の形態に係るインキャビンモニタリングシステムを車室の後方から前方に向かって見た模式図である。 図3は、実施の形態に係るインキャビンモニタリングシステムを示すブロック構成図である。 図4は、実施の形態に係るインキャビンモニタリングシステムを電子ミラーの正面から見た図である。 図5は、実施の形態に係るインキャビンモニタリングシステムを図4のV-V線から見た断面図である。 図6の(a)は、実施の形態に係るインキャビンモニタリングシステムを上方から模式的に見た図であり、図6の(b)は、第1の光源を上方から拡大して見た断面図であり、図6の(c)は、第2の光源を上方から拡大して見た断面図である。 図7の(a)は、インキャビンモニタリングシステムの電子ミラーが傾けて配置された状態を示す図であり、図7の(b)は、第1の光源を上方から拡大して見た断面図である。 図8は、インキャビンモニタリングシステムにて撮像する撮像対象体の複数の領域の一例を示す図である。 図9の(a)は、実施の形態の変形例1に係るインキャビンモニタリングシステムの光源を上方から模式的に見た図であり、図9の(b)は、第1の光源を上方から拡大して見た断面図である。 図10の(a)は、実施の形態の変形例2に係るインキャビンモニタリングシステムを上方から模式的に見た図であり、図10の(b)は、第2の光源を上方から拡大して見た断面図である。 図11の(a)は、実施の形態の変形例2に係るインキャビンモニタリングシステムの電子ミラーが傾けて配置された状態を示す図であり、図11の(b)は、第2の光源を上方から拡大して見た断面図である。 図12は、実施の形態の変形例3に係るインキャビンモニタリングシステムの電子ミラーを側方から見た断面図である。
インキャビンモニタリングシステムは、車室内の乗員および車室内の環境をモニタリングする撮像システムである。インキャビンモニタリングシステムは、カメラおよび光源を用いて撮像対象体を撮像し、撮像した画像を電子ミラーに表示する。撮像対象体は、例えば、車室内の乗員または車室内における座席などの物体である。
インキャビンモニタリングシステムにおいて、例えば、カメラおよび光源を電子ミラーの筐体の周辺に配置すると、カメラ等が乗員から見えるので、乗員に対して精神的圧迫感を与えてしまう。そこで、カメラおよび光源を電子ミラーの筐体内に配置することが考えられるが、カメラおよび光源を電子ミラーの筐体内に配置すると、以下に示すような問題が生じる。
図1は、比較例のインキャビンモニタリングシステム101を上方から模式的に見た図である。
比較例のインキャビンモニタリングシステム101は、電子ミラー110と、カメラ120と、複数の光源130とを備えている。図1に示すように、カメラ120は、車室2内に設けられた支持体19に固定され、電子ミラー110は、支持体19に回転可能に接続されている。複数の光源130は、電子ミラー110の筐体112内に設けられている。
この比較例では、図1の(a)に示すように電子ミラー110が車室2の真後ろを向いている場合、光源130は撮像対象体3に適切に光を照射することができる。しかしながら、図1の(b)に示すように電子ミラー110が車室2の真後ろでなく傾けて配置された場合、光源130は撮像対象体3に適切に光を照射できなくなる。撮像対象体3に適切に光を照射できないと、撮像対象体3の画像を精度よく取得できないという問題が生じる。
それに対し、本開示のインキャビンモニタリングシステムは、車室2内の撮像対象体3に適切に光を照射できるように、以下に示す構成を有している。
本開示の一態様に係るインキャビンモニタリングシステムは、車室内に設けられた電子ミラーと、前記車室内の撮像対象体を撮像するカメラと、前記電子ミラーに設けられ、前記車室内に光を出射する光源と、を備える。前記光源は、複数の発光素子を有し、前記複数の発光素子の少なくとも一部の発光素子は、前記発光素子の光軸が他の発光素子の光軸に対して異なる方向を向くように配置されている。
このように、少なくとも一部の発光素子の光軸を、他の発光素子の光軸とは異なる方向を向かせることで、例えば、光源が回転移動して傾いた場合であっても、車室内の撮像対象体に適切に光を照射することができる。
また、前記光源は、さらに、前記複数の発光素子が実装される基板を有し、前記複数の発光素子の少なくとも一部の発光素子は、前記基板上において前記他の発光素子とは異なる姿勢で配置されていてもよい。
これによれば、少なくとも一部の発光素子の光軸を、他の発光素子の光軸とは異なる方向に向かせることができる。これにより、例えば、光源が回転移動して傾いた場合であっても、車室内の撮像対象体に適切に光を照射することができる。
また、前記基板は、曲面を有し、前記複数の発光素子は、前記基板の曲面上に配置されていてもよい。
これによれば、少なくとも一部の発光素子の光軸を、他の発光素子の光軸とは異なる方向に簡易に向かせることができる。これにより、例えば、光源が回転移動して傾いた場合であっても、車室内の撮像対象体に適切に光を照射することができる。
また、前記電子ミラーは、開口部を有する筐体、および、前記開口部に設けられた液晶パネルを有し、前記カメラおよび前記光源は、前記筐体の内部に配置されていてもよい。
これによれば、例えば、光源が電子ミラーの筐体とともに回転移動して傾いた場合であっても、他の発光素子の光軸とは異なる方向に光軸をもつ発光素子を用いて、車室内の撮像対象体に適切に光を照射することができる。
また、前記カメラは、前記車室に設けられた支持体に固定された状態で、前記筐体の内部に配置され、前記電子ミラーは、前記支持体に対して回転可能であり、前記光源は、前記電子ミラーの回転に伴って回転移動してもよい。
これによれば、光源が電子ミラーとともに回転移動して傾いた場合に、他の発光素子の光軸とは異なる方向に光軸をもつ発光素子を用いて、車室内の撮像対象体に適切に光を照射することができる。
また、前記光源は、1以上の前記発光素子によって構成される発光素子群を複数有し、複数の前記発光素子群は、それぞれ異なる電力線によって電力を供給されてもよい。
これによれば、発光素子群ごとに発光素子の発光を制御することができる。これにより、車室内の撮像対象体に適切に光を照射することができる。
また、インキャビンモニタリングシステムは、さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備える。前記制御部は、前記カメラで撮像した画像に基づいて前記撮像対象体における複数の領域の明るさを認識し、前記複数の領域の明るさに応じて、前記複数の発光素子の発光を制御してもよい。
このように、複数の領域の明るさに応じて複数の発光素子の発光を制御することで、車室内の撮像対象体に適切に光を照射することができる。
また、インキャビンモニタリングシステムは、さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備える。前記制御部は、前記複数の発光素子のうち、前記光軸が前記撮像対象体に向いていない発光素子よりも、前記光軸が前記撮像対象体に向いている発光素子を強く光らせてもよい。
このように、光軸が撮像対象体に向いている発光素子を強く光らせることで、車室内の撮像対象体に十分な光を照射することができる。
また、インキャビンモニタリングシステムは、さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備える。前記制御部は、前記複数の発光素子のうち、前記光軸が前記撮像対象体に向いている発光素子よりも、前記光軸が前記撮像対象体に向いていない発光素子を弱く光らせてもよい。
このように、光軸が撮像対象体に向いていない発光素子を弱く光らせることで、発光量を小さくすることができる。これにより、光源の発熱を抑えることができる。また、光源の消費電力を抑えることができる。また、発光素子の寿命が短くなることを抑制できる。
また、インキャビンモニタリングシステムは、さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備える。前記制御部は、前記複数の発光素子のうち、前記撮像対象体に最も遠い発光素子よりも、前記撮像対象体に最も近い発光素子を強く光らせてもよい。
このように、撮像対象体に最も近い発光素子を強く光らせることで、車室内の撮像対象体に十分な光を照射することができる。
また、インキャビンモニタリングシステムは、さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備える。前記制御部は、前記複数の発光素子のうち、一部の発光素子が前記カメラのレンズ画角に近接して配置される場合に、前記レンズ画角に近接して配置されている前記一部の発光素子の発光強度を弱めてもよい。
これにより、レンズ画角内に不要な光が入り込むことを抑制することができる。これにより、撮像対象体の画像を精度よく取得することができる。
また、前記複数の発光素子は、前記カメラのレンズ画角の外側に配置されていてもよい。
これにより、レンズ画角内に不要な光が入り込むことを抑制することができる。これにより、撮像対象体の画像を精度よく取得することができる。
また、前記光源は、第1の光源および第2の光源によって構成され、前記第1の光源に含まれる少なくとも一部の前記発光素子の光軸は、運転席の方向を向き、前記第2の光源に含まれる少なくとも一部の前記発光素子の光軸は、助手席の方向を向いていてもよい。
これによれば、運転席の方向および助手席の方向に適切に光を照射することができる。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態)
[インキャビンモニタリングシステムの構成]
実施の形態に係るインキャビンモニタリングシステムの構成について、図2~図8を参照しながら説明する。
図2は、実施の形態に係るインキャビンモニタリングシステム1を車室2の後方から前方に向かって見た模式図である。図3は、インキャビンモニタリングシステム1を示すブロック構成図である。図4は、インキャビンモニタリングシステム1を電子ミラー10の正面から見た図である。図5は、インキャビンモニタリングシステム1を図4のV-V線から見た断面図である。
図2~図5に示すように、インキャビンモニタリングシステム1は、電子ミラー10と、カメラ20と、光源30と、電子ミラー10、カメラ20および光源30を制御する制御部50と、を備える。
電子ミラー10は、車両の後方視野ミラーであり、車室2内に設けられる。例えば電子ミラー10は、座席に着座する乗員の視界に入るように、車両のウィンドシールド4の天井側に配置される。電子ミラー10は、車室2に設けられた支持体19に接続されている。支持体19は、自在継手を有する装着ブラケットであり、電子ミラー10は、支持体19に対して回転可能となっている。なお、後述する光源30は、電子ミラー10の内部に設けられ、電子ミラー10の回転に伴って回転移動する構成となっている。
電子ミラー10は、液晶パネル(LCP:liquid crystal Panel)11、筐体12、および、光学ミラー14(図5参照)を有している。
筐体12は、樹脂製のケースであり、赤外線を透過しない材質でできている。筐体12は、開口部12aを有している。カメラ20、光源30および制御部50は、筐体12の内部に配置されている。
液晶パネル11は、赤外線を透過する材質でできている。液晶パネル11は、液晶パネル11の表示面が車両の後方を向くように、開口部12aに設けられている。液晶パネル11は、バックライトを有していてもよいし、バックライトを有さずに自発光するパネルであってもよい。液晶パネル11は、図示しない別のカメラで撮像された車両後方の映像を表示する。また、液晶パネル11は、制御部50から出力された制御指令に基づき、乗員の顔画像等を表示する。
光学ミラー14は、液晶パネル11を使わないまたは使えないときに、車両後方の映像を映し出すために設けられている。光学ミラー14は、可視光を反射し赤外光を透過するハーフミラーであり、液晶パネル11とカメラ20との間に配置されている。
カメラ20は、撮像対象体3を撮像する装置である。撮像対象体3は、車室2内の乗員、または、車室2内における座席などの物体である。カメラ20は、乗員がカメラ20を直接視認することができないように、電子ミラー10の内部に設けられている。カメラ20は、単眼カメラであり、車室2の支持体19に固定された状態で、筐体12の内部に配置されている。
カメラ20は、例えば、IR(赤外線)カメラである。赤外線(近赤外線を含む)は、電子ミラー10を透過可能であるので、カメラ20は、電子ミラー10の内部から撮像対象体3を撮像することができる。また、カメラ20は、カメラ20のレンズ画角(FOV:Fields of View)内に撮像対象体3が位置するように、例えば座席に着座した乗員を撮像可能な向きで配置される。カメラ20で撮像した撮像対象体3の画像は、制御部50へ出力される。
光源30は、車室2内の撮像対象体3に光を照射する装置である。光源30は、赤外線を出射する複数の発光素子(LED:Light Emitting Diode)を有し、赤外光のように目に見えない光を出射する。赤外線は、電子ミラー10の液晶パネル11を透過可能であるので、光源30は、電子ミラー10の内部から撮像対象体3に光を照射することができる。光源30は、電子ミラー10の内部に設けられ、かつ、座席に着座した乗員に赤外線を照射可能な向きで配置されている。
図6の(a)は、インキャビンモニタリングシステム1を上方から模式的に見た図であり、図6の(b)は、第1の光源31を上方から拡大して見た断面図であり、図6の(c)は、第2の光源32を上方から拡大して見た断面図である。なお、図6には、光学ミラー14の図示が省略されている。
図6の(a)に示すように、光源30は、第1の光源31および第2の光源32によって構成されている。車室2の後方から前方を見た場合、第1の光源31は、カメラ20の位置を基準として右側に配置され、第2の光源32は、カメラ20の位置を基準として左側に配置されている。例えば、第1の光源31に含まれる少なくとも一部の発光素子の光軸は、運転席の方向を向いている。第2の光源32に含まれる少なくとも一部の発光素子の光軸は、助手席の方向を向いている。なおこの図では、光源30が座席の正面に配置されているが、光源30は座席に対して斜め方向に配置されていてもよい。以下、発光素子等について詳しく説明する。
図6の(b)に示すように、第1の光源31は、複数の発光素子L1a、L1b、L1c、L1d、L1e、L1fおよびL1gを有している。複数の発光素子L1a~L1gは、水平面に沿う方向にこの順で配置されている。また、第1の光源31は、複数の発光素子群G11、G12およびG13を有している。図6の(b)に示す例では、発光素子群G11は、発光素子L1a、L1bによって構成され、発光素子群G12は、発光素子L1c、L1d、L1eによって構成され、発光素子群G13は、発光素子L1f、L1gによって構成されている。
図6の(c)に示すように、第2の光源32は、複数の発光素子L2a、L2b、L2c、L2d、L2e、L2fおよびL2gを有している。複数の発光素子L2a~L2gは、水平面に沿う方向にこの順で配置されている。また、第2の光源32は、複数の発光素子群G21、G22およびG23を有している。図6の(c)に示す例では、発光素子群G21は、発光素子L2a、L2bによって構成され、発光素子群G22は、発光素子L2c、L2d、L2eによって構成され、発光素子群G23は、発光素子L2f、L2gによって構成されている。
複数の発光素子群G11~G13、G21~G23は、それぞれ異なる電力線によって電力を供給される。複数の発光素子群G11~G13、G21~G23は、後述する制御部50の制御指令に基づき、発光素子群ごとに異なる発光強度で発光し、また、発光素子群内では各発光素子が同じ発光強度で発光することが可能となっている。なお、発光素子群は、必ずしも複数の発光素子で構成される必要はなく、1以上の発光素子で構成されていればよい。以下、複数の発光素子の全部または一部を指して発光素子Lと呼ぶことがあり、複数の発光素子群の全部または一部を指して発光素子群Gと呼ぶことがある。
第1の光源31および第2の光源32のそれぞれは、複数の発光素子Lが実装される基板36を有している。基板36は、曲げ可能なフレキシブル基板であり、曲面37を有している。なお、基板36は、一方の主面が凸状の曲面37を有する硬質基板であってもよい。
複数の発光素子Lは、基板36の曲面37上に配置されている。そのため、複数の発光素子Lの少なくとも一部の発光素子は、基板36上において他の発光素子とは異なる姿勢で配置される。言い換えると、複数の発光素子Lの少なくとも一部の発光素子は、発光素子の光軸axが他の発光素子の光軸axに対して異なる方向を向くように配置されている。
図6の(b)に示す例では、第1の光源31の全ての発光素子Lの光軸axが、第1の光源31の他の発光素子の光軸axに対して異なる方向を向くように配置されている。発光素子L1a~L1gは、各光軸axの角度が徐々に変わるように、また、発光素子L1a~L1gの光軸axが放射状に広がるように配置されている。発光素子L1a~L1gの光軸axの最大の角度差は、例えば30°以上90°以下である。
図6の(c)に示す例では、第2の光源32の全ての発光素子Lの光軸axが、第2の光源32の他の発光素子の光軸axに対して異なる方向を向くように配置されている。発光素子L2a~L2gは、各光軸axの角度が徐々に変わるように、また、発光素子L2a~L2gの光軸axが放射状に広がるように配置されている。発光素子L2a~L2gの光軸axの最大の角度差は、例えば30°以上90°以下である。
制御部50は、複数の発光素子L(または複数の発光素子群G)に対して、パルス幅変調制御を行うことで、複数の発光素子L(または複数の発光素子群G)のそれぞれの発光強度を調整する。
制御部50は、CPU(Central Processing Unit)等のプロセッサと、揮発性メモリおよび不揮発性メモリを有する記憶部と、記憶部に格納されたプログラムとによって構成されている。制御部50が有する機能的な構成は、上記プログラムを実行することで実現される。制御部50は、筐体12の内部に設けられているが、それに限られず、筐体12の外部に設けられていてもよい。制御部50は、車両のECU(Electronic Control Unit)と通信しながら、電子ミラー10、カメラ20、光源30等の動作を制御してもよい。
ここで、電子ミラー10が傾けて配置された場合のインキャビンモニタリングシステム1の動作について説明する。
図7の(a)は、インキャビンモニタリングシステム1の電子ミラー10が傾けて配置された状態を示す図であり、図7の(b)は、第1の光源31を上方から拡大して見た断面図である。
図7の(a)に示すように、電子ミラー10は、支持体19に対して回転可能となっており、光源30は、電子ミラー10の回転に伴って回転移動する。本実施の形態では、光源30が垂直軸を中心に水平方向に沿って回転移動した場合に、撮像対象体3に対して適切に光を照射できるように、制御部50が複数の発光素子Lの発光を制御する。
制御部50は、カメラ20で撮像した画像に基づいて撮像対象体3における複数の領域の明るさを認識し、複数の領域の明るさに応じて、複数の発光素子Lの発光を制御する。
図8は、インキャビンモニタリングシステム1にて撮像する撮像対象体3の複数の領域の一例を示す図である。
図8の(a)に示すように撮像対象体3が乗員である場合、複数の領域は、乗員の体の中央の領域3a、右側の領域3b、左側の領域3cである。複数の領域の明るさは、複数の領域3a~3cのそれぞれの照度である。図8の(b)に示すように、撮像対象体3が座席である場合、複数の領域は、座席の中央の領域3d、右側の領域3e、左側の領域3fである。複数の領域の明るさは、複数の領域3d~3fのそれぞれの照度である。このように、制御部50が複数の領域の明るさに応じて、複数の発光素子Lの発光を制御することで、撮像対象体3に適切に光を照射することができる。
また、制御部50は、撮像対象体3に適切に光を照射するため、複数の発光素子Lのうち、光軸axが撮像対象体3に向いていない発光素子よりも、光軸axが撮像対象体3に向いている発光素子を強く光らせてもよい。例えば制御部50は、図7の(b)に示すように、光軸axが撮像対象体3に向いていない発光素子群G12、G13の発光素子L1c~L1gよりも、光軸axが撮像対象体3に向いている発光素子群G11の発光素子L1a、L1bを強く光らせてもよい。一方、制御部50は、電子ミラー10が傾けて配置されていない場合(図6参照)、光軸axが撮像対象体3に向いていない発光素子群G11、G13の発光素子L1a、L1b、L1f、L1gよりも、光軸axが撮像対象体3に向いている発光素子群G12の発光素子L1c~L1eを強く光らせてもよい。
また、制御部50は、複数の発光素子Lの全体の発光量を抑制するため、複数の発光素子Lのうち、光軸axが撮像対象体3に向いている発光素子よりも、光軸axが撮像対象体3に向いていない発光素子を弱く光らせてもよい。例えば制御部50は、図7に示すように、光軸axが撮像対象体3に向いている発光素子群G11の発光素子L1a、L1bよりも、光軸axが撮像対象体3に向いていない発光素子群G12、G13の発光素子L1c~L1gを弱く光らせてもよい。一方、制御部50は、電子ミラー10が傾けて配置されていない場合(図6参照)、光軸axが撮像対象体3に向いている発光素子群G12の発光素子L1c~L1eよりも、光軸axが撮像対象体3に向いていない発光素子群G11、G13の発光素子L1a、L1b、L1f、L1gを弱く光らせてもよい。
また、制御部50は、複数の発光素子Lのうち、撮像対象体3に最も遠い発光素子よりも、撮像対象体3に最も近い発光素子を強く光らせてもよい。例えば制御部50は、図7に示すように、撮像対象体3に最も遠い発光素子L1gよりも、撮像対象体3に最も近い発光素子L1aを強く光らせてもよい。一方、制御部50は、電子ミラー10が傾けて配置されていない場合(図6参照)、撮像対象体3に最も遠い発光素子L1a、L1gよりも、撮像対象体3に最も近い発光素子L1dを強く光らせてもよい。
本実施の形態のインキャビンモニタリングシステム1では、光源30が複数の発光素子Lを有し、複数の発光素子Lの少なくとも一部の発光素子は、発光素子の光軸axが他の発光素子の光軸axに対して異なる方向を向くように配置されている。
これによれば、少なくとも一部の発光素子の光軸axは、他の発光素子の光軸axとは異なる方向を向くことになるので、例えば、光源30が回転移動して傾いた場合であっても、車室2内の撮像対象体3に適切に光を照射することができる。
[実施の形態の変形例1]
実施の形態の変形例1に係るインキャビンモニタリングシステム1Aについて説明する。変形例1では、複数の発光素子Lが液晶パネル11に埋め込まれている例について説明する。
図9の(a)は、変形例1に係るインキャビンモニタリングシステム1Aの光源30を上方から模式的に見た図であり、図9の(b)は、第1の光源31を上方から拡大して見た断面である。
図9の(a)に示すように、光源30は、第1の光源31および第2の光源32によって構成されている。第1の光源31の発光素子L1a~L1gは、水平面に沿う方向にこの順で配置され(図9の(b)参照)、液晶パネル11のバックライトに埋め込まれている。第2の光源32の発光素子L2a~L2gは、水平面に沿う方向にこの順で配置され、液晶パネル11のバックライトに埋め込まれている。
図9の(b)に示すように、第1の光源31は、複数の発光素子Lが実装される基板36Aを有している。基板36Aは、一方の主面に凹凸面38を有する硬質基板である。
複数の発光素子Lは、基板36Aの凹凸面38上に配置されている。そのため、複数の発光素子Lの少なくとも一部の発光素子は、基板36A上において他の発光素子とは異なる姿勢で配置される。言い換えると、複数の発光素子Lの少なくとも一部の発光素子は、発光素子の光軸axが他の発光素子の光軸axに対して異なる方向を向くように配置されている。第2の光源32も同様である。
変形例1のインキャビンモニタリングシステム1Aでは、光源30が複数の発光素子Lを有し、複数の発光素子Lの少なくとも一部の発光素子は、発光素子の光軸axが他の発光素子の光軸axに対して異なる方向を向くように配置されている。
このように、少なくとも一部の発光素子は、光軸axが異なる方向に配置されているので、例えば、光源30が回転移動して傾いた場合であっても、車室2内の撮像対象体3に適切に光を照射することができる。
[実施の形態の変形例2]
実施の形態の変形例2に係るインキャビンモニタリングシステム1Bについて説明する。変形例2では、複数の発光素子Lがカメラ20のレンズ画角αの外側に配置されている例について説明する。
図10の(a)は、変形例2に係るインキャビンモニタリングシステム1Bを上方から模式的に見た図であり、図10の(b)は、第2の光源32を上方から拡大して見た断面図である。図11の(a)は、インキャビンモニタリングシステム1Bの電子ミラー10が傾けて配置された状態を示す図であり、図11の(b)は、第2の光源32を上方から拡大して見た断面図である。
図10の(a)および(b)に示すように、変形例2に係るインキャビンモニタリングシステム1Bでは、電子ミラー10が車室2の真後ろを向いている場合、複数の発光素子Lは、カメラ20のレンズ画角αの外側に配置されている。また、図11の(a)および(b)に示すように、電子ミラー10が傾けて配置された場合も、複数の発光素子Lは、カメラ20のレンズ画角αの外側に配置されている。このように、発光素子Lがレンズ画角αの外側に配置されていることで、レンズ画角α内に不要な光が入りこむことを抑制できる。
また、変形例2では、レンズ画角α内に不要な光が入り込むことをさらに抑制するため、制御部50が以下の発光制御を行う。制御部50は、複数の発光素子Lのうち、一部の発光素子がカメラ20のレンズ画角αに近接して配置される場合に、レンズ画角αに近接して配置されている当該一部の発光素子の発光強度を弱める。レンズ画角αに近接しているとは、レンズ画角αの端部に対する離間距離が0より大きく5mm以下であることを意味する。
例えば制御部50は、図11の(b)に示すように、発光素子群G23の発光素子L2f、L2gがレンズ画角αに近接して配置される場合に、発光素子L2f、L2gの発光強度を弱め、発光量を小さくしてもよい。発光量が弱められた発光素子L2f、L2gは、他の発光素子L2a~L2eよりも発光強度が小さくなっている。なお、制御部50は、発光素子L2f、L2gの発光強度を弱める際に、発光素子L2f、L2gの発光強度を0(発光量を0)にしてもよい。
変形例2においても、少なくとも一部の発光素子は、光軸axが異なる方向に配置されているので、例えば、光源30が回転移動して傾いた場合であっても、車室2内の撮像対象体3に適切に光を照射することができる。
[実施の形態の変形例3]
実施の形態の変形例3に係るインキャビンモニタリングシステム1Cについて説明する。変形例3では、電子ミラー10の液晶パネル11が透明ディスプレイ11Cである例について説明する。
図12は、変形例3に係るインキャビンモニタリングシステム1Cの電子ミラー10を側方から見た断面図である。
変形例3の電子ミラー10は、透明ディスプレイ11C、筐体12、および、光学ミラー14を有している。透明ディスプレイ11Cは、格子状に抜けた部分を通じて背景の景色が見えるディスプレイである。
筐体12は、樹脂製のケースであり、開口部12aを有している。カメラ20、光源30および制御部50は、筐体12の内部に配置されている。
透明ディスプレイ11Cは、透明ディスプレイ11Cの表示面が車両の後方を向くように、開口部12aに設けられている。透明ディスプレイ11Cは、図示しない別のカメラで撮像された車両後方の映像を表示する。また、透明ディスプレイ11Cは、制御部50から出力された制御指令に基づき、乗員の顔画像等を表示する。
光学ミラー14は、透明ディスプレイ11Cを使わないまたは使えないときに、車両後方の映像を映し出すために設けられている。光学ミラー14は、可視光を反射し赤外光を透過するハーフミラーであり、透明ディスプレイ11Cとカメラ20との間に配置されている。
なお、光学ミラー14を設ける必要がない場合、カメラ20は、可視光および赤外線の両方を検知可能なRBB/IRカメラであってもよい。
変形例3においても、少なくとも一部の発光素子は、光軸axが異なる方向に配置されているので、例えば、光源30が回転移動して傾いた場合であっても、車室2内の撮像対象体3に適切に光を照射することができる。
(その他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態および実施の形態の変形例を説明した。しかしながら、実施の形態および実施の形態の変形例における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
上記の実施の形態では、光源30が電子ミラー10の内部に設けられている例を示したが、それに限られない。例えば、光源30が電子ミラー10の筐体12に接している状態であれば、光源30は、電子ミラー10の外側に設けられていてもよい。
上記の実施の形態では、複数の発光素子Lが水平面に沿う方向に配置されている例を示したが、それに限られない。例えば、電子ミラー10が水平軸を中心に垂直方向に沿って回転可能である場合、複数の発光素子Lが鉛直面に沿う方向に配置されていてもよい。
上記の実施の形態では、撮像対象体3における複数の領域の明るさに応じて、複数の発光素子Lの発光を制御する例を示したが、それに限られない。例えば、制御部50は、支持体19に設けられた角度センサなどにより電子ミラー10の回転角度を検出し、検出した回転角度に基づいて、複数の発光素子Lの発光を制御してもよい。
また、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
上述した機能をプログラムにより実現するコンピュータは、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置、DVD-ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
そして、プロセッサまたはCPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、上記各装置の機能が実現される。
本開示のインキャビンモニタリングシステムは、車室内の乗員等を撮像する場合に利用することができる。
1、1A、1B、1C インキャビンモニタリングシステム
2 車室
3 撮像対象体
3a、3b、3c、3d、3e、3f 領域
4 ウィンドシールド
10 電子ミラー
11 液晶パネル
11C 透明ディスプレイ
12 筐体
12a 開口部
14 光学ミラー
19 支持体
20 カメラ
30 光源
31 第1の光源
32 第2の光源
36、36A 基板
37 曲面
38 凹凸面
50 制御部
ax 光軸
G、G11、G12、G13、G21、G22、G23 発光素子群
L、L1a、L1b、L1c、L1d、L1e、L1f、L1g、L2a、L2b、L2c、L2d、L2e、L2f、L2g 発光素子
α レンズ画角

Claims (13)

  1. 車室内に設けられた電子ミラーと、
    前記車室内の撮像対象体を撮像するカメラと、
    前記電子ミラーに設けられ、前記車室内に光を出射する光源と、
    を備え、
    前記光源は、複数の発光素子を有し、
    前記複数の発光素子の少なくとも一部の発光素子は、前記発光素子の光軸が他の発光素子の光軸に対して異なる方向を向くように配置されている
    インキャビンモニタリングシステム。
  2. 前記光源は、さらに、前記複数の発光素子が実装される基板を有し、
    前記複数の発光素子の少なくとも一部の発光素子は、前記基板上において前記他の発光素子とは異なる姿勢で配置されている
    請求項1に記載のインキャビンモニタリングシステム。
  3. 前記基板は、曲面を有し、
    前記複数の発光素子は、前記基板の曲面上に配置されている
    請求項2に記載のインキャビンモニタリングシステム。
  4. 前記電子ミラーは、開口部を有する筐体、および、前記開口部に設けられた液晶パネルを有し、
    前記カメラおよび前記光源は、前記筐体の内部に配置されている
    請求項1~3のいずれか1項に記載のインキャビンモニタリングシステム。
  5. 前記カメラは、前記車室に設けられた支持体に固定された状態で、前記筐体の内部に配置され、
    前記電子ミラーは、前記支持体に対して回転可能であり、
    前記光源は、前記電子ミラーの回転に伴って回転移動する
    請求項4に記載のインキャビンモニタリングシステム。
  6. 前記光源は、1以上の前記発光素子によって構成される発光素子群を複数有し、
    複数の前記発光素子群は、それぞれ異なる電力線によって電力を供給される
    請求項1~5のいずれか1項に記載のインキャビンモニタリングシステム。
  7. さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備え、
    前記制御部は、前記カメラで撮像した画像に基づいて前記撮像対象体における複数の領域の明るさを認識し、前記複数の領域の明るさに応じて、前記複数の発光素子の発光を制御する
    請求項1~6のいずれか1項に記載のインキャビンモニタリングシステム。
  8. さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備え、
    前記制御部は、前記複数の発光素子のうち、前記光軸が前記撮像対象体に向いていない発光素子よりも、前記光軸が前記撮像対象体に向いている発光素子を強く光らせる
    請求項1~6のいずれか1項に記載のインキャビンモニタリングシステム。
  9. さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備え、
    前記制御部は、前記複数の発光素子のうち、前記光軸が前記撮像対象体に向いている発光素子よりも、前記光軸が前記撮像対象体に向いていない発光素子を弱く光らせる
    請求項1~6のいずれか1項に記載のインキャビンモニタリングシステム。
  10. さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備え、
    前記制御部は、前記複数の発光素子のうち、前記撮像対象体に最も遠い発光素子よりも、前記撮像対象体に最も近い発光素子を強く光らせる
    請求項1~6のいずれか1項に記載のインキャビンモニタリングシステム。
  11. さらに、前記カメラ、前記電子ミラーおよび前記光源を制御する制御部を備え、
    前記制御部は、前記複数の発光素子のうち、一部の発光素子が前記カメラのレンズ画角に近接して配置される場合に、前記レンズ画角に近接して配置されている前記一部の発光素子の発光強度を弱める
    請求項1~6のいずれか1項に記載のインキャビンモニタリングシステム。
  12. 前記複数の発光素子は、前記カメラのレンズ画角の外側に配置されている
    請求項1~10のいずれか1項に記載のインキャビンモニタリングシステム。
  13. 前記光源は、第1の光源および第2の光源によって構成され、
    前記第1の光源に含まれる少なくとも一部の前記発光素子の光軸は、運転席の方向を向き、
    前記第2の光源に含まれる少なくとも一部の前記発光素子の光軸は、助手席の方向を向いている
    請求項1~12のいずれか1項に記載のインキャビンモニタリングシステム。
JP2021056317A 2021-03-29 2021-03-29 インキャビンモニタリングシステム Pending JP2022153202A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021056317A JP2022153202A (ja) 2021-03-29 2021-03-29 インキャビンモニタリングシステム
US17/699,995 US20220306001A1 (en) 2021-03-29 2022-03-21 In-cabin monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021056317A JP2022153202A (ja) 2021-03-29 2021-03-29 インキャビンモニタリングシステム

Publications (1)

Publication Number Publication Date
JP2022153202A true JP2022153202A (ja) 2022-10-12

Family

ID=83364249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021056317A Pending JP2022153202A (ja) 2021-03-29 2021-03-29 インキャビンモニタリングシステム

Country Status (2)

Country Link
US (1) US20220306001A1 (ja)
JP (1) JP2022153202A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7195381B2 (en) * 2001-01-23 2007-03-27 Donnelly Corporation Vehicle interior LED lighting system
US6851841B2 (en) * 2001-11-28 2005-02-08 Toyoda Gosei Co., Ltd. Illumination device
US7334924B2 (en) * 2005-06-09 2008-02-26 Delphi Technologies, Inc. Illumination apparatus for an optical occupant monitoring system in a vehicle
US7651281B2 (en) * 2008-01-07 2010-01-26 Pal Tate Industrial Co., Ltd. Surveillance camera
US10367979B2 (en) * 2015-07-29 2019-07-30 Kyocera Corporation Image processing apparatus, imaging apparatus, driver monitoring system, vehicle, and image processing method
US10279744B2 (en) * 2015-10-27 2019-05-07 Kyocera Corporation Mirror-attached imaging apparatus
US10699143B2 (en) * 2017-03-10 2020-06-30 Gentex Corporation System and method for vehicle occupant identification and monitoring
WO2019040703A1 (en) * 2017-08-23 2019-02-28 Magna Mirrors Of America, Inc. INDOOR REAR VIEW MOUNT WITH FULL SCREEN VIDEO DISPLAY
WO2023034956A1 (en) * 2021-09-03 2023-03-09 Magna Electronics Inc. Vehicular interior cabin monitoring system with light emitter that is selectively operable for dms and oms functions

Also Published As

Publication number Publication date
US20220306001A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
EP3562708B1 (en) Rear vision system with eye-tracking
EP1701290B1 (en) Image capturing apparatus for vehicle driver
US8009977B2 (en) On-vehicle lighting apparatus
US7188014B1 (en) Assistant monitor apparatus and the method of controlling the same
JP5983693B2 (ja) 表示機能付きミラー装置および表示切替方法
JP2008094221A (ja) 目状態検出装置および目状態検出装置の取り付け方法
JP2016055782A5 (ja)
CN111434525A (zh) 头枕和头枕系统
JP2011116219A (ja) 車内監視システム
JP2022153202A (ja) インキャビンモニタリングシステム
JP2000115759A (ja) 撮像表示装置
JP2022122117A (ja) 車両及び撮像装置
JP6229769B2 (ja) 表示機能付きミラー装置および表示切替方法
JP2013198132A (ja) 撮像装置及びこれを備える制御システム
US11697381B2 (en) Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle
JP2009113747A (ja) 車両室内灯の制御装置
JP2014106635A (ja) 車両用灯具システム
JP2020082974A (ja) 車室内撮像装置
WO2019009125A1 (ja) 乗員撮影装置
JP7101574B2 (ja) 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置
JP2009096323A (ja) カメラ照明制御装置
JP6814567B2 (ja) 防眩システム
US20240100946A1 (en) Occupant imaging device
US20220172489A1 (en) Systems and methods for object detection in the interior of a motor vehicle
WO2023189458A1 (ja) 測距モジュール

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231026

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240304