JP2020166070A - カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム - Google Patents

カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP2020166070A
JP2020166070A JP2019065093A JP2019065093A JP2020166070A JP 2020166070 A JP2020166070 A JP 2020166070A JP 2019065093 A JP2019065093 A JP 2019065093A JP 2019065093 A JP2019065093 A JP 2019065093A JP 2020166070 A JP2020166070 A JP 2020166070A
Authority
JP
Japan
Prior art keywords
camera system
light
imaging
light source
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019065093A
Other languages
English (en)
Other versions
JP7213466B2 (ja
Inventor
山形 道弘
Michihiro Yamagata
道弘 山形
今村 典広
Norihiro Imamura
典広 今村
松崎 圭一
Keiichi Matsuzaki
圭一 松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019065093A priority Critical patent/JP7213466B2/ja
Priority to US16/830,887 priority patent/US11146715B2/en
Publication of JP2020166070A publication Critical patent/JP2020166070A/ja
Application granted granted Critical
Publication of JP7213466B2 publication Critical patent/JP7213466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stroboscope Apparatuses (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

【課題】撮像用光学系の大型化を抑制しつつ適切に撮像を行うことができるカメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラムを提供する。【解決手段】カメラシステムは、撮像素子40、波長フィルタ44及び撮像用光学系41を備える。撮像素子40は、撮像面400を有する。撮像用光学系41は、被写体からの光を波長フィルタ44に通して撮像面400に結像する。波長フィルタ44は、垂直入射領域443と、斜め入射領域444とを有する。垂直入射領域443には、撮像用光学系41を通過した主光線が垂直に入射する。斜め入射領域444には、撮像用光学系41)を通過した主光線が斜めに入射する。撮像素子40は、斜め入射領域444を通過する主光線に対する感度が、垂直入射領域443を通過する主光線に対する感度よりも高い。【選択図】図4

Description

本開示は、カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラムに関する。
特許文献1には、撮像装置が開示されている。この撮像装置は、レンズユニットと、撮影素子とを備えている。レンズユニットは、物体側から順に配置された、第1レンズ、開口絞り、第2レンズ及び第3レンズを備えている。撮影素子は、レンズユニットの焦点に配置され、レンズユニットにより結像された像を撮像する。撮像装置は、バンドパスフィルタを更に備えている。バンドパスフィルタは、第3レンズと撮影素子との間に位置し、近赤外域の特定波長帯域の光線を透過させる。
このレンズユニットでは、バンドパスフィルタへの主光線の入射角が0度になるように、レンズユニットから出射される主光線が光軸と平行になっている。バンドパスフィルタに入射する主光線の入射角が0度から大きくずれることによって発生する透過スペクトルのシフトを抑制し、バンドパスフィルタに特定波長帯域の光線を正確に透過させるためである。
特開2016−218471号公報
上述したようにレンズユニットから出射される主光線を、光軸と平行にするには、複数枚のレンズを用いる等して、レンズユニットのパワーを大きくする必要があり、レンズユニットの大型化を招く要因になる。
本開示は上記事由に鑑みてなされており、撮像用光学系の大型化を抑制しつつ適切に撮像を行うことができるカメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラムを提供することを目的とする。
本開示の一態様に係るカメラシステムは、撮像素子と、波長フィルタと、撮像用光学系とを備える。前記撮像素子は、撮像面を有する。前記撮像用光学系は、被写体からの光を前記波長フィルタに通して前記撮像面に結像する。前記波長フィルタは、垂直入射領域と斜め入射領域とを有する。前記垂直入射領域には、前記撮像用光学系を通過した主光線が垂直に入射する。前記斜め入射領域には、前記撮像用光学系を通過した主光線が斜めに入射する。前記撮像素子は、前記斜め入射領域を通過する主光線に対する感度が、前記垂直入射領域を通過する主光線に対する感度よりも高い。
本開示の一態様に係る搭乗者監視システムは、前記カメラシステムと、取得部とを備える。前記カメラシステムは、移動装置に搭乗した搭乗者を撮像する。前記取得部は、前記カメラシステムの前記撮像素子が出力する電気信号に基づいて撮像データを取得する。
本開示の一態様に係る移動装置は、移動装置本体と、前記カメラシステムとを備える。前記カメラシステムは、前記移動装置本体に搭乗した搭乗者を撮像する位置に設置される。
本開示の一態様に係る撮像方法は、前記カメラシステムを用いた撮像方法である。前記カメラシステムは、前記複数の光源の中から発光させる光源を選択的に切り換える切換部を更に備える。前記切換部によって発光される光源を切り換えることにより、前記波長フィルタを通過して前記撮像面に至る光の波長を切り換える。
本開示の一態様に係るプログラムは、前記撮像方法をプロセッサに実行させる。
本開示のカメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラムは、撮像用光学系の大型化を抑制しつつ適切に撮像を行うことができる。
図1は、本開示の一実施形態に係る移動装置の平面図である。 図2は、同上の移動装置が備えるカメラシステムによって撮像した映像を示した図である。 図3は、同上のカメラシステムのブロック図である。 図4は、同上のカメラシステムが有する撮像光学系の説明図である。 図5は、同上の撮像光学系が有する波長フィルタにおいて、ピーク波長が異なる波長域の光が透過する領域を示した説明図である。 図6は、同上の波長フィルタを透過する光の波長と、透過率との関係を示したグラフである。 図7は、変形例のカメラシステムのブロック図である。
(1)実施形態
以下、本実施形態のカメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラムについて説明する。
図1に本実施形態の移動装置1を示す。本実施形態の移動装置1は、自動車である。移動装置1は、移動装置本体10と搭乗者監視システム2とを備えている。移動装置本体10は、路面に沿って移動可能な車体である。移動装置本体10は、移動装置1の主体を構成している。移動装置本体10は、左右方向において並んだ運転席100及び助手席101を有している。移動装置1は、移動装置本体10に設置された電気機器11(図3参照)を更に備えている。電気機器11は、報知器、電動シート、電動ドアミラー、空調装置等である。なお、移動装置1は、二輪車、電車、航空機、建設機械、船舶等であってもよい。
搭乗者監視システム2は、図2に示すように、移動装置1に搭乗した搭乗者91,92を監視する。搭乗者監視システム2は、移動装置本体10に搭載されている。本実施形態の搭乗者監視システム2は、運転席100に座った搭乗者(運転者)91と、助手席101に座った搭乗者(同乗者)92との二人の搭乗者91,92を監視する。以下、必要に応じて、搭乗者91を第1搭乗者91といい、搭乗者92を第2搭乗者92という。
なお、搭乗者監視システム2によって監視する搭乗者は、運転席100に座った搭乗者91や助手席101に座った搭乗者92に限定されない。例えば、搭乗者監視システム2は、移動装置本体10の後部座席に並んで座った二人の搭乗者を監視してもよい。また、搭乗者監視システム2によって監視する搭乗者の人数は、3人以上であってもよい。また、搭乗者監視システム2によって監視する搭乗者は、一人だけであってもよい。
図3に示すように、搭乗者監視システム2は、カメラシステム(撮像装置)3と、制御装置5とを有している。カメラシステム3は、移動装置本体10に搭乗した搭乗者91,92(図2参照)を撮像する。
制御装置5は、カメラシステム3を用いて取得した搭乗者91,92に関する情報に基づいて電気機器11の制御を行う。搭乗者91,92に関する情報は、搭乗者91,92の脇見、居眠り、姿勢の変化等の状態を示す情報、搭乗者91,92の顔等の外観の情報等である。電気機器11の制御としては、例えば、搭乗者91,92の脇見、居眠り等の情報を取得したときに行われる報知器による報知がある。また、電気機器11の制御としては、搭乗者91,92が急病により倒れた等の情報を取得したときに行われる移動装置本体10の自動停車がある。また、電気機器11の制御としては、搭乗者91,92の顔の情報に基づいて実行される、電動シートの移動、電動ドアミラーの角度の変更、空調装置の制御がある。
制御装置5は、例えば、1以上のプロセッサ(マイクロプロセッサ)と1以上のメモリとにより実現され得る。つまり、制御装置5は、1以上のプロセッサが1以上のメモリに記憶された1以上のプログラムを実行することで、制御部として機能する。1以上のプログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
図3に示すように、制御装置5は、取得部50、判定部51及び処理部52を有している。取得部50は、カメラシステム3の撮像素子40が出力した電気信号に基づいて撮像データを取得する。判定部51は、取得部50で取得した撮像データに基づいて判定を行う。処理部52は、判定部51の判定結果に基づいて電気機器11を制御する。なお、本実施形態の取得部50は、撮像データとして、動画データを取得するが、静止画データであってもよい。
カメラシステム3は、撮像ユニット4を有している。図1に示すように、撮像ユニット4は、移動装置本体10に設置されている。撮像ユニット4は、左右方向に並んだ二人の搭乗者91,92(図2参照)を同時に撮像できるように、移動装置本体10のダッシュボード102における左右方向の中央部に設置されている。なお、撮像ユニット4が設置される位置は、限定されない。図3に示すように、撮像ユニット4は、撮像素子40と撮像用光学系41とを有している。
カメラシステム3は、光源装置46を更に有している。光源装置46は、撮像素子40が感度を有する波長域の光線を、被写体(物体)である搭乗者91,92(図2参照)に向かって照射する。
光源装置46は、一対の光源461,462を有している。図1に示すように、一対の光源461,462は、異なる位置に設置されている。本実施形態の一対の光源461,462は、移動装置本体10のダッシュボード102において、運転席100に対応する箇所と、助手席101に対応する箇所とに夫々設置されている。以下、必要に応じて、一対の光源461,462のうち、運転席100に対応する光源461を第1光源461といい、助手席101(図1参照)に対応する光源462を第2光源462という。
各光源461,462は、一つ又は複数の光源素子を有している。本実施形態の光源素子は、赤外線を発光する発光ダイオードである。各光源461,462は、撮像素子40(図3参照)が感度を有する波長域の光線を発する。第1光源461は、運転席100及び運転席100に座った第1搭乗者91に赤外線を照射する。第2光源462は、助手席101及び助手席101に座った第2搭乗者92に赤外線を照射する。
光源装置46から発せられた赤外線は、搭乗者91,92に当たって反射し、図4に示すように、撮像用光学系41によって撮像素子40に集められる。図4において、OAは撮像用光学系41の光軸である。また、図4において、PR1及びPR2の各々は、撮像用光学系41に対して最大の入射角で入射した主光線を示している。なお、光源461,462が有する光源素子は、発光ダイオードに限られず、電球、放電灯、有機エレクトロルミネッセンス等であってもよい。
撮像素子(画像センサ)40は、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等である。撮像素子40は、例えば、赤外線に感度を有する赤外線撮像素子である。
撮像面400は、撮像素子40の被写体側に臨む面であり、撮像用光学系41の光軸OAに対して直交した平面である。撮像面400は、長方形状である。撮像ユニット4は、撮像面400が移動装置1の前後方向と交差し、かつ、撮像面400の長手方向が移動装置1が走行する走行面と略平行となるように移動装置本体10(図1参照)に設置されている。
撮像面400は、撮像用光学系41の焦点に位置している。撮像用光学系41は、被写体となる被写体からの光線を集めて、撮像面400に像を形成する。撮像素子40は、撮像面400に結ばれた像を多数の撮像画素により電気信号に変換する。
撮像素子40は、赤外線にのみ感度を有してもよいし、赤外線及び赤外線以外の光線に対して感度を有してもよい。また、撮像素子40は、赤外線以外の光に対して感度を有する素子であってもよい。この場合、光源装置46は、撮像素子40が感度を有する波長域の光を発する。カメラシステム3は、光源装置46を有さなくてもよい。
撮像用光学系41は、レンズ系42、開口絞り45及び波長フィルタ44を有している。レンズ系42は、広角レンズである。レンズ系42は、被写体からの光線を集めて、撮像面400に像を形成する。レンズ系42は、例えば、複数枚の単レンズで構成されたレンズ群である。開口絞り45は、撮像素子40の撮像面400に照射される光の範囲を規定する。
なお、図4では、レンズ系42を一枚のレンズとして図示している。また、図4では、開口絞り45をレンズ系42の内部に図示しているが、実際にはレンズ系42とは別の箇所に設けられる。また、開口絞り45は、隣り合う単レンズの間に位置してもよいし、光軸OA方向においてレンズ系42の被写体側又は像側に位置してもよい。また、レンズ系42を構成するレンズの数は、限定されない。レンズ系42は、一枚のレンズであってもよい。
波長フィルタ(バンドパスフィルタ)44は、撮像用光学系41の光軸OA方向において、レンズ系42と撮像素子40の間に位置している。波長フィルタ44は、撮像素子40の撮像面400に沿っている。波長フィルタ44は、第1面441と第2面442とを有している。波長フィルタ44における厚み方向の両側の面のうち、被写体側の面が第1面441であり、像側の面が第2面442である。第1面441及び第2面442の各々は、光軸OAと直交した平面である。
波長フィルタ44は、特定波長域の光の透過を許容し、特定波長域外の波長の光の透過を許容しない。具体的に波長フィルタ44は、主に近赤外線領域である940nm以上960nm以下の波長の光だけを透過し、940nm未満及び960nmを超える波長の光の透過を制限する。なお、波長フィルタ44によって制限する波長領域は、限定されない。
レンズ系42は、波長フィルタ44及び撮像面400に入射する主光線の入射角が、光軸OAから離れた部分ほど大きくなるように構成されている。このため、波長フィルタ44や撮像面400に入射する主光線の入射角が、波長フィルタ44や撮像面400の各々の全体にわたって0度となるようにレンズ系42が構成される場合と比較して、レンズ系42に必要なパワーを減少させることができる。したがって、レンズ系42の大型化を抑制することができる。
波長フィルタ44は、垂直入射領域443と、斜め入射領域444とを有している。垂直入射領域443は、撮像用光学系41を通過した主光線が第1面441に対して垂直に入射する領域であり、かつ、当該主光線を中心光線とする光束が所定の角度よりも小さい入射角で入射する領域である。
斜め入射領域444は、波長フィルタ44において、撮像用光学系41を通過した主光線が第1面441に対して斜めに入射する領域であり、かつ、当該主光線を中心光線とする光束が、垂直入射領域443に比べて大きい入射角で入射する領域である。
本実施形態の波長フィルタ44は、光軸OAと重なる中央部が垂直入射領域443となり、この中央部以外の部分が斜め入射領域444となる。したがって、垂直入射領域443を透過した主光線及び該主光線を中心光線とする光束は、撮像面400の中央部に照射され、斜め入射領域444を透過した主光線及び該主光線を中心光線とする光束は、撮像面400の中央部の周囲に照射される。
図6は、波長フィルタ44を透過する光の波長と、透過率との関係を示したグラフである。図6中L1は、波長フィルタ44に対する入射角が0度であるときにおける透過率の変化を示している。また、図6中L2、L3、L4は、波長フィルタ44に対する入射角がそれぞれ10度、20度、30度であるときにおける透過率の変化を示している。図6から明らかなように、波長フィルタ44は、波長フィルタ44を透過する光のピーク波長が、波長フィルタ44に対する光の入射角が大きくなるほど、短波長側にずれるという入射角依存性を有する。このため、波長フィルタ44においては、ピーク波長が長い光は、光軸OAに近い部分において透過率が高くなり、ピーク波長が短い光は、光軸OAから離れた部分において透過率が高くなる。
撮像素子40にとって感度が最も高い(良い)波長を所定波長とする。このとき、波長フィルタ44は、所定波長の光の透過率が、垂直入射領域443よりも斜め入射領域444の方が高くなるように設計されている。すなわち、撮像素子40は、斜め入射領域444を通過する主光線に対する感度が、垂直入射領域443を通過する主光線に対する感度よりも高い。
図5は、波長フィルタ44において、ピーク波長が異なる波長域の光が透過する領域を示した説明図である。図5において、領域A1は、主光線の波長フィルタ44に対する入射角が0度となる光束が透過する領域である。また、図5中A2、A3、A4は、主光線の波長フィルタ44に対する入射角がそれぞれ10度、20度、30度となる光束が透過する領域である。
所定波長の光の透過率は、図5に示す領域A3が、領域A1、領域A2及び領域A4よりも高くなる。すなわち、撮像素子40は、斜め入射領域444を通過した主光線のうち、撮像面400における外周部よりも内側に照射される主光線に対する感度が、撮像面400における外周部に照射される主光線に対する感度よりも高くなっている。領域A3は、波長フィルタ44において所定波長の光の透過率が最も高い領域である。このため、撮像面400(図4参照)においては、領域A3に対応する領域が、最も解像度の高い撮像を行うことができる領域となる。
ここで、光源装置46の各光源461,462(図1参照)が発する光の波長域は、斜め入射領域444を通過する主光線の波長域のピーク波長を含むことが好ましい。また、各光源461,462から発せられる光の波長域のピーク波長と、所定波長とが略一致することがより好ましい。この場合、撮像面400において領域A3に対応する部分の光量が増し、撮像素子40によって一層適切に撮像することが可能になる。なお、本開示における略一致には、完全に一致する場合はもちろん、10%の範囲内でずれる場合も含まれる。また、各光源461,462から発せられる光のピーク波長と、所定波長とは、略一致していなくてもよい。
図1に示すように、撮像ユニット4は、撮像用光学系41の光軸OAが、運転席100と助手席101との間を通過するように、移動装置本体10に設置されている。すなわち、撮像用光学系の光軸OAは、移動装置本体10に並んで搭乗した二人の搭乗者91,92の間に位置する。
撮像ユニット4は、二人の搭乗者91,92の顔を含む部分からの光束(顔画像を形成する光束)の主光線が、斜め入射領域444における領域A3を透過する位置に設置される。そして、搭乗者91,92の顔画像を形成する光束の主光線の撮像面400に対する入射角と、波長フィルタ44のうち所定波長の光の透過率が最も高くなる位置(領域A3)における当該所定波長の光の波長フィルタ44に対する入射角とが、略一致する。すなわち、この場合、撮像ユニット4は、図2に示すように、左右方向に離れた二人の搭乗者91,92の各々の顔が、撮像素子40の撮像面400において領域A3に対応する円環状の部分に含まれるように、移動装置本体10に設置される。このため、左右方向に並んで搭乗した二人の搭乗者91,92の顔は、高い解像度で撮像されやすい。したがって、搭乗者監視システム2では、一つの撮像ユニット4を用いて、二人の搭乗者91,92に関する情報を適切に取得して、電気機器11を適切に制御することができる。
(2)変形例
次に上記実施形態の変形例について説明する。なお、以下の変形例の説明では、上記実施形態と共通する要素については同一の符号を付して説明を省略する。
図7に示す本変形例の搭乗者監視システム2の一対の光源461,462は、ピーク波長が異なる波長域の光を発する。また、本変形例の搭乗者監視システム2は、一対の光源461,462のうち発光させる光源461,462を選択的に切り換える切換部53を更に有している。そして、搭乗者監視システム2は、切換部53によって発光させる光源461,462を切り換えることにより、撮像面400において解像度の高い撮像ができる領域の位置を変更する。以下、本変形例の搭乗者監視システム2について詳述する。
波長フィルタ44において第1搭乗者91(図2参照)の顔画像を形成する光束の主光線が透過する位置から光軸OAまでの距離を第1距離とする。また、波長フィルタ44において第2搭乗者92(図2参照)の顔画像を形成する光束の主光線が透過する位置から光軸OAまでの距離を第2距離とする。本変形例の撮影ユニット4は、第1距離と第2距離とが異なるように構成されている。すなわち、撮影ユニット4は、第1搭乗者91の顔画像を形成する光束の主光線の波長フィルタ44に対する入射角と、第2搭乗者92の顔画像を形成する光束の主光線の波長フィルタ44に対する入射角とが異なるように構成されている。
第1搭乗者91の顔画像を形成する光束の主光線は、波長フィルタ44において、第1光源461が発する光の透過率が最も高くなる領域を通過するように設定されている。また、第2搭乗者92の顔画像を形成する光束の主光線は、波長フィルタ44において、第2光源462が発する光の透過率が最も高くなる領域を通過するように設定されている。
搭乗者監視システム2における制御装置5は、第1搭乗者91を監視する状態と、第2搭乗者92を監視する状態とを自動で切り換える。例えば、制御装置5は、取得部50で取得した撮像データに基づいて、第1搭乗者91の顔の位置情報及び第2搭乗者92の顔の位置情報を取得し、これら位置情報に基づいて第1搭乗者91の顔を監視する状態と、第2搭乗者92の顔を監視する状態とを自動で切り換える。
切換部53は、制御装置5のメモリに記憶されたプログラム及びこのプログラムによって実行されるプロセッサによって構成されている。制御装置5は、プログラムを実行してプロセッサを制御することにより、以下に示す撮像方法を実行する。
搭乗者監視システム2が第1搭乗者91を監視する場合、制御装置5は、切換部53によって発光させる光源461,462の切り換えを実行し、第1光源461を発光状態とし、かつ、第2光源462を非発光状態とする。これにより、第1光源461から発せられた赤外線は、第1搭乗者91の顔に当たって反射し、この後、波長フィルタ44を透過して撮像素子40の撮像面400に到達する。この場合、第1光源461から発せられた赤外線は、波長フィルタ44において当該赤外線にとって最も透過率の高い領域を透過する。このため、第1搭乗者91の顔は、高い解像度で撮像される。
また、搭乗者監視システム2が助手席101に座った第2搭乗者92を監視する場合、制御装置5は、切換部53によって発光させる光源461,462の切り換えを実行し、第2光源462を発光状態とし、かつ、第1光源461を非発光状態とする。これにより、第2光源462から発せられた赤外線は、第2搭乗者92の顔に当たって反射し、この後、波長フィルタ44を透過して撮像素子40の撮像面400に到達する。この場合、第2光源462から発せられた赤外線は、波長フィルタ44において当該赤外線にとって最も透過率の高い領域を透過する。このため、第2搭乗者92の顔は、高い解像度で撮像される。
本変形例では、切換部53によって発光される光源461,462を切り換え、波長フィルタ44を通過して撮像面400に至る光の波長を切り換えるという撮像方法を採用している。このため、搭乗者91,92の各々の顔を高い解像度で撮像することが可能になる。
なお、本変形例の搭乗者監視システム2は、切換部53による、発光させる光源461,462の切り換えが自動で行われるが、この切り換えは、例えば、ユーザの操作等、手動により行われてもよい。また、この切り換えは、自動と手動の両方で実行可能であっておよい。また、本変形例では、一対の光源461,462を第1搭乗者91と第2搭乗者92との夫々に対応する位置に設置したが、例えば、各光源461,462を、ダッシュボード102における左右方向の中央部等、両搭乗者91,92を照明できる位置に設置してもよい。また、搭乗者監視システム2は、例えば、搭乗者91,92の顔に加えて、搭乗者91,92の顔以外の部分を撮像して監視するシステムであってもよい。この場合も、一対の光源461,462のうち発光される光源461,462を選択的に切り換えることにより、撮像面400において解像度の高い撮像ができる領域の位置を、搭乗者91,92の各部に対応する位置に変更することができる。また、光源装置46は、互いにピーク波長の異なる光を発する光源を三つ以上有してもよい。この場合、切換部53は、三つ以上の複数の光源の中から選択された光源だけを発光させることにより、撮像面400において解像度の高い撮像ができる領域の位置を変更する。
(3)態様
以上説明した実施形態及び変形例から明らかなように、第1の態様のカメラシステム(3)は、以下に示す構成を有する。カメラシステム(3)は、撮像素子(40)、波長フィルタ(44)及び撮像用光学系(41)を備える。撮像素子(40)は、撮像面(400)を有する。撮像用光学系(41)は、被写体からの光を波長フィルタ(44)に通して撮像面(400)に結像する。波長フィルタ(44)は、垂直入射領域(443)と、斜め入射領域(444)とを有する。垂直入射領域(443)には、撮像用光学系(41)を通過した主光線が垂直に入射する。斜め入射領域(444)には、撮像用光学系(41)を通過した主光線が斜めに入射する。撮像素子(40)は、斜め入射領域(444)を通過する主光線に対する感度が、垂直入射領域(443)を通過する主光線に対する感度よりも高い。
この態様によれば、波長フィルタ(44)の斜め入射領域(444)を透過した光を、撮像素子(40)の撮像面(400)で受けて適切に撮像を行うことができる。また、撮像用光学系(41)が波長フィルタ(44)や撮像面(400)に入射する主光線の入射角が0度となるように屈折させる必要がないため、撮像用光学系(41)の大型化を抑制できる。
第2の態様のカメラシステム(3)は、第1の態様との組み合わせにより実現され得る。第2の態様のカメラシステム(3)は、以下に示す構成を有する。斜め入射領域(444)を通過した主光線は、撮像面(400)における中央部の周囲に照射される。
この態様によれば、撮像面(400)における中央部の周囲で光を受けて撮像することができる。
第3の態様のカメラシステム(3)は、第1又は第2の態様との組み合わせにより実現され得る。第3の態様のカメラシステム(3)は、以下に示す構成を有する。撮像素子(40)は、斜め入射領域(444)を通過した主光線のうち、撮像面(400)における外周部よりも内側に照射される主光線に対する感度が、前記外周部に照射される主光線に対する感度よりも高い。
この態様によれば、撮像面(400)における外周部よりも内側の部分で光を受けて撮像することができる。
第4の態様のカメラシステム(3)は、第1〜第3のいずれか一つの態様との組み合わせにより実現され得る。第4の態様のカメラシステム(3)は、以下に示す構成を有する。カメラシステム(3)は、被写体に向かって光を発する光源(461,462)を更に備える。光源(461,462)が発する光の波長域は、斜め入射領域(444)を通過する主光線の波長域のピーク波長を含む。
この態様によれば、光源(461,462)から発した光を利用して、適切に撮像することができる。
第5の態様のカメラシステム(3)は、第4の態様との組み合わせにより実現され得る。第5の態様のカメラシステム(3)は、以下に示す構成を有する。カメラシステム(3)は、被写体に向かって光を発する光源装置(46)を更に備える。光源装置(46)は、複数の光源(461,462)を有する。複数の光源(461,462)は、ピーク波長が互いに異なる波長域の光を発する。
この態様によれば、複数の光源(461,462)の中から選択した光源(461,462)を発光させることで、異なる波長域の光を被写体に照射することができる。このため、被写体に照射される光の波長域を変更することで、撮像面(400)において解像度の高い撮像ができる領域の位置を変更することが可能になる。
第6の態様のカメラシステム(3)は、第5の態様との組み合わせにより実現され得る。第6の態様のカメラシステム(3)は、以下に示す構成を有する。複数の光源(461,462)は、互いに異なる位置に設置される。
この態様によれば、発光させる光源(461,462)を変更することにより、被写体の位置に応じて、撮像面400において解像度の高い撮像ができる領域の位置を変更することが可能になる。
第7の態様のカメラシステム(3)は、第5又は第6の態様との組み合わせにより実現され得る。第7の態様のカメラシステム(3)は、以下に示す構成を有する。カメラシステム(3)は、複数の光源(461,462)の中から発光させる光源(461,462)を選択的に切り換える切換部(53)を更に備える。
この態様によれば、切換部(53)によって複数の光源(461,462)の中から発光させる光源(461,462)を選択的に切り換えて、撮像面(400)において解像度の高い撮像ができる領域の位置を変更することができる。
第8の態様のカメラシステム(3)は、第7の態様との組み合わせにより実現され得る。第8の態様のカメラシステム(3)は、以下に示す構成を有する。切換部(53)による、発光させる光源(461,462)の切り換えは、手動で行われる。
この態様によれば、発光させる光源(461,462)の切り換えを手動により行うことができる。
第9の態様のカメラシステム(3)は、第7又は第8の態様との組み合わせにより実現され得る。第9の態様のカメラシステム(3)は、以下に示す構成を有する。切換部(53)による、発光させる光源(461,462)の切り換えは、自動で行われる。
この態様によれば、発光させる光源(461,462)の切り換えを自動により行うことができる。
第10の態様のカメラシステム(3)は、第1〜第9のいずれか一つの態様との組み合わせにより実現され得る。第10の態様のカメラシステム(3)は、移動装置(1)に搭乗した搭乗者(91,92)を撮像する。
この態様によれば、カメラシステム(3)を用いて、移動装置(1)の搭乗者(91),(92)を撮像することができる。
また、第11の態様の搭乗者監視システム(2)は、以下に示す構成を有する。搭乗者監視システム(2)は、第10の態様のカメラシステム(3)と、カメラシステム(3)の撮像素子(40)が出力する電気信号に基づいて撮像データを取得する取得部(50)とを備える。
この態様によれば、移動装置(1)の搭乗者(91,92)を撮像して撮像データを所得して、移動装置(1)の搭乗者(91,92)を監視することができる。
また、第12の態様の移動装置(1)は、以下に示す構成を有する。搭乗者監視システム(2)は、移動装置本体(10)と、第10の態様のカメラシステム(3)とを備える。カメラシステム(3)は、移動装置本体(10)に搭乗した搭乗者(91,92)を撮像する位置に設置される。
この態様によれば、カメラシステム(3)によって移動装置本体(10)に搭乗した搭乗者(91,92)を撮像することができる。
また、第13の態様の移動装置(1)は、第12の態様との組み合わせにより実現され得る。移動装置本体(10)に搭乗した搭乗者(91,92)の顔を含む部分からの光束の主光線が、カメラシステム(3)の斜め入射領域(444)を通過する。
この態様によれば、カメラシステム(3)によって、移動装置(1)の搭乗者(91,92)の顔を適切に撮像することができる。
第14の態様の移動装置(1)は、第12又は第13の態様との組み合わせにより実現され得る。第14の態様の移動装置(1)は、以下に示す構成を有する。カメラシステム(3)の撮像用光学系(41)の光軸(OA)が、移動装置本体(10)に並んで搭乗した二人の搭乗者(91,92)の間に位置する。
この態様によれば、カメラシステム(3)によって二人の搭乗者(91,92)を同時に撮像することができる。
また、第15の態様の撮像方法は、以下に示す構成を有する。第7又は第9の態様のカメラシステム(3)を用いた撮像方法である。切換部(53)によって発光される光源(461,462)を切り換えることにより、波長フィルタ(44)を通過して撮像面(400)に至る光の波長を切り換える。
この態様によれば、切換部(53)によって発光させる光源(461,462)を切り換えることにより、撮像面(400)において解像度の高い撮像ができる領域の位置を変更することができる。
また、第16の態様のプログラムは、以下に示す構成を有する。第16の態様のプログラムは、第15の態様の撮像方法をプロセッサに実行させる。
この態様によれば、プログラムを実行することで、切換部(53)によって発光させる光源(461,462)を切り換えて、撮像面(400)において解像度の高い撮像ができる領域の位置を変更することができる。
OA 光軸
1 移動装置
10 移動装置本体
2 搭乗者監視システム
3 カメラシステム
40 撮像素子
400 撮像面
41 撮像用光学系
44 波長フィルタ
443 垂直入射領域
444 斜め入射領域
46 光源装置
461 光源
462 光源
50 取得部
53 切換部
91 搭乗者
92 搭乗者

Claims (16)

  1. 撮像面を有する撮像素子と、
    波長フィルタと、
    被写体からの光を前記波長フィルタに通して前記撮像面に結像する撮像用光学系とを備え、
    前記波長フィルタは、
    前記撮像用光学系を通過した主光線が垂直に入射する垂直入射領域と、
    前記撮像用光学系を通過した主光線が斜めに入射する斜め入射領域とを有し、
    前記撮像素子は、前記斜め入射領域を通過する主光線に対する感度が、前記垂直入射領域を通過する主光線に対する感度よりも高い、
    カメラシステム。
  2. 前記斜め入射領域を通過した主光線は、前記撮像面における中央部の周囲に照射される、
    請求項1に記載のカメラシステム。
  3. 前記撮像素子は、前記斜め入射領域を通過した主光線のうち、前記撮像面における外周部よりも内側に照射される主光線に対する感度が、前記外周部に照射される主光線に対する感度よりも高い、
    請求項1又は請求項2に記載のカメラシステム。
  4. 前記被写体に向かって光を発する光源を更に備え、
    前記光源が発する光の波長域は、前記斜め入射領域を通過する主光線の波長域のピーク波長を含む、
    請求項1〜3のいずれか1項に記載のカメラシステム。
  5. 前記被写体に向かって光を発する光源装置を更に備え、
    前記光源装置は、
    前記光源を含む複数の光源を有し、
    前記複数の光源は、ピーク波長が互いに異なる波長域の光を発する、
    請求項4に記載のカメラシステム。
  6. 前記複数の光源は、互いに異なる位置に設置される、
    請求項5に記載のカメラシステム。
  7. 前記複数の光源の中から発光させる光源を選択的に切り換える切換部を更に備えた、
    請求項5又は請求項6に記載のカメラシステム。
  8. 前記切換部による、発光させる前記光源の切り換えは、手動で行われる、
    請求項7に記載のカメラシステム。
  9. 前記切換部による、発光させる前記光源の切り換えは、自動で行われる、
    請求項7又は請求項8に記載のカメラシステム。
  10. 移動装置に搭乗した搭乗者を撮像する、
    請求項1〜9のいずれか1項に記載のカメラシステム。
  11. 請求項10に記載のカメラシステムと、
    前記カメラシステムの前記撮像素子が出力する電気信号に基づいて撮像データを取得する取得部とを備えた、
    搭乗者監視システム。
  12. 移動装置本体と、
    請求項10に記載のカメラシステムとを備え、
    前記カメラシステムは、前記移動装置本体に搭乗した搭乗者を撮像する位置に設置された、
    移動装置。
  13. 前記移動装置本体に搭乗した搭乗者の顔を含む部分からの光束の主光線が、前記カメラシステムの前記斜め入射領域を通過する、
    請求項12に記載の移動装置。
  14. 前記カメラシステムの前記撮像用光学系の光軸が、前記移動装置本体に並んで搭乗した二人の搭乗者の間に位置する、
    請求項12又は請求項13に記載の移動装置。
  15. 請求項7又は請求項9に記載のカメラシステムを用いた撮像方法であって、
    前記切換部によって発光される光源を切り換えることにより、前記波長フィルタを通過して前記撮像面に至る光の波長を切り換える撮像方法。
  16. 請求項15に記載の撮像方法をプロセッサに実行させるためのプログラム。
JP2019065093A 2019-03-28 2019-03-28 カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム Active JP7213466B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019065093A JP7213466B2 (ja) 2019-03-28 2019-03-28 カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム
US16/830,887 US11146715B2 (en) 2019-03-28 2020-03-26 Camera system, driver/passenger monitoring system, moving vehicle, image capturing method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019065093A JP7213466B2 (ja) 2019-03-28 2019-03-28 カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020166070A true JP2020166070A (ja) 2020-10-08
JP7213466B2 JP7213466B2 (ja) 2023-01-27

Family

ID=72605151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019065093A Active JP7213466B2 (ja) 2019-03-28 2019-03-28 カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム

Country Status (2)

Country Link
US (1) US11146715B2 (ja)
JP (1) JP7213466B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366311B2 (en) 2020-04-01 2022-06-21 Panasonic Intellectual Property Management Co., Ltd. Display device
US11308644B2 (en) * 2020-08-28 2022-04-19 Weta Digital Limited Multi-presence detection for performance capture
US11902671B2 (en) * 2021-12-09 2024-02-13 Fotonation Limited Vehicle occupant monitoring system including an image acquisition device with a rolling shutter image sensor

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027603A (ja) * 2005-07-21 2007-02-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2007198929A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd 車両内状態検知システム,車両内状態検知装置および方法
JP2009055107A (ja) * 2007-08-23 2009-03-12 Omron Corp 撮像装置および撮像制御方法
US20090128672A1 (en) * 2007-09-28 2009-05-21 Sharp Kabushiki Kaisha Color solid-state image capturing apparatus and electronic information device
US20160313629A1 (en) * 2013-12-23 2016-10-27 Lg Electronics Inc. Camera module
US20170257546A1 (en) * 2016-03-04 2017-09-07 Magna Electronics Inc. Vehicle camera with multiple spectral filters
JP2018022980A (ja) * 2016-08-02 2018-02-08 シャープ株式会社 監視カメラ

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01189503A (ja) * 1988-01-25 1989-07-28 Hitachi Ltd パターン検出方法及びその装置
DE69222912T2 (de) * 1991-08-29 1998-04-09 Nec Corp Lichtempfangsmodul
JPH11218690A (ja) * 1998-02-04 1999-08-10 Olympus Optical Co Ltd 落射蛍光照明光学系を備えた顕微鏡
JP4434840B2 (ja) * 2004-05-31 2010-03-17 キヤノン株式会社 照明装置および撮影装置
JP2009218341A (ja) * 2008-03-10 2009-09-24 Panasonic Corp 固体撮像装置とその製造方法
JP4598102B2 (ja) * 2008-05-28 2010-12-15 富士フイルム株式会社 撮像装置
DE102008055812B4 (de) * 2008-11-04 2011-02-17 Airbus Operations Gmbh Überkopf-Leseleuchtensystem für einen Passagiersitz
US9019349B2 (en) * 2009-07-31 2015-04-28 Naturalpoint, Inc. Automated collective camera calibration for motion capture
JP6452272B2 (ja) * 2013-02-22 2019-01-16 セイコーエプソン株式会社 分光カメラ、及び分光画像処理方法
WO2014196203A1 (ja) * 2013-06-06 2014-12-11 パナソニックIpマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム
JPWO2015025516A1 (ja) 2013-08-19 2017-03-02 日立マクセル株式会社 撮像レンズ系及びこれを備えた撮像装置
US20160119527A1 (en) * 2014-10-22 2016-04-28 Magna Electronics Inc. Vehicle vision system camera with dual filter
CN106662686B (zh) * 2015-07-28 2020-06-23 Jsr株式会社 光学滤波器、环境光传感器及电子设备
US11086013B2 (en) * 2017-05-15 2021-08-10 Ouster, Inc. Micro-optics for imaging module with multiple converging lenses per channel

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027603A (ja) * 2005-07-21 2007-02-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2007198929A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd 車両内状態検知システム,車両内状態検知装置および方法
JP2009055107A (ja) * 2007-08-23 2009-03-12 Omron Corp 撮像装置および撮像制御方法
US20090128672A1 (en) * 2007-09-28 2009-05-21 Sharp Kabushiki Kaisha Color solid-state image capturing apparatus and electronic information device
US20160313629A1 (en) * 2013-12-23 2016-10-27 Lg Electronics Inc. Camera module
US20170257546A1 (en) * 2016-03-04 2017-09-07 Magna Electronics Inc. Vehicle camera with multiple spectral filters
JP2018022980A (ja) * 2016-08-02 2018-02-08 シャープ株式会社 監視カメラ

Also Published As

Publication number Publication date
JP7213466B2 (ja) 2023-01-27
US20200314303A1 (en) 2020-10-01
US11146715B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
JP6260006B2 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
US11146715B2 (en) Camera system, driver/passenger monitoring system, moving vehicle, image capturing method, and non-transitory storage medium
WO2018159738A1 (ja) 固体撮像装置および電子機器
US20070076958A1 (en) Method and system for determining gaze direction in a pupil detection system
JP5923755B2 (ja) 奥行き推定撮像装置および撮像素子
US10725216B2 (en) Onboard camera
TW201921661A (zh) 固態成像裝置及電子設備
JP2020056839A (ja) 撮像装置
JP2008052029A (ja) 撮像システム、車両乗員検出システム、作動装置制御システム、車両
WO2018070259A1 (ja) 固体撮像素子およびその製造方法、並びに、電子機器
JP2020057869A (ja) 撮像装置
WO2020166225A1 (ja) 光源ユニット、光源装置及び測距装置
TW202043808A (zh) 攝像元件及攝像裝置
JP2018063378A (ja) 光学デバイス、光学センサ、並びに、撮像装置
CN116195065A (zh) 固态成像装置和电子设备
US20200314297A1 (en) Imaging optical system, image capture device, driver/passenger monitoring system, and moving vehicle
JP2013095315A (ja) 撮像装置内蔵ルームミラー装置及びそれを備えた車両
JP5315124B2 (ja) 車両用撮像装置および車両周辺監視装置
JP6572809B2 (ja) 画像処理装置
JP2020144048A (ja) 光源装置及び測距装置
JP2019211664A (ja) 撮像装置
JP7484904B2 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
JP4650469B2 (ja) 撮像装置及びレンズ異常診断システム
JP2015194388A (ja) 撮像装置および撮像システム
WO2022018830A1 (ja) 撮像装置及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221229

R151 Written notification of patent or utility model registration

Ref document number: 7213466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03