JP2022133121A - 撮像装置および３次元表示装置 - Google Patents

Abstract

【課題】 不要な情報が含まれることを低減した撮像画像を得ることができる撮像装置および３次元表示装置を提供する。【解決手段】 撮像装置５０は、光源１と、制御部２と、カメラ１１と、を含む。カメラ１１は、赤外光を撮像した画像を第１周期で取得して撮像画像を生成するように構成されている。ウインドシールド１５を透過した赤外光（第１光）もカメラ１１で撮像される。光源１は、赤外光を第２周期で発光するように構成されている。発光の第２周期は、撮像画像生成の第１周期より長い。制御部２は、上記の第１画像と第２画像との差分である第３画像を生成する処理を実行可能に構成される。【選択図】図１

Description

本開示は、撮像装置および３次元表示装置に関する。

車両の安全性向上および自動運転制御の補助などを目的として、車両には、運転者の状態を監視する運転者監視システムが搭載される。運転者の状態は、カメラで運転者を撮影し、その画像から運転者の姿勢、顔の動きなどに基づいて検出することができる。

特許文献１記載の装置は、赤外光のビームを運転者に発し、反射赤外線フィルムが組み込まれたフロントガラスで反射した赤外線によって運転者を赤外線カメラで撮影する。

特開２０１５－０９７０８７号公報

光学部材による反射光をカメラで撮像する場合、光学部材を透過した透過光も撮像してしまう。外光による車両外の物体の写り込みなどの不要な情報が含まれる場合、例えば、運転者監視システム等の車内情報としての利用に影響する虞が生じる。

本開示は、良好な撮像画像を得ることができる撮像装置および３次元表示装置を提供することを目的とする。

本開示の一実施形態に係る撮像装置は、カメラと、光源と、コントローラと、を含む。前記カメラは、少なくとも一部の光を透過し、少なくとも一部の光を反射する光学部材に向けられ、当該光学部材を透過した第１光と当該光学部材を反射した第２光とを撮像した画像を第１周期で取得して撮像画像を生成する。前記光源は、前記カメラが撮像可能な波長の第３光を第２周期で発光可能に構成される。コントローラは、前記撮像画像を処理可能に構成される。前記第２周期は、第１周期より長く、前記コントローラは、前記第３光の発光時に取得された撮像画像である第２画像と前記第３光の非発光時に取得された撮像画像である第３画像との差分である第４画像を生成する処理を実行可能に構成される。

本開示の一実施形態に係る３次元表示装置は、上記の撮像装置と、画像投影装置と、を備える。前記画像投影装置は、表示装置と、拡大光学系と、第３コントローラとを含む。前記表示装置は、画像光を出射する表示パネルと、透光部と減光部とが交互に並ぶ視差バリアと、を含む。拡大光学系は前記画像光を拡大し、前記第３コントローラは検出された利用者の眼の位置に基づいて前記表示装置を制御する。

本開示の一実施形態に係る３次元表示装置は、上記の撮像装置と、画像投影装置と、を備える。前記画像投影装置は、表示装置と、拡大光学系と、を含む。前記表示装置は、画像光を出射する表示パネルと、透光部と減光部とが交互に並ぶ視差バリアと、を含む。拡大光学系は前記画像光を拡大し、前記第２コントローラは検出された利用者の眼の位置に基づいて前記表示装置を制御する。

本開示の一実施形態に係る撮像装置および３次元表示装置によれば、不要な情報が含まれることを低減した撮像画像を得ることができる。

撮像装置が搭載された移動体の概略構成の一例を示す図である。 ３次元表示装置の概略構成の一例を示す図である。 運転者の眼と表示部と視差バリアとの関係を示す模式図である。 検出処理を示すフローチャートである。 ３次元表示装置の概略構成の他の例を示す図である。 実施例の撮像画像および差分画像を示す写真である。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

図１に示されるように、本開示の一実施形態に係る撮像装置５０は、移動体１０に搭載されている。撮像装置５０は、光源１と、制御部２と、カメラ１１と、を含む。移動体１０は、３次元表示装置１００を備えてよい。３次元表示装置１００は、撮像装置５０と、画像投影装置１２と、を備える。

本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。

撮像装置５０について説明する。カメラ１１は、撮像方向が移動体１０の前方を向いてよい。カメラ１１は、移動体１０に取り付けられる。カメラ１１は、移動体１０の運転者である利用者１３の眼、顔または上半身などがあると想定される空間を撮像するように構成される。カメラ１１の撮像方向は、カメラ１１の光軸方向に沿う方向であって、被写体に向かう方向である。言い換えると、撮像方向は、カメラ１１の光軸方向に沿う方向であって、入射光と反対向きの方向である。

カメラ１１の撮像方向の先には、光学部材であるウインドシールド１５が位置していてよい。ウインドシールド１５は、移動体外部からの光を透過するようにしうる。本開示では、ウインドシールド１５を透過するとカメラ１１に向かう光を第１光とする。ウインドシールド１５は、移動体内部からの光を反射しうる。本開示では、ウインドシールド１５で反射することでカメラ１１に向かう光を第２光とする。カメラ１１は、第１光と第２光とを含む合成光を撮像可能に構成されている。

移動体内部からの光の反射によってウインドシールド１５には、利用者１３が映り込みうる。第２光は、利用者１３の像を含みうる。利用者１３は、運転時に所定の範囲に位置するものとして、カメラ１１は、利用者１３が存在すると想定される空間を、ウインドシールド１５を介して撮像するように構成される。カメラ１１は、ウインドシールド１５を介して当該空間に存在する利用者１３を撮像するように構成される。カメラ１１は、ウインドシールド１５で反射した光を撮像することで、利用者１３を撮像し得る。カメラ１１は、ウインドシールド１５を介して少なくとも移動体１０の利用者１３の顔または眼を撮像するように構成されている。

カメラ１１の取り付け位置は、移動体１０の内部及び外部において任意である。例えば、カメラ１１は、移動体１０のダッシュボード内に位置してよいし、ダッシュボード上に位置してよい。例えば、カメラ１１は、エアダクト等の他のデバイス中に位置してよい。

カメラ１１は、赤外光を受光して画像を生成するように構成される赤外光カメラであってよい。カメラ１１は、赤外光カメラと可視光カメラの両方の機能を有していてよい。カメラ１１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。

光源１は、撮像可能な波長の光である第３光を発光可能に構成される。例えば、カメラ１１が、赤外光カメラであれば、光源１は、第３光として赤外光を発光可能に構成される。光源１は、利用者１３が存在すると想定される空間に向けて第３光を発光するように構成される。例えば、利用者１３が運転者であれば、利用者１３が存在すると想定される空間は、運転席上方の空間である。光源１が発光した第３光は、利用者１３で反射される。利用者１３で反射された第３光の一部は、ウインドシールド１５を介してカメラに向かう第２光の一部となりうる。第２光は、前述のようにウインドシールド１５で反射されてカメラ１１で撮像される。外光である太陽光の少なくとも一部が、ウインドシールド１５を透過する。太陽光は、赤外光も含む。カメラ１１は、ウインドシールド１５に向けられているので、ウインドシールド１５を透過した赤外光もカメラ１１で撮像されうる。すなわち、カメラ１１は、ウインドシールド１５で反射された光とウインドシールド１５を透過した光とを含む合成光を撮像することになる。後述のように、利用者１３を写した画像は、例えば、利用者１３の眼５の位置を検出する検出処理に用いられる。カメラ１１は、第１光を撮像するため、移動体１０外部の物体（例えば、人や建物、樹木など）と利用者１３が合成された画像を生成しうる。したがって、カメラ１１で撮像した撮像画像には、移動体１０内部の利用者１３と移動体１０外部の物体とが含まれうる。移動体１０外部の物体は、検出処理において不要な情報となり、検出処理の精度低下の原因となりうる。

本実施形態では、カメラ１１は、第１光と第２光とを含む合成光を撮像した画像を第１周期で取得して撮像画像を生成するように構成されている。光源１は、第３光を第２周期で発光するように構成されている。発光の第２周期は、撮像画像生成の第１周期より長い。カメラ１１は、光源１による第３光の発光時および非発光時のいずれにおいても撮像画像を取得し、発光時に取得された撮像画像を第１画像とし、非発光時に取得された撮像画像を第２画像とする。なお、発光時に取得された撮像画像は、発光中に撮像した撮像画像に限られず、発光時を含む光を蓄積して取得した撮像画像を含む。後者は、例えば、１フレーム当たりの時間に比べて発光時間が短い場合を含みうる。第１画像は、ウインドシールド１５で反射された光源１からの第３光の光量が相対的に多く、移動体１０内の被写体の明度が高く撮像されやすい。第２画像は、ウインドシールド１５で反射された光源１からの第３光の光量が相対的に少なく、移動体１０内の被写体の明度が低く撮像されやすい。ウインドシールド１５を透過した赤外光の光量は、発光時と非発光時で変わらないので、移動体１０外の物体は、第１画像と第２画像で同程度の明度で撮像される。

制御部２は、カメラ１１で取得された撮像画像を処理可能に構成される。制御部２は、上記の第１画像と第２画像との差分である第３画像を生成する処理を実行可能に構成される。第１画像と第２画像の両方には、後の検出処理で不要な情報となる移動体１０外の物体が撮像されている。第１画像と第２画像との差分である第３画像では、移動体１０外の物体の少なくとも一部が相殺されて低減され得る。このように、本実施形態の撮像装置５０は、移動体１０外の物体の映り込みを低減した撮像画像を得ることができる。

運転者１３等の観察対象は、不均一な光が照らされる虞がある。不均一な光の例としては、太陽光が左右の一方から照らされる場合などが挙げられる。制御部２は、第１画像と第２画像との差分である第３画像を生成する処理を実行可能に構成される。第３画像では、かかる不均一な光によって生じた偏りを第１画像と第２画像と差分をとることで減じうる。

カメラ１１は、第１周期で撮像画像を生成するので、光源１が発光する第２周期が、第１周期の整数倍であると、第１画像と第２画像とが、一定間隔で生成される。例えば、第２周期が、第１周期の２倍であると、第１画像と第２画像とが１つずつ交互に生成される。このとき、制御部２は、第１画像から、その第１画像より時間的に前に取得された第２画像を差し引いて、第３画像を生成する。制御部２は、第１画像から、その第１画像より時間的に後に取得された第２画像を差し引いて、第３画像を生成してもよい。後の検出処理で必要な移動体１０内の利用者１３は、第１画像で明瞭に写っている。第２画像より時間的に新しい第１画像を用いて第３画像を生成することで、より新しい利用者１３の情報を検出処理で利用することができる。

カメラ１１と光源１とは、直接的または間接的に連動して動作してよい。例えば、本実施形態のように、制御部２が、カメラ１１と光源１の両方の動作を制御する構成であれば、カメラ１１と光源１とは、共通の制御信号に基づいて動作することで、直接的に連動させることができる。制御部２は、カメラ１１と光源１の動作を制御するので、カメラ１１の撮像タイミングと、光源１の発光タイミングとから、発光時の撮像画像である第１画像と非発光時の撮像画像である第２画像とを特定可能である。

カメラ１１と光源１とが連動していなくてもよい。例えば、制御部２がカメラ１１の動作を制御し、光源１の動作を制御しない構成であってよい。制御部２は、光源１の動作を制御しないので、光源１は、独立して発光動作を行う。この場合、制御部２は、カメラ１１が第１周期で生成する撮像画像の明度に基づいて第１画像であるか第２画像であるかを判断してよい。発光時の撮像画像である第１画像は、非発光時の撮像画像である第２画像より明度が大きい。例えば、カメラ１１が生成する撮像画像ごとに、全画素の明度値を加算演算し、明度値の合計が所定値より大きい（明るい画像）場合は、第１画像であると判断し、明度値の合計が所定値以下（暗い画像）である場合は、第２画像であると判断できる。

制御部２は、カメラ１１の露光量を制御するように構成されてよい。カメラ１１の露光量は、例えば、１つの撮像画像を取得すると、その撮像画像の画素値に基づいて、次の撮像画像の露光量を決定する。本実施形態では、上記のように、光源発光時の第１画像と光源非発光時の第２画像とを取得するので、例えば、暗い画像である第２画像の画素値に基づいて、次の撮像画像である第１画像の露光量を変更する、または、明るい画像である第１画像に基づいて、次の撮像画像の第２画像の露光量を変更すると、同じ移動体１０外部の物体であっても第１画像と第２画像とで明度が異なって撮像されるおそれがある。このような場合、第１画像と第２画像の差分である第３画像において、移動体１０外部の物体が低減されず、不要な情報が残ってしまう。

本実施形態では、制御部２が、第１画像と第２画像とが同じ露光量となるように、カメラ１１を制御することで、第１画像と第２画像とで露光量が変化せず、第３画像において、不要な情報を低減することができる。制御部２は、第１画像に基づいて決定した露光量によって、第１画像と第２画像とを撮像するようにカメラ１１を制御してよい。カメラ１１は、光源発光時の明るい画像である第１画像に基づく露光量のままで暗い画像である第２画像を撮像する。第１画像に基づく露光量と同じ露光量で第２画像を撮像するので、不要な情報である移動体１０外の物体を、第１画像と第２画像ともに移動体１０内の利用者１３に比べて低い明度値で撮像することができる。制御部２によるこのような露光制御は、言い換えると、制御部２は、第２画像に基づいて露光量を制御せず、第３画像に基づいて露光量を制御しない。

ウインドシールド１５は、外部から透過する赤外光を減光するように構成されてよい。第３画像において、不要な情報である移動体１０外の物体は低減し得るが、ウインドシールド１５が赤外光を減光することで、第１画像および第２画像に含まれる移動体１０外の物体を、より低い明度で撮像することができる。第３画像において、移動体１０外の物体の一部分が残った場合であっても、その一部分は利用者１３に比べて明度が低く、検出処理における影響を小さくすることができる。

ウインドシールド１５が透過する赤外光を減光する構成は、例えば、赤外光吸収剤を含む樹脂シートを貼り付けてよく、ウインドシールド１５を構成するガラス材料に赤外光吸収剤を分散させてよい。ウインドシールド１５に赤外光吸収剤を含む樹脂シートなどを貼り付ける場合は、カメラ１１が撮像する光がウインドシールド１５で反射するときに吸収されないように、ウインドシールド１５の外面側に貼り付ければよい。

光源１は、利用者１３が存在すると想定される空間に直接的に赤外光を出射してよく、間接的に出射してよい。間接的とは、光源１から出射された光が、反射体による反射を介して利用者１３が存在すると想定される空間に到達すればよい。反射体は、鏡などの反射部材であってよく、ウインドシールド１５であってよい。ウインドシールド１５を反射体とする場合、例えば、カメラ１１が撮像する光の光路と、光源１が出射する光の光路とを近接させることができる。これにより、カメラ１１と光源１とを並べて配置することができ、撮像装置５０を小型化することができる。

制御部２は、第３画像に基づいて利用者１３を検出可能に構成してよい。制御部２は、例えば、利用者１３の顔または利用者１３の上半身などを検出して、移動体１０の運転状態を取得することができる。例えば、制御部２は、運転状態として、利用者１３の顔の向き、顔の動きなどから、脇見運転をしているかどうかを取得することができる。例えば、制御部２は、運転状態として、利用者１３の上半身の動きなどから、居眠り運転をしているかどうかを取得することができる。

制御部２は、第３画像に基づいて利用者１３の眼５の位置を検出可能に構成してよい。撮像装置５０は、検出した眼５の位置に関する位置情報を画像投影装置１２に出力するように構成してよい。この位置情報に基づいて、画像投影装置１２は、投影する画像を制御するように構成してよい。撮像装置５０は、有線又は無線を介して眼５の位置を示す情報を画像投影装置１２へ出力するように構成してよい。有線は、例えばＣＡＮ（Controller Area Network）等を含みうる。

前述のように、第３画像は、不要な情報である移動体１０外の物体が低減されており、第３画像に基づいて利用者１３の検出処理または利用者１３の眼の位置の検出処理において、検出精度を向上させることができる。

制御部２は、第３画像を出力可能に構成してよい。制御部２から出力された第３画像に基づいて、制御部２以外の制御部（第２コントローラ）が、利用者１３の眼の位置を検出可能に構成してよい。撮像装置５０は、第１画像と第２画像とから第３画像を生成する生成処理と、第３画像に基づいて利用者１３の眼の位置を検出する検出処理とを、異なる制御部が分担して実行してよい。撮像装置５０は、生成処理と検出処理とを並列てきに実行することができる。

撮像装置５０は、第３画像を外部装置に出力してよい。この外部装置は、出力された第３画像から、利用者１３の眼５の位置を検出するように構成されてよい。この外部装置は、検出した眼５の位置に関する位置情報を画像投影装置１２に出力するように構成してよい。この位置情報に基づいて、画像投影装置１２は、投影する画像を制御するように構成してよい。撮像装置５０は、有線又は無線を介して撮像した画像を外部装置へ出力するように構成してよい。外部装置は、有線又は無線を介して撮像した画像を画像投影装置１２へ出力するように構成してよい。有線は、例えばＣＡＮ等を含みうる。

撮像装置５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。制御部２は、センサによって利用者１３の頭部の位置を検出するように構成され、頭部の位置に基づいて、利用者１３の眼５の位置を検出するように構成されうる。制御部２は、２つ以上のセンサによって、利用者１３の眼５の位置を三次元空間の座標として検出するように構成されうる。

３次元表示装置１００について説明する。３次元表示装置１００は、撮像装置５０と、画像投影装置１２と、を備える。画像投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、画像投影装置１２は、移動体１０のダッシュボード内に位置してよい。画像投影装置１２は、ウインドシールド１５に向けて画像光を射出するように構成される。画像光は、例えば、筐体１２０に設けられた開口を通って射出されてよい。

ウインドシールド１５は、画像投影装置１２から射出された画像光を反射するように構成される。ウインドシールド１５で反射された画像光は、アイボックス１６に到達する。アイボックス１６は、例えば利用者１３の体格、姿勢、及び姿勢の変化等を考慮して、利用者１３の眼５が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的または立体的な領域を含んでよい。図１に示されている実線の矢印は、画像投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。利用者１３の眼５がアイボックス１６内に位置する場合、利用者１３は、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド１５から眼５に到達する経路を前方に延長した、一点鎖線で示されている線の上に位置する。画像投影装置１２は、利用者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、利用者１３の眼５が並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。カメラ１１の撮像範囲は、アイボックス１６を含む。

図２に示されるように、画像投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示部２０と、視差バリア２１と、制御部２４とを備えうる。３次元表示装置１７は、通信部２２をさらに備えてよい。３次元表示装置１７は、記憶部２３をさらに備えてよい。画像投影装置１２は、例えば、筐体１２０を備えてよい。筐体１２０内には、３次元表示装置１７と、光学素子１８とが収容される。

光学素子１８は、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。図２に示される一点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、画像投影装置１２の外部に射出される際の経路を示す。画像投影装置１２の外部に射出された画像光は、ウインドシールド１５に到達し、ウインドシールド１５で反射されて利用者１３の眼５に到達する。その結果、利用者１３は、３次元表示装置１７に表示された画像を視認できる。

光学素子１８とウインドシールド１５とは、３次元表示装置１７から射出させる画像光を利用者１３の眼５に到達させうるように構成される。光学素子１８は、画像光を拡大する拡大光学系として機能してよい。光学素子１８とウインドシールド１５とは、光学系３０を構成してよい。言い換えれば、光学系３０は、光学素子１８とウインドシールド１５とを含む。光学系３０は、３次元表示装置１７から射出される画像光を一点鎖線で示されている光路に沿って利用者１３の眼５に到達させるように構成される。光学系３０は、利用者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系３０は、利用者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。

光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。

バックライト１９は、画像光の光路上において、利用者１３から見て、表示部２０及び視差バリア２１よりも遠い側に位置する。バックライト１９は、視差バリア２１と表示部２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、利用者１３の眼５に到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。

表示部２０は、表示パネルを含む。表示部２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示部２０は、透過型の液晶表示パネルを含むとする。表示部２０は、この例に限られず、種々の表示パネルを含んでよい。

表示部２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を制御し、利用者１３の眼５に到達する画像光として射出するように構成される。利用者１３は、表示部２０の各画素から射出される画像光によって構成される画像を視認する。

視差バリア２１は、入射してくる光の進行方向を規定するように構成される。視差バリア２１が表示部２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、視差バリア２１に入射し、さらに表示部２０に入射する。この場合、視差バリア２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部２０に向けて透過させるように構成される。表示部２０は、視差バリア２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部２０が視差バリア２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示部２０に入射し、さらに視差バリア２１に入射する。この場合、視差バリア２１は、表示部２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を利用者１３の眼５に向けて透過させるように構成される。

表示部２０と視差バリア２１とのどちらが利用者１３の近くに位置するかにかかわらず、視差バリア２１は、画像光の進行方向を制御できるように構成される。視差バリア２１は、表示部２０から射出される画像光の一部を利用者１３の左眼５Ｌ及び右眼５Ｒ（図３参照）のいずれかに到達させ、画像光の他の一部を利用者１３の左眼５Ｌ及び右眼５Ｒの他方に到達させるように構成される。つまり、視差バリア２１は、画像光の少なくとも一部の進行方向を利用者１３の左眼５Ｌと右眼５Ｒとに分けるように構成される。左眼５Ｌ及び右眼５Ｒはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、視差バリア２１は、バックライト１９と表示部２０との間に位置する。つまり、バックライト１９から射出される光は、先に視差バリア２１に入射し、次に表示部２０に入射する。

視差バリア２１によって画像光の進行方向が規定されることによって、利用者１３の左眼５Ｌ及び右眼５Ｒそれぞれに異なる画像光が到達しうる。その結果、利用者１３は、左眼５Ｌ及び右眼５Ｒそれぞれで異なる画像を視認しうる。

図３に示されるように、表示部２０は、表示面２０ａ上に、利用者１３の左眼５Ｌで視認される左眼視認領域２０１Ｌと、利用者１３の右眼５Ｒで視認される右眼視認領域２０１Ｒとを含む。表示部２０は、利用者１３の左眼５Ｌに視認させる左眼画像と、利用者１３の右眼５Ｒに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、利用者１３の左眼５Ｌ及び右眼５Ｒそれぞれに投影される画像であって、利用者１３の両眼に視差を与える画像であるとする。表示部２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示部２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、利用者１３の眼５に視差を与えず、立体視されない画像であるとする。

図３に示されるように、視差バリア２１は、開口領域２１ｂと、遮光面２１ａとを有する。視差バリア２１が、画像光の光路上において、利用者１３から見て表示部２０よりも近い側に位置する場合、視差バリア２１は、表示部２０から射出される画像光の透過率を制御するように構成される。開口領域２１ｂは、表示部２０から視差バリア２１に入射する光を透過させるように構成される。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、表示部２０から視差バリア２１に入射する光を遮るように構成される。遮光面２１ａは、第２所定値以下の透過率で光を透過させてよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値より大きい。

開口領域２１ｂと遮光面２１ａとは、視差方向を表すｕ軸方向に交互に並ぶとする。開口領域２１ｂと遮光面２１ａとの境界は、図４に例示されているように視差方向に直交するｖ軸方向に沿ってよいし、ｖ軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域２１ｂと遮光面２１ａとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。

本実施形態では、視差バリア２１は、画像光の光路上において、利用者１３から見て表示部２０よりも遠い側に位置している。視差バリア２１は、バックライト１９から表示部２０に向けて入射する光の透過率を制御するように構成される。開口領域２１ｂは、バックライト１９から表示部２０に向けて入射する光を透過させるように構成される。遮光面２１ａは、バックライト１９から表示部２０に入射する光を遮るように構成される。このようにすることで、表示部２０に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、視差バリア２１によって利用者１３の左眼５Ｌに到達するように制御されうる。画像光の他の一部は、視差バリア２１によって利用者１３の右眼５Ｒに到達するように制御されうる。

視差バリア２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。視差バリア２１が液晶シャッターで構成される場合、開口領域２１ｂは、第１所定値以上の透過率を有してよい。視差バリア２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有してよい。第１所定値は、第２所定値より高い値に設定されてよい。第１所定値に対する第２所定値の比率は、一例では、１／１００に設定されてよい。第１所定値に対する第２所定値の比率は、他の例では、１／１０００に設定されてもよい。開口領域２１ｂと遮光面２１ａとの形状が変更可能に構成される視差バリア２１は、アクティブバリアとも称される。

制御部２４は、表示部２０を制御するように構成される。視差バリア２１がアクティブバリアである場合、制御部２４は、視差バリア２１を制御するように構成してよい。制御部２４は、バックライト１９を制御するように構成してよい。制御部２４は、撮像装置５０から利用者１３の眼５の位置に関する位置情報を取得し、その位置情報に基づいて表示部２０を制御するように構成される。このような構成では、制御部２４は、第３コントローラである。制御部２４は、位置情報に基づいて視差バリア２１、及びバックライト１９の少なくとも一方を制御するように構成されうる。制御部２４は、撮像装置５０から出力された第３画像を受信し、受信した第３画像から利用者１３の眼５を検出してよい。制御部２４は、検出した眼５の位置に基づいて表示部２０を制御するように構成されてよい。制御部２４は、検出した眼５の位置に基づいて、視差バリア２１及びバックライト１９の少なくとも一報を制御するように構成されうる。このような構成では、制御部２４は、第２コントローラである。

制御部２４は、例えばプロセッサとして構成される。制御部２４は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２４は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

通信部２２は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えばカメラ１１を含んでよい。通信部２２は、カメラ１１から情報を取得し、制御部２４に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、又はＲＣＡ端子に対応するコネクタを含んでよい。電気コネクタは、ＥＩＡＪ ＣＰ－１２１ａＡに規定されるＳ端子に対応するコネクタ、又はＥＩＡＪ ＲＣ－５２３７に規定されるＤ端子に対応するコネクタを含んでよい。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、又はＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

記憶部２３は、各種情報、又は３次元表示装置１７の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部２３は、例えば半導体メモリ等で構成されてよい。記憶部２３は、制御部２４のワークメモリとして機能してよい。記憶部２３は、制御部２４に含まれてよい。

図３に示されるように、バックライト１９から射出された光は、視差バリア２１と表示部２０とを透過して利用者１３の眼５に到達する。バックライト１９から射出された光が眼５に到達するまでの経路は、破線で表されている。視差バリア２１の開口領域２１ｂを透過して右眼５Ｒに到達する光は、表示部２０の右眼視認領域２０１Ｒを透過する。つまり、右眼５Ｒは、開口領域２１ｂを透過した光によって右眼視認領域２０１Ｒを視認できる。視差バリア２１の開口領域２１ｂを透過して左眼５Ｌに到達する光は、表示部２０の左眼視認領域２０１Ｌを透過する。つまり、左眼５Ｌは、開口領域２１ｂを透過した光によって左眼視認領域２０１Ｌを視認できる。

表示部２０は、右眼視認領域２０１Ｒ及び左眼視認領域２０１Ｌに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、視差バリア２１は、左眼画像に係る画像光を左眼５Ｌに到達させ、右眼画像に係る画像光を右眼５Ｒに到達させるように構成される。つまり、開口領域２１ｂは、左眼画像に係る画像光を利用者１３の左眼５Ｌに到達させ、右眼画像に係る画像光を利用者１３の右眼５Ｒに到達させるように構成される。このようにすることで、３次元表示装置１７は、利用者１３の両眼に対して視差画像を投影できる。利用者１３は、左眼５Ｌと右眼５Ｒとで視差画像を見ることによって、画像を立体視できる。

視差バリア２１の開口領域２１ｂを透過し、表示部２０の表示面２０ａから射出された画像光の少なくとも一部は、光学素子１８を介してウインドシールド１５に到達する。画像光は、ウインドシールド１５で反射されて利用者１３の眼５に到達する。これにより、利用者１３の眼５はウインドシールド１５よりもｚ軸の負の方向の側に位置する第１虚像１４ａを視認できる。第１虚像１４ａは、表示面２０ａが表示している画像に対応する。視差バリア２１の開口領域２１ｂと遮光面２１ａとは、ウインドシールド１５の前方であって第１虚像１４ａのウインドシールド１５側に第２虚像１４ｂをつくる。図２に示すように、利用者１３は、見かけ上、第１虚像１４ａの位置に表示部２０が存在し、第２虚像１４ｂの位置に視差バリア２１が存在するかのように、画像を視認しうる。

表示面２０ａに表示される画像に係る画像光は、視差バリア２１によって規定される方向に向けて、３次元表示装置１７から射出される。光学素子１８は、ウインドシールド１５に向けて射出するように構成される。光学素子１８は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド１５は、画像光を反射し、利用者１３の眼５に向けて進行させるように構成される。画像光が利用者１３の眼５に入射することによって、利用者１３は、視差画像を虚像１４として視認する。利用者１３は、虚像１４を視認することによって立体視できる。虚像１４のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系３０を介して投影される視差画像であるともいえる。虚像１４のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系３０を介して投影される平面画像であるともいえる。

図４は、検出処理を示すフローチャートである。３次元表示装置１００は、検出処理を、例えば、３次元表示装置１００の起動時（電源オン時）に開始してよい。まず、ステップＳ１において、非発光時に撮像して第２画像を取得する。ステップＳ２において、発光時に撮像して第１画像を取得する。ステップＳ３において、第１画像と第２画像との差分である第３画像を生成する。ステップＳ４では、第３画像に基づいて、利用者１３を検出する。第３画像は、移動体１０内の不要な情報を削除されているので、これを用いた検出処理では、検出精度を向上させることができる。

図５は、３次元表示装置１００の概略構成の他の例を示す図である。撮像装置５０は、光源１と、カメラ１１と、制御部２とを備える。画像投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元表示装置１７は、バックライト１９と、表示部２０と、視差バリア２１と、制御部２とを備える。本実施形態では、撮像装置５０の制御部２が、画像投影装置１２の制御部でもある。この構成では、撮像装置５０のコントローラである制御部が、画像投影装置１２の第３コントローラである制御部を兼ねている。

撮像装置５０は、さらに次のような構成を含んでいてよい。不要な情報である、移動体１０外の物体が、移動体１０から距離が比較的遠いもの（ビルなどの建造物）、距離が比較的近くても移動速度の小さいもの（道路脇の電柱など）は、第１画像と第２画像とで同じ位置で撮像される。第１画像と第２画像とは、例えば、１／６０秒の速度で撮像されるので、第１画像と第２画像との撮像間隔では、移動することなく同じ位置で撮像される。移動体１０外の物体が、移動体１０からの距離が比較的近くて移動速度の大きいもの（すれ違う他の移動体など）は、第１画像と第２画像とで異なる位置で撮像されるおそれがある。第３画像において、移動体１０外の物体が低減されずに残ってしまう。制御部２は、例えば、過去の複数枚の撮像画像に基づいて、画像内で移動する物体の移動先を予測し、第１画像と第２画像との差分から第３画像を生成するときに、時間的に後に撮像される画像において、物体が予測した移動先に位置するように画像を補正し、補正した画像を用いて第３画像を生成してよい。生成された第３画像では、移動体１０外の物体は低減される。

（実施例）
撮像装置５０の差分画像（第３画像）生成処理の実施例について説明する。移動体１０に撮像装置５０を搭載し、運転者である利用者１３を撮像した。撮像条件を以下に示す。
・光 源：京セラ株式会社内製光源 （発光周期 毎秒３０回）
・カ メ ラ：京セラ株式会社内製カメラ （撮像周期 毎秒６０フレーム）
・差分処理：京セラ株式会社内製ＰＣソフトウエア

図６は、実施例の撮像画像および差分画像を示す写真である。図６（ａ）は、光源発光時の撮像画像である第１画像を示す。図６（ｂ）は、光源非発光時の撮像画像である第２画像を示す。図６（ｃ）は、差分画像である第３画像を示す。本例では、図６（ａ）の第１画像では、画像中央に、移動体１０内の利用者１３が光源１の光に照らされて、高い明度で写っており、画像向かって左側には、移動体１０外の建物も写っている。この建物は、検出処理において、不要な情報となる。図６（ｂ）の第２画像では、光源１が非発光であるので、移動体１０内の利用者１３は、視認できない程度に明度が低い。建物は、外光（太陽光）によって撮像されたものであるので、光源１が非発光であっても、第１画像と同程度の明度で写っている。図６（ｃ）の第３画像では、第１画像と第２画像との差分により、利用者１３は画像中央に残っており、画像向かって左側に建物は残っておらず、不要な情報である建物が低減されていることがわかる。

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１眼は、識別子である「第１」を、第２眼の識別子「第２」と交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載は、それのみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用されるものではない。

本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。

１ 光源
２ 制御部
５ 眼（５Ｌ：左眼、５Ｒ：右眼）
１０ 移動体
１１ カメラ
１２ 画像投影装置
１３ 利用者
１４ 虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
１５ ウインドシールド
１６ アイボックス
１７ ３次元表示装置
１８ 光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
１９ バックライト
２０ 表示部（２０ａ：表示面）
２０１Ｌ 左眼視認領域
２０１Ｒ 右眼視認領域
２１ 視差バリア（２１ａ：遮光面、２１ｂ：開口領域）
２２ 通信部
２３ 記憶部
２４ 制御部
３０ 光学系
５０ 撮像装置
１００ ３次元表示装置
１２０ 筐体

Claims (19)

1. 少なくとも一部の光を透過し、少なくとも一部の光を反射する光学部材に向けられ、当該光学部材を透過した第１光と当該光学部材で反射した第２光とを撮像した画像を第１周期で取得して撮像画像を生成するカメラと、
   前記カメラが撮像可能な波長の第３光を第２周期で発光可能に構成される光源と、
   前記撮像画像を処理可能に構成されるコントローラと、を含み、
   前記第２周期は、第１周期より長く、
   前記コントローラは、前記第３光の発光時に取得された撮像画像である第１画像と前記第３光の非発光時に取得された撮像画像である第２画像との差分である第３画像を生成する処理を実行可能に構成される、撮像装置。
2. 請求項１記載の撮像装置であって、
   前記第２周期は、前記第１周期の整数倍である、撮像装置。
3. 請求項１または２記載の撮像装置であって、
   前記光源は、前記カメラと直接的または間接的に連動して動作するように構成される、撮像装置。
4. 請求項３記載の撮像装置であって、
   前記光源と前記カメラとは、共通の制御信号に基づいて動作するように構成される、撮像装置。
5. 請求項１～４のいずれか１項に記載の撮像装置であって、
   前記光源は、利用者が存在すると想定される空間に向けて前記第３光を発光するように構成される、撮像装置。
6. 請求項５記載の撮像装置であって、
   前記光源は、前記光学部材による反射を介して、利用者が存在すると想定される空間に向けて前記第３光を発光するように構成される、撮像装置。
7. 請求項１～６のいずれか１項に記載の撮像装置であって、
   前記第３画像は、前記第１画像から前記第２画像を差し引いた画像である、撮像装置。
8. 請求項７記載の撮像装置であって、
   前記コントローラは、前記第１画像から、当該第１画像より前に取得された前記第２画像を差し引いて、前記第３画像を生成する処理を実行可能に構成される、撮像装置。
9. 請求項１～８のいずれか１項に記載の撮像装置であって、
   前記第１画像と、当該第１画像より前に取得された前記第２画像とは、同じ露光量で撮像された画像である、撮像装置。
10. 請求項１～９のいずれか１項に記載の撮像装置であって、
    前記コントローラは、前記第１画像に基づいて前記カメラの露光量を制御するように構成される、撮像装置。
11. 請求項１０記載の撮像装置であって、
    前記コントローラは、前記第２画像に基づいて前記カメラの露光量を制御しないように構成される、撮像装置。
12. 請求項１０または１１記載の撮像装置であって、
    前記コントローラは、前記第３画像に基づいて前記カメラの露光量を制御しないように構成される、撮像装置。
13. 請求項１～１２のいずれか１項に記載の撮像装置であって、
    前記光学部材は、前記第１光を減光するように構成される、撮像装置。
14. 請求項１～１３のいずれか１項に記載の撮像装置であって、
    前記コントローラは、前記第３画像に基づいて利用者を検出可能に構成される、撮像装置。
15. 請求項１～１４のいずれか１項に記載の撮像装置であって、
    前記コントローラは、前記第３画像に基づいて利用者の眼の位置を検出可能に構成される、撮像装置。
16. 請求項１～１３のいずれか１項に記載の撮像装置であって、
    前記コントローラは、前記第３画像を出力可能に構成され、
    前記コントローラから出力された前記第３画像に基づいて利用者の眼の位置を検出可能に構成される第２コントローラをさらに含む、撮像装置。
17. 請求項１５記載の撮像装置と、
    前記光学部材に向けて画像光を投光する画像投影装置と、を備え、
    前記画像投影装置は、
    前記画像光として表示画像を投光するように構成される表示装置と、
    前記画像光を拡大する拡大光学系と、
    前記表示装置を制御する第３コントローラと、を含み、
    前記表示装置は、
    前記画像光を出射する表示パネルと、
    透光部と減光部とが交互に並ぶ視差バリアと、を含み、
    前記第３コントローラは、検出された利用者の眼の位置に基づいて前記表示装置を制御する、３次元表示装置。
18. 請求項１７記載の３次元表示装置であって、
    前記コントローラが、前記第３コントローラを兼ねる、３次元表示装置。
19. 請求項１６記載の撮像装置と、
    前記光学部材に向けて画像光を投光する画像投影装置と、を備え、
    前記画像投影装置は、
    前記画像光として表示画像を投光するように構成される表示装置と、
    前記画像光を拡大する拡大光学系と、を含み、
    前記表示装置は、
    前記画像光を出射する表示パネルと、
    透光部と減光部とが交互に並ぶ視差バリアと、を含み、
    前記第２コントローラは、検出された利用者の眼の位置に基づいて前記表示装置を制御する、３次元表示装置。

Images