JP2018106001A - 撮像装置、車載カメラ、および移動体 - Google Patents

撮像装置、車載カメラ、および移動体 Download PDF

Info

Publication number
JP2018106001A
JP2018106001A JP2016251971A JP2016251971A JP2018106001A JP 2018106001 A JP2018106001 A JP 2018106001A JP 2016251971 A JP2016251971 A JP 2016251971A JP 2016251971 A JP2016251971 A JP 2016251971A JP 2018106001 A JP2018106001 A JP 2018106001A
Authority
JP
Japan
Prior art keywords
optical system
image
imaging
image sensor
optical path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016251971A
Other languages
English (en)
Inventor
伊藤 充
Mitsuru Ito
充 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2016251971A priority Critical patent/JP2018106001A/ja
Publication of JP2018106001A publication Critical patent/JP2018106001A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Cameras In General (AREA)
  • Diaphragms For Cameras (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】バックフォーカスの制約を生じること無く画像光を分割して撮像する。【解決手段】撮像装置10は第1のサブ光学系12とビームスプリッタ13と第1の分岐光学系14と第2の分岐光学系15と第1の撮像素子18と第2の撮像素子19とを有する。ビームスプリッタ13は第1のサブ光学系12の光路上に位置する。ビームスプリッタ13は第1のサブ光学系12が出射する光を第1の光路Op1および第2の光路Op2に分割する。第1の分岐光学系14は第1の光路Op1上に位置する。第2の分岐光学系15は第2の光路Op2上に位置する。第1の撮像素子18は第1の分岐光学系14を通過した画像光を撮像する。第2の撮像素子19は第2の分岐光学系15を通過した画像光を撮像する。【選択図】図2

Description

本発明は、撮像装置、車載カメラ、および移動体に関するものである。
光学系により結像する画像光をビームスプリッタで分割して、分割されたそれぞれの画像光を、別々の撮像素子に撮像させることにより、多様な機能が発揮され得る。例えば、分割されたそれぞれの画像光を高解像度の撮像素子および低解像度の撮像素子にそれぞれ撮像させ、高解像度の撮像素子からは高解像度の輝度信号を生成させ、低解像度の撮像素子からは低解像度のRGB信号を生成させ、当該輝度信号および当該RGB信号を用いた内挿処理により高解像度のRGB信号を生成させることが提案されている(特許文献1参照)。
特開2006−246295号公報
画像光をビームスプリッタで分割するためには、光学系による結像前の光束をビームスプリッタの分割面に入射させることが必要である。しかし、広角レンズのように、バックフォーカスの短い光学系を用いる構成においては、結像前の光束を当該分割面に入射させることが困難となり得る。それゆえ、特許文献1の構成では、撮影レンズのバックフォーカスに下限値があり、光学系の設計に制約を生じていた。
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、バックフォーカスの制約を生じること無く、画像光を分割して撮像可能な撮像装置、車載カメラ、および移動体を提供することにある。
上述した諸課題を解決すべく、第1の観点による撮像装置は、
第1のサブ光学系と、
前記第1のサブ光学系の光路上に位置し、前記第1のサブ光学系が出射する光を第1の光路および第2の光路を伝播する光に分割するビームスプリッタと、
前記第1の光路上に位置する第1の分岐光学系と、
前記第2の光路上に位置する第2の分岐光学系と、
前記第1の分岐光学系を通過した画像光を撮像する第1の撮像素子と、
前記第2の分岐光学系を通過した画像光を撮像する第2の撮像素子と、を備える。
また、第2の観点による車載カメラは、
第1のサブ光学系と、
前記第1のサブ光学系の光路上に位置し、前記第1のサブ光学系が出射する光を第1の光路および第2の光路を伝播する光に分割するビームスプリッタと、
前記第1の光路上に位置する第1の分岐光学系と、
前記第2の光路上に位置する第2の分岐光学系と、
前記第1の分岐光学系を通過した画像光を撮像する第1の撮像素子と、
前記第2の分岐光学系を通過した画像光を撮像する第2の撮像素子と、を備える。
また、第3の観点による移動体は、
第1のサブ光学系と、
前記第1のサブ光学系の光路上に位置し、前記第1のサブ光学系が出射する光を第1の光路および第2の光路を伝播する光に分割するビームスプリッタと、
前記第1の光路上に位置する第1の分岐光学系と、
前記第2の光路上に位置する第2の分岐光学系と、
前記第1の分岐光学系を通過した画像光を撮像する第1の撮像素子と、
前記第2の分岐光学系を通過した画像光を撮像する第2の撮像素子と、を有する車載カメラを備える。
上記のように構成された本開示に係る撮像装置、車載カメラ、および移動体によれば、バックフォーカスの制約を生じること無く、画像光を分割して撮像可能である。
本開示の第1の実施形態に係る撮像装置の移動体への搭載位置を示す配置図である。 第1の実施形態に係る撮像装置の構成を示す機能ブロック図である。 第1の実施形態に係る撮像装置の制御部が実行する第1の駆動処理を説明するためのフローチャートである。 第1の実施形態に係る撮像装置の画像処理部が実行する異常判別処理を説明するためのフローチャートである。 第2の実施形態に係る撮像装置の構成を示す機能ブロック図である。 第2の実施形態に係る撮像装置の制御部が実行する第2の駆動処理を説明するためのフローチャートである。 第3の実施形態に係る撮像装置の画像処理部が実行する画像選択処理を説明するためのフローチャートである。 第4の実施形態に係る撮像装置の画像処理部が実行する合成処理を説明するためのフローチャートである。 第5の実施形態に係る撮像装置の構成を示す機能ブロック図である。 第5の実施形態に係る撮像装置の制御部が実行する第3の駆動処理を説明するためのフローチャートである。 第1の実施形態に係る撮像装置の第1の変形例の構成を示す機能ブロック図である。 第1の実施形態に係る撮像装置の第2の変形例の構成を示す機能ブロック図である。
以下、本開示の一実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置10は、例えば車載カメラであり、図1に示すように、移動体11に搭載されている。撮像装置10は、移動体11のいずこに搭載されていてよいが、本実施形態においては、例えば、後方の光景を撮像可能に、移動体11の両側面に搭載されている。
移動体11は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
図2に示すように、撮像装置10は、第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、第2の撮像素子19、制御部20、および画像処理部21を含む。
第1のサブ光学系12はレンズおよびミラーなどの光学素子を有する。第1のサブ光学系12は、ビームスプリッタ13と第1の分岐光学系14または第2の分岐光学系15とともに、撮像装置10の外側から入射する被写体光束を結像させる。
ビームスプリッタ13は、第1のサブ光学系12の光路上に設けられている。ビームスプリッタ13は、第1のサブ光学系12が出射する被写体光束を第1の光路Op1および第2の光路Op2を伝播する光に分割する。ビームスプリッタ13は、本実施形態においてはハーフミラーである。
第1の分岐光学系14は、レンズおよびミラーなどの光学素子と第1の絞り22とを有する。第1の分岐光学系14は、ビームスプリッタ13による第1の光路Op1上に設けられている。第1の分岐光学系14は、第1のサブ光学系12およびビームスプリッタ13とともに第1の全体光学系を構成する。第1の全体光学系は、被写体光束を第1の像面Is1に結像させる。
なお、第1の像面Is1は、第1の全体光学系の第1の温度(所定の温度)における所定の物体面に対する結像位置である。第1の温度は、例えば、撮像装置10の使用位置における日中の年間平均気温などである。所定の物体面は、例えば、撮像装置10の使用位置における、ボケの少ない被写体像の撮像が求められる距離だけ撮像装置10から離れた位置などである。
第1のサブ光学系12および第1の分岐光学系14は、第1の全体光学系が所望の光学特性を満たすように、設計され、製造されている。なお、本実施形態では、第1の分岐光学系14のバックフォーカスが第1の撮像素子18のイメージサークルの直径より短い。
第2の分岐光学系15は、レンズおよびミラーなどの光学素子と第2の絞り23とを有する。第2の分岐光学系15は、ビームスプリッタ13による第2の光路Op2上に設けられている。第2の分岐光学系15は、第1のサブ光学系12およびビームスプリッタ13とともに第2の全体光学系を構成する。第2の全体光学系は、被写体光束を第2の像面Is2に結像させる。
なお、第2の像面Is2は、第2の全体光学系の第1の温度における所定の物体面に対する結像位置である。第1の温度は、例えば、撮像装置10の使用位置における日中の年間平均気温などである。所定の物体面は、例えば、撮像装置10の使用位置における、ボケの少ない被写体像の撮像が求められる距離だけ撮像装置10から離れた位置などである。
第1のサブ光学系12および第2の分岐光学系15は、第2の全体光学系が所望の光学特性を満たすように、設計され、製造されている。なお、本実施形態では、第2の分岐光学系15のバックフォーカスが第2の撮像素子19のイメージサークルの直径より短い。
第1の光学フィルタ16は、第1の光路Op1上、本実施形態においては、第1の分岐光学系14および第1の撮像素子18の間に設けられている。第1の光学フィルタ16は、本実施形態においては、IRカットフィルタである。
第2の光学フィルタ17は、第2の光路Op2上、本実施形態においては、第2の分岐光学系15および第2の撮像素子19の間に設けられている。第2の光学フィルタ17は、本実施形態においては、IRカットフィルタである。
第1の撮像素子18は、例えば、CCD(Charge Coupled Device)イメージセンサ、およびCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。第1の撮像素子18は、受光面が第1の像面Is1に一致するように配置されている。第1の撮像素子18は、第1の分岐光学系14を通過して第1の像面Is1に結像する被写体の画像光を撮像して、第1の画像信号を生成する。
第2の撮像素子19は、例えば、CCDイメージセンサ、およびCMOSイメージセンサである。第2の撮像素子19は、受光面が第2の像面Is2に一致するように配置されている。第2の撮像素子19は、第2の分岐光学系15を通過して第2の像面Is2に結像する被写体の画像光を撮像して、第2の画像信号を生成する。
制御部20は、1以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field−Programmable Gate Array)を含んでよい。制御部20は、1つまたは複数のプロセッサが協働するSoC(System−on−a−Chip)、およびSiP(System In a Package)のいずれかであってもよい。
制御部20は、第1の撮像素子18および第2の撮像素子19をそれぞれ駆動して、第1の画像信号および第2の画像信号を生成させる。制御部20は、画像処理部21から、後述するように、第1の撮像素子18の異常を判別した判別結果を取得する。制御部20は、第1の撮像素子18に異常がないという判別結果を取得するとき、第1の撮像素子18に撮像を実行させ、第2の撮像素子19に撮像を停止させる。また、制御部20は、第1の撮像素子18に異常があるという判別結果を取得するとき、第1の撮像素子18に撮像を停止させ、第2の撮像素子19に撮像を実行させる。制御部20は、第1の撮像素子18に異常が発生していると判別した後、判別結果をリセットする入力を認識するとき、第1の撮像素子18による撮像を再開させる。
画像処理部21は、1以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、ASICを含んでよい。プロセッサは、PLDを含んでよい。PLDは、FPGAを含んでよい。画像処理部21は、1つまたは複数のプロセッサが協働するSoC、およびSiPのいずれかであってもよい。
画像処理部21は、第1の撮像素子18および第2の撮像素子19からそれぞれ第1の画像信号および第2の画像信号を取得し、画像処理を施す。画像処理部21は、画像処理を施した第1の画像信号および第2の画像信号を、例えば表示装置などに向けて出力する。
また、画像処理部21は、第1の画像信号に基づいて、第1の撮像素子18の異常の有無を判別する。例えば、画像処理部21は、生成時期の異なる、すなわちフレームの異なる第1の画像信号が同一であるとき、第1の撮像素子18に異常が発生していると判別する。また、例えば、画像処理部21は、制御部20が第1の撮像素子18を駆動しながら、第1の画像信号が送信されないとき、第1の撮像素子18に異常が発生していると判別する。
画像処理部21は、判別結果を制御部20に通知する。画像処理部21は、第1の撮像素子18に異常が発生していると判別するとき、第1の画像信号の出力を停止し、第2の画像信号を出力する。画像処理部21は、第1の撮像素子18に異常が発生していないと判別するとき、第1の画像信号を出力し、第2の画像信号の出力を停止する。
次に、第1の実施形態において制御部20が実行する、第1の駆動処理について、図3のフローチャートを用いて説明する。第1の駆動処理は、移動体11のエンジンおよびモータなどの原動機を起動させるとき開始する。第1の駆動処理は、原動機の駆動を停止するとき終了する。
ステップS100において、制御部20は、第1の撮像素子18を駆動して、異常判別に用いるために撮像を実行させる。駆動後、プロセスはステップS101に進む。
ステップS101において、制御部20は、異常判別の判別結果を画像処理部21から取得する。取得後、プロセスはステップS102に進む。
ステップS102では、制御部20は、ステップS101において取得した判別結果に基づいて、第1の撮像素子18に異常があるか否かを判別する。異常がないとき、プロセスはステップS103に進む。異常があるとき、プロセスはステップS104に進む。
ステップS103では、制御部20は、第1の撮像素子18を駆動して撮像を実行させる。また、制御部20は、第2の撮像素子19を停止させる。駆動および停止後、プロセスはステップS101に戻る。
ステップS104では、制御部20は、第1の撮像素子18を停止させる。また、制御部20は、第2の撮像素子19を駆動して撮像を実行させる。駆動および停止後、プロセスはステップS105に進む。
ステップS105では、制御部20は、第1の撮像素子18に異常があることを示す判別結果をリセットする入力を取得しているか否かを判別する。取得しているとき、プロセスはステップS100に戻る。取得していないとき、プロセスはステップS104に戻る。
次に、第1の実施形態において画像処理装部21が実行する、異常判別処理について、図4のフローチャートを用いて説明する。異常判別処理は、移動体11のエンジンおよびモータなどの原動機を起動させるとき開始する。異常判別処理は、原動機の駆動を停止するとき終了する。
ステップS200において、画像処理部21は、第1の画像信号を取得しているか否かを判別する。第1の画像信号を取得しているとき、プロセスはステップS201に進む。第1の画像信号を取得していないとき、プロセスはステップS203に進む。
ステップS201では、画像処理部21は、第1の画像信号に基づいて第1の撮像素子18に異常が発生しているか否かを判別する。また、画像処理部21は、判別結果を制御部20に通知する。異常がないとき、プロセスはステップS202に進む。異常があるとき、プロセスはステップS203に進む。
ステップS202では、画像処理部21は、第1の画像信号に所定の画像処理を施して、出力する。出力後、プロセスはステップS200に戻る。
ステップS203では、画像処理部21は、第2の画像信号に所定の画像処理を施して出力する。出力後、プロセスはステップS200に戻る。
以上のような構成の第1の実施形態に係る撮像装置10では、第1のサブ光学系12と、第1の分岐光学系14および第2の分岐光学系15との間にビームスプリッタ13が配置されている。第1の全体光学系および第2の全体光学系それぞれを構成する光学素子の間にビームスプリッタ13が配置されているので、撮像装置10は、第1の全体光学系および第2の全体光学系のバックフォーカスに制約を生じることなく、画像光を分割して撮像し得る。
また、撮像装置10では、画像処理部21が第1の撮像素子18の異常の有無を判別し、異常であると判別するとき第2の画像信号を出力させる。したがって、撮像装置10は異常のない画像を常に出力し得るので、撮像装置10を法令または移動体11の運行のために、常に異常無く被写体の撮像を行うことが求められる用途に適用可能し得る。
次に、本開示の第2の実施形態に係る撮像装置について説明する。第2の実施形態では第2の分岐光学系、第2の撮像素子、および制御部の構成および機能が第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第2の実施形態について説明する。なお、第1の実施形態と同じ構成を有する部位には同じ符号を付す。
図5に示すように、第2の実施形態に係る撮像装置100は、第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系150、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、第2の撮像素子190、制御部20、および画像処理部21を含む。
第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、および画像処理部21の構成および機能は、第1の実施形態と同じである。制御部20の構成は、第1の実施形態と同じである。
第2の分岐光学系150は、第1の実施形態と類似して、レンズおよびミラーなどの光学素子と第2の絞り230とを有する。第2の分岐光学系150は、第1の実施形態と同じく、ビームスプリッタ13による第2の光路Op2上に設けられている。第2の分岐光学系150は、第1の実施形態と同じく、第1のサブ光学系12およびビームスプリッタ13とともに第2の全体光学系を構成する。第2の全体光学系は、第1の実施形態と同じく、被写体光束を第2の像面Is2に結像させる。第2の分岐光学系150は、第1の実施形態と異なり、第1の分岐光学系14よりも、自身を構成する光学素子の数が少なく、例えば、MTFなどの解像力に関する特性が低い。第2の絞り230の径は、第1の実施形態と異なり、第1の絞り22の径より大きい。
第2の撮像素子190は、第1の実施形態と同じく、例えば、CCDイメージセンサ、およびCMOSイメージセンサである。第2の撮像素子190は、第1の実施形態と同じく、受光面が第2の像面Is2に一致するように配置されている。第2の撮像素子190は、第1の実施形態と同じく、第2の像面Is2に結像する被写体光束を撮像して、第2の画像信号を生成する。第2の撮像素子190の解像度は、第1の実施形態と異なり、第1の撮像素子18の解像度より小さい。
制御部20は、第1の実施形態と同じく、第1の撮像素子18および第2の撮像素子190をそれぞれ駆動して、第1の画像信号および第2の画像信号を生成させる。制御部20は、第1の実施形態と同じく、画像処理部21から取得する判別結果に基づいて、第1の撮像素子18および第2の撮像素子190の駆動と停止とを切替える。
制御部20は、第1の実施形態と異なり、移動体11の周囲が明るいとき、第1の撮像素子18に撮像を実行させ、第2の撮像素子190に撮像を停止させる。制御部20は、第1の実施形態と異なり、移動体11の周囲が暗いとき、第1の撮像素子18に撮像を停止させ、第2の撮像素子190に撮像を実行させる。
制御部20は、多様な方法で周囲が明るいか暗いかを判別してよい。例えば、制御部20は、移動体11のECUなどからヘッドライトが点灯状態であるか消灯状態であるかを照度情報として取得し、当該照度情報に基づいて周囲が明るいか暗いかを判別してよい。また、例えば、画像処理部21が算出する第1の画像信号または第2の画像信号の輝度成分を照度情報として取得し、当該照度情報に基づいて周囲が明るいか暗いかを判別してよい。
次に、第2の実施形態において制御部20が実行する、第2の駆動処理について、図6のフローチャートを用いて説明する。第2の駆動処理は、移動体11のエンジンおよびモータなどの原動機を起動させ、かつ第1の撮像素子18および第2の撮像素子190に異常が無いとき開始する。第1の駆動処理は、原動機の駆動を停止するとき、または第1の撮像素子18に異常が生じるとき終了する。
ステップS300において、制御部20は、照度情報を取得する。取得後、プロセスはステップS301に進む。
ステップS301において、制御部20は、ステップS300において取得した照度情報に基づいて、移動体11の周囲が明るいか否かを判別する。明るいとき、プロセスはステップS302に進む。明るくないとき、プロセスはステップS303に進む。
ステップS302では、制御部20は、第1の撮像素子18を駆動して撮像を実行させる。また、制御部20は、第2の撮像素子190を停止させる。駆動および停止後、プロセスはステップS300に戻る。
ステップS303では、制御部20は、第1の撮像素子18を停止させる。また、制御部20は第2の撮像素子190を駆動して撮像を実行させる。駆動および停止後、プロセスはステップS300に戻る。
以上のような構成の第2の実施形態に係る撮像装置100でも、第1のサブ光学系12と、第1の分岐光学系14および第2の分岐光学系150との間にビームスプリッタ13が配置されている。したがって、撮像装置10も、第1の全体光学系および第2の全体光学系のバックフォーカスに制約を生じることなく、画像光を分割して撮像し得る。また、撮像装置100でも、画像処理部21が第1の撮像素子18の異常の有無を判別し、異常であると判別するとき第2の画像信号を出力させる。したがって、撮像装置100も異常のない画像を常に出力し得るので、撮像装置100を法令または移動体11の運行のために、常に異常無く被写体の撮像を行うことが求められる用途に適用し得る。
また、第2の実施形態に係る撮像装置100では、第2の撮像素子190の解像度が第1の撮像素子18の解像度より小さい。一般的に、撮像素子の解像度および受光量の間にはトレードオフの関係がある。したがって、第2の撮像素子190の同じ光に対する同じ受光時間における1画素辺りの受光量は、第1の撮像素子18の受光量より多い。したがって、撮像装置100は、第2の撮像素子190を用いることにより、周囲が暗いときであっても、明るい画像を生成し得る。
また、第2の実施形態に係る撮像装置100では、第2の絞り230の径が第1の絞り22の径より大きい。したがって、撮像装置100は、径の大きな第2の絞り230を用いることにより、第2の撮像素子190が生成する画像の明るさをさらに向上させ得る。
また、第2の実施形態に係る撮像装置100では、第2の分岐光学系150を構成する光学素子の数が少ない。したがって、撮像装置100は、光学素子の少ない第2の分岐光学系150を用いることにより、第2の撮像素子190が生成する画像の明るさをさらに向上させ得る。
また、第2の実施形態に係る撮像装置100では、解像度に差がある第1の撮像素子18および第2の撮像素子190の駆動を、周囲の明るさに応じて切替えている。したがって、撮像装置100は、周囲が明るく解像度の大きな画像の生成が求められる状況においては、高解像度の画像の生成に有利な第1の絞り22および第1の分岐光学系14を通過する被写体光を、解像度がより高い撮像素子18に撮像させ得る。一方、撮像装置100は、周囲が暗く被写体光そのものの空間周波数が低下する状況においては、明るさに有利な第2の絞り230および第2の分岐光学系150を通過する被写体光を、解像度のより低い第2の撮像素子190に撮像させ得る。
次に、本開示の第3の実施形態に係る撮像装置について説明する。第3の実施形態ではビームスプリッタ、制御部、および画像処理部の機能が第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第3の実施形態について説明する。なお、第1の実施形態と同じ構成を有する部位には同じ符号を付す。
図2に示すように、第3の実施形態に係る撮像装置10は、第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、第2の撮像素子19、制御部20、および画像処理部21を含む。第1のサブ光学系12、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、および第2の撮像素子19の構成および機能は、第1の実施形態と同じである。また、制御部20および画像処理部21の構成は、第1の実施形態と同じである。
第3の実施形態において、ビームスプリッタ13は、P偏光およびS偏光を分離する偏光ビームスプリッタである。
第3の実施形態において、制御部20は、第1の実施形態と同じく、第1の撮像素子18および第2の撮像素子19をそれぞれ駆動して、第1の画像信号および第2の画像信号を生成させる。第3の実施形態において、制御部20は、第1の実施形態と異なり、第1の撮像素子18および第2の撮像素子19を同時に駆動させる。
第3の実施形態において、画像処理部21は、第1の実施形態と異なり、同時に生成される第1の画像信号および第2の画像信号を比較する。画像処理部21は、輝度成分に基づいて、第1の画像信号および第2の画像信号に相当するそれぞれの画像の少なくともいずれかに乱反射の影響が含まれているか否かを判別する。例えば、画像処理部21は、輝度成分の平均強度に閾値以上の差があるときに乱反射の影響が含まれていると判別する。
乱反射の影響が含まれていないとき、画像処理部21は、第1の画像信号および第2の画像信号の対応する画素同士の信号成分を合計して、第1の合成画像信号を生成し、所定の画像処理を施して、出力する。乱反射の影響が含まれているとき、画像処理部21は、さらにいずれの画像において乱反射の影響が大きいかを判別する。例えば、画像処理部21は、輝度成分の平均値が低い画像信号を乱反射の影響がより小さく受けていると判別する。画像処理部21は、より乱反射の影響の小さな画像に対応する画像信号を増幅して、所定の画像処理を施して、出力する。
次に、第3の実施形態において画像処理装部21が実行する、画像選択処理について、図7のフローチャートを用いて説明する。画像選択処理は、移動体11のエンジンおよびモータなどの原動機を起動させるとき開始する。画像選択処理は、原動機の駆動を停止するとき終了する。
ステップS400において、画像処理部21は、同じ時期の撮像に基づいて生成された第1の画像信号および第2の画像信号を取得する。取得後、プロセスはステップS401に進む。
ステップS401では、画像処理部21は、ステップS400において取得した第1の画像信号および第2の画像信号それぞれの輝度成分を算出する。算出後、プロセスはステップS402に進む。
ステップS402では、画像処理部21は、ステップS401において算出した輝度成分に基づいて、第1の画像信号および第2の画像信号が乱反射の影響を受けているか否かを判別する。乱反射の影響を受けていないとき、プロセスはステップS403に進む。乱反射の影響を受けているとき、プロセスはステップS404に進む。
ステップS403では、画像処理部21は、第1の画像信号および第2の画像信号を合成する。合成後、プロセスはステップS406に進む。
ステップS404では、画像処理部21は、第1の画像信号および第2の画像信号の中から、乱反射の影響をより低く受けている画像信号を選択する。選択後、プロセスはステップS405に進む。
ステップS405では、画像処理部21は、ステップS404において選択した画像信号を増幅する。増幅後、プロセスはステップS406に進む。
ステップS406では、画像処理部21は、ステップS403において合成した第1の合成画像信号またはステップS405において増幅した画像信号に、所定の画像処理を施す。画像処理の実施後、プロセスはステップS407に進む。
ステップS407では、画像処理部21は、ステップS406において画像処理を施した画像信号を出力する。出力後、プロセスはステップ400に戻る。
以上のような構成の第3の実施形態に係る撮像装置10でも、第1のサブ光学系12と、第1の分岐光学系14および第2の分岐光学系15との間にビームスプリッタ13が配置されている。したがって、第3の実施形態に係る撮像装置10も、第1の全体光学系および第2の全体光学系のバックフォーカスに制約を生じることなく、画像光を分割して撮像し得る。
また、第3の実施形態に係る撮像装置10では、偏光ビームスプリッタをビームスプリッタ13として適用している。偏光ビームスプリッタの偏光方向がどの方向であっても、第1の画像信号および第2の画像信号のいずれか一方へのP偏光成分がS偏光成分より多い。したがって、雨、霧、水面、雪などの乱反射が発生する光景を撮像するときであっても、撮像装置10は、乱反射の影響の少ないP偏光成分をより多く含む画像信号を選択し得る。
また、第3の実施形態に係る撮像装置10では、第1の画像信号および第2の画像信号が乱反射の影響を受けていないとき、画像処理部21が第1の画像信号および第2の画像信号を合成する。したがって、撮像装置10は、乱反射が生じていないときには、十分な明るさの画像を作成し得る。
次に、本開示の第4の実施形態に係る撮像装置について説明する。第4の実施形態では第2の光学フィルタの機能が第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第4の実施形態について説明する。なお、第1の実施形態と同じ構成を有する部位には同じ符号を付す。
図2に示すように、第4の実施形態に係る撮像装置10は、第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、第2の撮像素子19、制御部20、および画像処理部21を含む。第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第1の撮像素子18、および第2の撮像素子19の構成および機能は、第1の実施形態と同じである。また、制御部20および画像処理部21の構成は、第1の実施形態と同じである。
第4の実施形態において、第2の光学フィルタ17は、可視光帯域および近赤外光帯域の光を透過するデュアルバンドパスフィルタである。
第4の実施形態において、制御部20は、第1の実施形態と同じく、第1の撮像素子18および第2の撮像素子19をそれぞれ駆動して、第1の画像信号および第2の画像信号を生成させる。第4の実施形態において、制御部20は、第1の実施形態と異なり、第1の撮像素子18および第2の撮像素子19を同時に駆動させる。
第4の実施形態において、画像処理部21は、第1の実施形態と異なり、同時に生成される第1の画像信号および第2の画像信号を、周囲の明るさに応じた方法で、合成し、第2の合成画像信号を生成する。なお、画像処理部21は、第2の実施形態における制御部20と類似した多様な方法で周囲の明るさを認識してよい。
例えば、画像処理部21は、周囲が明るくなる程、第1の画像信号および第2の画像信号の対応する画素同士の信号成分を合計するときに、第1の画像信号への重み付けを増加させて、第2の合成画像信号を生成する。また、例えば、画像処理部21は、周囲が明るいときに、第1の画像信号の色差成分と第2の画像信号の輝度成分を用いて、第2の合成画像信号を生成してよい。また、例えば、画像処理部21は、周囲が暗くなる程、第1の画像信号および第2の画像信号の対応する画素同士の信号成分を合計するときに、第2の画像信号への重み付けを増加させて、第2の合成画像信号を生成する。画像処理部21は、第2の合成画像信号に所定の画像処理を施して、出力する。
次に、第4の実施形態において画像処理装部21が実行する、合成処理について、図8のフローチャートを用いて説明する。合成処理は、移動体11のエンジンおよびモータなどの原動機を起動させるとき開始する。合成処理は、原動機の駆動を停止するとき終了する。
ステップS500において、画像処理部21は、同じ時期の撮像に基づいて生成された第1の画像信号および第2の画像信号を取得する。取得後、プロセスはステップS501に進む。
ステップS501では、画像処理部21は、移動体11の周囲の明るさを認識する。明るさの認識後、プロセスはステップS502に進む。
ステップS502では、画像処理部21は、ステップS501において認識した明るさに応じて、ステップS500において取得した第1の画像信号および第2の画像信号を合成して、第2の合成画像信号を生成する。生成後、プロセスはステップS503に進む。
ステップS503では、画像処理部21は、ステップS502において合成した第2の合成画像信号に、所定の画像処理を施す。画像処理の実施後、プロセスはステップS504に進む。
ステップS504では、画像処理部21は、ステップS503において画像処理を施した画像信号を出力する。出力後、プロセスはステップS500に戻る。
以上のような構成の第4の実施形態に係る撮像装置10でも、第1のサブ光学系12と、第1の分岐光学系14および第2の分岐光学系15との間にビームスプリッタ13が配置されている。したがって、第4の実施形態に係る撮像装置10も、第1の全体光学系および第2の全体光学系のバックフォーカスに制約を生じることなく、画像光を分割して撮像し得る。
また、第4の実施形態に係る撮像装置10では、第2の光学フィルタ17がデュアルバンドパスフィルタであり、かつ画像処理部21が周囲の明るさに応じて第1の画像信号および第2の画像信号を合成する。第4の実施形態に係る撮像装置10は、可視光だけでなく近赤外光も含む光量成分に応じた第2の画像信号を画像合成に用いているので、移動体11の周囲が暗いときであっても、可視光のみに基づく画像よりコントラストの大きな画像を出力し得る。また、第4の実施形態に係る撮像装置10は、近赤外光を含まない光量成分に応じた第1の画像信号を画像合成に用いているので、移動体11の周囲が明るいときに、近赤外光に基づく画像による色再現性の低下を低減し得る。
次に、本開示の第5の実施形態に係る撮像装置について説明する。第5の実施形態では第2の撮像素子の配置が第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第5の実施形態について説明する。なお、第1の実施形態と同じ構成を有する部位には同じ符号を付す。
図9に示すように、第5の実施形態に係る撮像装置101は、第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ(光学フィルタ)17、第1の撮像素子18、第2の撮像素子19、制御部20、および画像処理部21を含む。第1のサブ光学系12、ビームスプリッタ13、第1の分岐光学系14、第2の分岐光学系15、第1の光学フィルタ(光学フィルタ)16、第2の光学フィルタ17、第1の撮像素子18、および画像処理部21の構成および機能は、第1の実施形態と同じである。また、制御部20の構成は、第1の実施形態と同じである。
第2の撮像素子19は、第1の実施形態と同じく、例えば、CCDイメージセンサ、およびCMOSイメージセンサである。
第2の撮像素子19は、第1の実施形態と異なり、受光面が第2の像面Is2から第2の光路Op2に沿って偏移した位置に配置されている。したがって、第2の撮像素子19は、第2の全体光学系の第1の温度(所定の温度)における所定の物体面に対する結像位置である第2の像面Is2から、偏移した位置に配置されている。第5の実施形態において、第2の撮像素子19は、第1の温度より高い第2の温度において第2の全体光学系の所定の物体面に対する結像位置側に偏移した位置に配置されている。
制御部20は、第1の実施形態と同じく、第1の撮像素子18および第2の撮像素子19をそれぞれ駆動して、第1の画像信号および第2の画像信号を生成させる。
制御部20は、第1の実施形態と異なり、撮像装置101の周辺温度に基づいて、第1の撮像素子18および第2の撮像素子19のいずれかを駆動させ、撮像を実行させる。制御部20は、温度センサから直接的に、または移動体11のECU(Electronic Control Unit)などを介して間接的に周辺温度を取得する。制御部20は、周辺温度が温度閾値未満であるときに第1の撮像素子18に撮像を実行させる。制御部20は、周辺温度が温度閾値以上であるときに第2の撮像素子19に撮像を実行させる。温度閾値は、例えば、第1の温度および第2の温度の平均値である。
次に、第5の実施形態において制御部20が実行する、第3の駆動処理について、図10のフローチャートを用いて説明する。第3の駆動処理は、移動体11のエンジンおよびモータなどの原動機を起動させるとき開始する。第3の駆動処理は、原動機の駆動を停止するとき終了する。
ステップS600において、制御部20は、周辺温度を取得する。取得後、プロセスはステップS601に進む。
ステップS601において、制御部20は、ステップS600において取得した周辺温度が温度閾値以上であるか否かを判別する。温度閾値以上でないとき、プロセスはステップS602に進む。温度閾値以上であるとき、プロセスはステップS603に進む。
ステップS602では、制御部20は、第1の撮像素子18を駆動して撮像を実行させる。また、制御部20は、第2の撮像素子19を停止させる。駆動および停止後、プロセスはステップS600に戻る。
ステップS603では、制御部20は、第1の撮像素子18を停止させる。また、制御部20は第2の撮像素子19を駆動して撮像を実行させる。駆動および停止後、プロセスはステップS600に戻る。
以上のような構成の第5の実施形態に係る撮像装置101でも、第1のサブ光学系12と、第1の分岐光学系14および第2の分岐光学系15との間にビームスプリッタ13が配置されている。したがって、第5の実施形態に係る撮像装置101も、第1の全体光学系および第2の全体光学系のバックフォーカスに制約を生じることなく、画像光を分割して撮像し得る。
また、第5の実施形態に係る撮像装置101では、第2の撮像素子19が第2の像面Is2から第2の光路Op2に沿って偏移した位置に配置されている。したがって、撮像装置101の周囲温度の変化が第1の温度から大きく変化するときに、第2の撮像素子19がボケを低減した画像を生成し得る。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、第1の実施形態から第5の実施形態において、第1の光学フィルタ16は第1の分岐光学系14および第1の撮像素子18の間に設けられるが、第1の光路Op1上のいずこに設けられてもよい。類似して、第2の光学フィルタ17は第2の光路Op2上のいずこに設けられていてもよい。例えば、撮像装置10、100、101には、図11に示すように、プリズム型のビームスプリッタ13の出射面に第1の光学フィルタ16および第2の光学フィルタ17が設けられてもよい。このように、ビームスプリッタ13の出射面に第1の光学フィルタ16および第2の光学フィルタ17を設けることにより光学全長を短縮し得るので、撮像装置10、100、101を小型化し得る。
また、第1の実施形態から第5の実施形態において、プリズム型のビームスプリッタ13の出射面は平面上であるが、図12に示すように、曲面状に形成して、レンズ機能を持たせてもよい。ビームスプリッタ130にレンズ機能を持たせることにより、光学全長を短縮し得るので、撮像装置10、100、101を小型化し得る。
また、第1の実施形態から第5の実施形態において、第1の光学フィルタ16および第2の光学フィルタ17が、IRカットフィルタおよびデュアルバンドパスフィルタのいずれかであるが、カラーフィルタおよびローパスフィルタなどの用途に応じたいかなるフィルタを用いてもよい。
また、第1の実施形態および第2の実施形態において、撮像装置10は第1の撮像素子18のみの異常の有無を判別しているが、第2の撮像素子19の異常の有無を判別してもよい。
また、第1の実施形態および第2の実施形態において、制御部20は、画像処理部21による異常判別の判別結果に基づいて、第1の撮像素子18および第2の撮像素子19の一方を撮像させる構成であるが、判別結果に関わらず両者を常に撮像させてもよい。両者を常に撮像させても、画像処理部21において出力する画像信号を選択するので、異常が発生している第1の撮像素子18が生成する第1の画像信号が撮像装置10、100からは出力されない。
また、第3の実施形態において、画像処理部21が第1の画像信号および第2の画像信号それぞれに相当するいずれの画像において乱反射の影響が大きいかを判別するが、使用者の判別に基づく選択入力を受付ける構成であってもよい。
10、100、101 撮像装置
11 移動体
12 第1のサブ光学系
13 ビームスプリッタ
14 第1の分岐光学系
15、150 第2の分岐光学系
16 第1の光学フィルタ(光学フィルタ)
17 第2の光学フィルタ(光学フィルタ)
18 第1の撮像素子
19、190 第2の撮像素子
20 制御部
21 画像処理部
22 第1の絞り
23、230 第2の絞り
Is1 第1の像面
Is2 第2の像面
Op1 第1の光路
Op2 第2の光路

Claims (10)

  1. 第1のサブ光学系と、
    前記第1のサブ光学系の光路上に位置し、前記第1のサブ光学系が出射する光を第1の光路および第2の光路を伝播する光に分割するビームスプリッタと、
    前記第1の光路上に位置する第1の分岐光学系と、
    前記第2の光路上に位置する第2の分岐光学系と、
    前記第1の分岐光学系を通過した画像光を撮像する第1の撮像素子と、
    前記第2の分岐光学系を通過した画像光を撮像する第2の撮像素子と、を備える
    撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記第1の分岐光学系のバックフォーカスが前記第1の撮像素子のイメージサークルの直径より短く、
    前記第2の分岐光学系のバックフォーカスが前記第2の撮像素子のイメージサークルの直径より短い
    撮像装置。
  3. 請求項1または2に記載の撮像装置において、
    前記第1の光路および前記第2の光路の少なくとも一方に位置する光学フィルタを、さらに備える
    撮像装置。
  4. 請求項1から3のいずれか1項に記載の撮像装置において、
    前記第1の分岐光学系が第1の絞りを有し、
    前記第2の分岐光学系が、第1の絞りより径が大きな第2の絞りを有する
    撮像装置。
  5. 請求項1から4のいずれか1項に記載の撮像素子において、
    前記第2の撮像素子の解像度が前記第1の撮像素子の解像度より小さい
    撮像装置。
  6. 請求項1から5のいずれか1項に記載の撮像装置において、
    前記第1のサブ光学系、前記ビームスプリッタ、および前記第1の分岐光学系が構成する第1の全体光学系の、所定の温度における所定の物体面に対する結像位置に、前記第1の撮像素子は配置されており、
    前記第1のサブ光学系、前記ビームスプリッタ、および前記第2の分岐光学系が構成する第2の全体光学系の、前記所定の温度における前記所定の物体面に対する結像位置から、前記第2の光路に沿って偏移した位置に、前記第2の撮像素子は配置されている
    撮像装置。
  7. 請求項1から6のいずれか1項に記載の撮像装置において、
    前記ビームスプリッタは、P偏光およびS偏光を分離する
    撮像装置。
  8. 請求項1から7のいずれか1項に記載の撮像装置において、
    前記第1の撮像素子および前記第2の撮像素子の一方における異常の有無を判別し、異常であると判別するとき他方の画像信号を出力する画像処理部を、さらに備える
    撮像装置。
  9. 第1のサブ光学系と、
    前記第1のサブ光学系の光路上に位置し、前記第1のサブ光学系が出射する光を第1の光路および第2の光路を伝播する光に分割するビームスプリッタと、
    前記第1の光路上に位置する第1の分岐光学系と、
    前記第2の光路上に位置する第2の分岐光学系と、
    前記第1の分岐光学系を通過した画像光を撮像する第1の撮像素子と、
    前記第2の分岐光学系を通過した画像光を撮像する第2の撮像素子と、を備える
    車載カメラ。
  10. 第1のサブ光学系と、
    前記第1のサブ光学系の光路上に位置し、前記第1のサブ光学系が出射する光を第1の光路および第2の光路を伝播する光に分割するビームスプリッタと、
    前記第1の光路上に位置する第1の分岐光学系と、
    前記第2の光路上に位置する第2の分岐光学系と、
    前記第1の分岐光学系を通過した画像光を撮像する第1の撮像素子と、
    前記第2の分岐光学系を通過した画像光を撮像する第2の撮像素子と、を有する車載カメラを備える
    移動体。
JP2016251971A 2016-12-26 2016-12-26 撮像装置、車載カメラ、および移動体 Pending JP2018106001A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016251971A JP2018106001A (ja) 2016-12-26 2016-12-26 撮像装置、車載カメラ、および移動体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016251971A JP2018106001A (ja) 2016-12-26 2016-12-26 撮像装置、車載カメラ、および移動体

Publications (1)

Publication Number Publication Date
JP2018106001A true JP2018106001A (ja) 2018-07-05

Family

ID=62784521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016251971A Pending JP2018106001A (ja) 2016-12-26 2016-12-26 撮像装置、車載カメラ、および移動体

Country Status (1)

Country Link
JP (1) JP2018106001A (ja)

Similar Documents

Publication Publication Date Title
AU2022203095B2 (en) Real-time HDR video for vehicle control
US10377322B2 (en) In-vehicle camera and vehicle control system
US9626570B2 (en) Vehicle control system and image sensor
CN107615749B (zh) 信号处理装置和成像装置
KR20200091951A (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
JP6981410B2 (ja) 固体撮像装置、電子機器、レンズ制御方法および車両
TWI842952B (zh) 攝像裝置
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
US10821900B2 (en) Image processing device
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
JP2018106001A (ja) 撮像装置、車載カメラ、および移動体
JP2018107620A (ja) 撮像システム、移動体、および制御方法
JP2020009386A (ja) 周辺認識装置及び車載カメラシステム
JP2012120088A (ja) 画像認識装置
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP2012015834A (ja) 撮像装置
CN118413752A (zh) 图像处理系统、可移动设备、图像处理方法和存储介质
JP2024021119A (ja) 制御装置、後方確認装置、制御方法、およびプログラム
JP2019212937A (ja) 画像表示装置及び画像表示方法