JP2015185923A - 撮像装置および車載カメラシステム - Google Patents

Abstract

【課題】画角の異なる画像を並行して取得することが可能な小型の撮像装置および移動体を提供する。
【解決手段】電気的に焦点距離を変更可能な第１の光学素子（可変焦点素子３０ａ）を備える撮像光学系１７ａと、第１の光学素子の焦点距離を設定する第１の制御信号ＣＴ１ａを生成する制御部（カメラ制御部２０ａ）と、撮像光学系によって結像される被写体像を光電変換して原画像信号を生成する撮像素子１８ａと、を備え、制御部は、撮像素子が１フレームの電荷蓄積を終了してから次のフレームの電荷蓄積を開始するまでの間の所定のタイミングで第１の制御信号を変更する。
【選択図】図３

Description

本発明は、画角の異なる画像を並行して取得できる撮像装置および車載カメラシステムに関する。

例えば危険予測等を目的として、車両等の移動体に撮像装置が取り付けられることがある。このような撮像装置を備える車載カメラシステムは、車両走行中の撮像装置からの映像に基づいて前方の障害物を検出し、例えば車両を減速させるための警告表示等をすることが可能である。

ここで、車載カメラシステムは、障害物だけでなく、運転支援のための様々な検出を行うのが一般的である。例えば、車載カメラシステムは、遠方の障害物を検出しつつ、近距離においてレーンキープのための白線検出を行う。よって、車載カメラシステムが備える撮像装置は、遠方の望遠画像、中近距離の広角画像のいずれかのみが撮像できれば十分というわけではなく、両方を撮像できることが要求される。また、撮像画像のリアルタイム性も要求されるため、撮像装置は、望遠画像および広角画像を並行して取得できることが好ましい。

例えば、特許文献１は、望遠画像と広角画像とを１つの撮像手段の撮像面に結像することで、遠方および中近距離を同時に撮像する技術を開示する。

特開２００３−１１６０２９号公報

しかしながら、特許文献１に記載された技術は並列に配置された２つの光学系を必要とする。そのため、１つの光学系だけを有する撮像装置に比べると装置全体が大型化する。また、特許文献１に記載された技術は、望遠画像と広角画像とを同時に結像させる必要がある。そのため、大型の撮像素子（ＣＣＤ）が必要となり、やはり装置全体が大型化してしまう。したがって、特許文献１の技術を適用した装置は、一般に設置スペースが限られる車両への搭載に適さない。

かかる事情に鑑みてなされた本発明の目的は、画角の異なる画像を並行して取得することが可能な小型の撮像装置および車載カメラシステムを提供することにある。

上記課題を解決するために本発明に係る撮像装置は、
電気的に焦点距離を変更可能な第１の光学素子を備える撮像光学系と、
前記第１の光学素子の焦点距離を設定する第１の制御信号を生成する制御部と、
前記撮像光学系によって結像される被写体像を光電変換して原画像信号を生成する撮像素子と、を備え、
前記制御部は、前記撮像素子が１フレームの電荷蓄積を終了してから次のフレームの電荷蓄積を開始するまでの間の所定のタイミングで前記第１の制御信号を変更する。

また、本発明に係る撮像装置において、
前記制御部は、
前記撮像装置が搭載された移動体の制御情報を取得する制御情報取得部を備え、
前記制御情報に応じた前記第１の制御信号を生成することが好ましい。

また、本発明に係る撮像装置において、
前記制御部は、
前記所定のタイミングで、前記第１の光学素子の焦点距離を、第１の焦点距離と、前記第１の焦点距離とは異なる第２の焦点距離とに交互に設定することが好ましい。

また、本発明に係る撮像装置において、
前記第１の光学素子は、
液晶レンズまたは液体レンズであることが好ましい。

また、本発明に係る撮像装置において、
前記原画像信号から被写体の認識を行う画像処理部を備え、
前記画像処理部は、
前記第１の光学素子の焦点距離が異なる画像のそれぞれについて、互いに異なる領域における被写体の認識を行うことが好ましい。

また、本発明に係る撮像装置において、
前記撮像光学系は、
電気的に前記撮像光学系の光軸を変更可能な第２の光学素子をさらに備え、
前記制御部は、
前記所定のタイミングで、前記撮像光学系の光軸を設定する第２の制御信号を変更することが好ましい。

上記課題を解決するために本発明に係る車載カメラシステムは、前記の撮像装置を備える。

本発明に係る撮像装置および車載カメラシステムによれば、画角の異なる画像を並行して取得することが可能であり小型化を実現できる。

本発明の一実施形態に係る撮像装置および撮像装置を備える車載カメラシステムの概略構成を示すブロック図である。 図１の車載カメラシステムの構成要素の配置を示す概略図である。 図１の撮像装置の詳細を示す図である。 図４（Ａ）、図４（Ｂ）は可変焦点素子を例示する図である。 図５（Ａ）〜図５（Ｃ）は焦点距離を切り替えるタイミングを示す図である。 図６（Ａ）、図６（Ｂ）は広角画像と望遠画像とを例示する図である。 被写体の認識がされた様子を例示する図である。 本発明の変形例に係る撮像装置の詳細を示す図である。

（撮像装置、車載カメラシステムの概略構成）
以下、本発明の実施形態について、図面を参照して説明する。
はじめに、本発明の一実施形態に係る撮像装置（フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄ）および車載カメラシステム１０について説明する。図１は、複数の撮像装置を備える車載カメラシステム１０の概略構成を示す機能ブロック図である。

図１に示すように、車載カメラシステム１０は、複数の撮像装置（フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄ）、画像処理装置１２および表示装置１３を備える。本実施形態において、車載カメラシステム１０の各構成要素は、専用線又はＣＡＮ（Controller Area Network）等の車載ネットワーク１４を介して情報を送受信可能である。

図２に示すように、フロントカメラ１１ａは、車両等の移動体１５に搭載されて、移動体１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、移動体１５の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、例えば左右のドアミラー１６において鉛直下向きに、移動体１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。なお、図２では、右サイドカメラ１１ｄは移動体１５の車体に隠れているため図示されていない。また、左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、移動体１５の左右両側にそれぞれ対称に配置される。表示装置１３は、運転席から視認可能な位置に配置される。

フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、例えば魚眼レンズ等の画角の広いレンズを備えており、移動体１５の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であって、画像周辺部における被写体は湾曲して撮像されるが、撮像装置自身または画像処理装置１２によって湾曲が修正されてから表示装置１３に表示される。

次に、再び図１を参照して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの構成について説明する。本実施形態に係る撮像装置であるフロントカメラ１１ａは、撮像光学系１７ａと、撮像素子１８ａと、画像処理部１９ａと、カメラ制御部２０ａと、制御情報取得部２２ａと、を備える。

撮像光学系１７ａは、絞りおよびレンズを含んで構成され、被写体像を結像させる。また、撮像光学系１７ａは、後述するように、電気的に焦点距離を変更可能な可変焦点素子（本発明の第１の光学素子に対応）を備える。

撮像素子１８ａは、例えばＣＭＯＳ撮像素子であって、撮像光学系１７ａによって結像される被写体像を光電変換して原画像信号を生成する。また、撮像素子１８ａは、原画像信号を画像処理部１９ａに出力する。

画像処理部１９ａは、撮像素子１８ａから取得した原画像信号に基づいて、例えば歩行者、障害物、対向車、路面上の白線や中央線等の被写体の認識を行う。また、画像処理部１９ａは、例えばノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランス等の所定の画像処理を施してもよい。画像処理部１９ａは、被写体認識の処理や前記の画像処理を施した画像信号を画像処理装置１２に出力する。なお、以下では、路面上の白線（例えば点線である中央線等も含む）を被写体として認識する処理を特に白線検出と呼ぶ。

カメラ制御部２０ａ（本発明の制御部に対応）は、撮像光学系１７ａが備える可変焦点素子３０ａの焦点距離を設定する第１の制御信号を生成する。ここで、カメラ制御部２０ａは、撮像素子１８ａから垂直同期信号を受け取る。後述するように、カメラ制御部２０ａは、垂直同期信号によって、撮像素子１８ａが１フレームの電荷蓄積を終了したタイミングを把握可能である。カメラ制御部２０ａは、１フレームの電荷蓄積を終了してから次のフレームの電荷蓄積を開始するまでの間のあるタイミングで、第１の制御信号を変更する。例えば、カメラ制御部２０ａは、垂直同期信号に同期して、第１の制御信号を変更し、可変焦点素子の焦点距離を変更してもよい。また、カメラ制御部２０ａは、例えばクロック信号等に基づいて、次のフレームの電荷蓄積の開始を把握可能である。カメラ制御部２０ａは、次のフレームの電荷蓄積の開始まで、任意のタイミングで第１の制御信号を変更することが可能である。

また、カメラ制御部２０ａは画像処理部１９ａの動作を制御する。カメラ制御部２０ａは、例えば垂直同期信号に基づくタイミングで、画像処理部１９ａに例えば３０ｆｐｓ（frame per second）の画像信号を出力させる。

制御情報取得部２２ａは、移動体１５の制御情報を取得する。制御情報は、移動体１５の状態に関する種々の情報、例えば、移動体１５の前進、後進、操舵角、および速度を示す情報である。

制御情報取得部２２ａは、制御情報を受け取り、例えば速度の変化を検出して、カメラ制御部２０ａに制御情報の一部または全部を出力する。後述するように、カメラ制御部２０ａは、制御情報に応じた第１の制御信号を生成する。例えば制御情報に含まれる速度が低速であると判断したときに、カメラ制御部２０ａは、望遠画像の比率が少なくなるように第１の制御信号を生成してもよい。

なお、制御情報取得部２２ａは、任意の方法により制御情報を取得可能であり、例えば車載ネットワーク１４を介して移動体１５から取得してもよく、あるいは移動体１５に備えられる他の構成要素が出力する制御情報を有線または無線を介して取得してもよい。

リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、フロントカメラ１１ａと同様に、撮像光学系１７ｂ、１７ｃ、１７ｄ、撮像素子１８ｂ、１８ｃ、１８ｄ、画像処理部１９ｂ、１９ｃ、１９ｄ、カメラ制御部２０ｂ、２０ｃ、２０ｄ、および制御情報取得部２２ｂ、２２ｃ、２２ｄをそれぞれ備える。撮像光学系１７ｂ、１７ｃ、１７ｄ、撮像素子１８ｂ、１８ｃ、１８ｄ、画像処理部１９ｂ、１９ｃ、１９ｄ、カメラ制御部２０ｂ、２０ｃ、２０ｄおよび制御情報取得部２２ｂ、２２ｃ、２２ｄの機能および構成は、フロントカメラ１１ａと同様である。

なお、本実施形態では、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄもフロントカメラ１１ａと同じ構成、性能を有しており、それぞれが後述するように画角の異なる画像を並行して取得可能である。しかし、別の実施形態として、フロントカメラ１１ａだけ、またはフロントカメラ１１ａとリアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの一部だけが画角の異なる画像を並行して取得できてもよい。

画像処理装置１２は、画像取得部２１と、画像処理部２６とを備える。画像取得部２１は、車載ネットワーク１４を介して、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄからそれぞれの方向の周辺領域の撮像画像を取得する。なお、画像取得部２１は、前方、後方および側方（右方、左方）の周辺領域の撮像画像の全部を取得してもよいし、一部を取得してもよい。

画像処理部２６は撮像画像を表示装置１３に表示させる。画像処理部２６は、例えば制御情報等も受け取り、移動体１５の前進、後進といった走行状態に応じて進行方向の周辺領域の撮像画像を選択して表示装置１３に表示させてもよい。このとき、画像処理部２６は、選択した撮像画像を表示装置１３の仕様に合わせた信号（例えば、ＮＴＳＣ方式に従ったコンポジット映像信号）に変換してもよい。

表示装置１３は、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、車載ネットワーク１４を介して、少なくとも画像処理装置１２から受け取った画像を表示する。なお、表示装置１３は、タッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。

以下では、本実施形態に係る撮像装置の詳細な構成についてフロントカメラ１１ａを例に説明し、可変焦点素子３０ａの例について説明し、フロントカメラ１１ａが画角の異なる画像を実質的に並行して取得できることを望遠画像と広角画像とを例に説明する。なお、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄについては、フロントカメラ１１ａと同じ構成、性能を有しているため説明を省略する。

（撮像装置の詳細）
図３は、本実施形態に係る撮像装置であるフロントカメラ１１ａの詳細な構成を示す図である。なお、図１と同じ要素には同じ符号を付しており詳細な説明を省略する。撮像光学系１７ａは、可変焦点素子３０ａ、絞り、レンズＬ１ａおよびレンズＬ２ａを備える。なお、レンズＬ１ａおよびレンズＬ２ａの少なくとも一方が省略されてもよいし、撮像光学系１７ａはさらにレンズを備えていてもよい。被写体像は、撮像光学系１７ａにより撮像素子１８ａで結像する。撮像素子１８ａは、結像した被写体像を光電変換してフレーム単位で原画像信号１１８ａを出力する。図３の例において、撮像素子１８ａは、１秒間に６０フレーム（６０ｆｐｓ）の原画像信号１１８ａを出力する。このとき、撮像素子１８ａは、垂直同期信号ＶＳａに同期して原画像信号１１８ａを生成する。

画像処理部１９ａは、被写体認識の処理や例えばノイズ除去等の画像処理を施して、画像信号１１９ａを画像処理装置１２に出力する。カメラ制御部２０ａは、垂直同期信号ＶＳａを撮像素子１８ａから受け取り、垂直同期信号ＶＳａから撮像素子１８ａが原画像信号１１８ａを生成するタイミングやレートを把握できる。そのため、カメラ制御部２０ａは、画像処理部１９ａに対して、適切な画像信号１１９ａの出力レートを指示することが可能である。図３の例において、カメラ制御部２０ａは、画像処理部１９ａに１秒間に３０フレーム（３０ｆｐｓ）の画像信号１１９ａを出力させる。

ここで、可変焦点素子３０ａは、電気的にその焦点距離を変更可能である。可変焦点素子３０ａの焦点距離の変更によって、撮像光学系１７ａ全体としての焦点距離が調整される。電気的に焦点距離を変更可能とは、例えばモータ等を用いた物理的な部材の移動がなくても、電気的に変化する信号に応じて焦点距離を調整可能であることを意味する。図３の例において、可変焦点素子３０ａに印加される電圧はカメラ制御部２０ａが生成する第１の制御信号ＣＴ１ａに応じて変化するので、可変焦点素子３０ａの焦点距離は第１の制御信号ＣＴ１ａによって変更可能である。

例えば、第１の制御信号ＣＴ１ａが第１の信号レベルのときには、可変焦点素子３０ａの焦点距離が短くなり、撮像光学系１７ａの画角が広くなる。このとき、撮像素子１８ａは広角画像を撮像可能である。また、例えば、第１の制御信号ＣＴ１ａが第２の信号レベルのときには、可変焦点素子３０ａの焦点距離が長くなり、撮像光学系１７ａの画角が狭くなる。このとき、撮像素子１８ａは望遠画像を撮像可能である。なお、信号レベルとは、例えば電圧レベルであるが、電流レベルであってもよいし、特に限定されるものではない。また、以下では、可変焦点素子３０ａが短い焦点距離（本発明の第１の焦点距離に対応）と長い焦点距離（本発明の第２の焦点距離に対応）の２つの焦点距離に設定される場合を例に説明する。しかし、可変焦点素子３０ａはこれら２つの焦点距離以外（例えば、これらの中間の焦点距離）をとることが可能である。

カメラ制御部２０ａは、垂直同期信号ＶＳａおよびクロック信号等により、撮像素子１８ａが１フレームの電荷蓄積を終了してから次のフレームの電荷蓄積を開始するまでを把握できる。そして、カメラ制御部２０ａは、その間のあるタイミング（本発明の所定のタイミングに対応）で、第１の制御信号ＣＴ１ａを変更することが可能である。ここで、撮像素子１８ａが１フレームの電荷蓄積を終了したときから、次のフレームの電荷蓄積の開始するときまでの任意のタイミングで第１の制御信号ＣＴ１ａが変更されるとする。このとき、撮像素子１８ａで生成される１フレームの撮像画像において、電荷蓄積の開始時から終了時まで焦点距離は変わらない。つまり、１フレームの撮像画像において、途中で焦点距離が変化するようなことはない。また、カメラ制御部２０ａは、前記のように、制御情報取得部２２ａを介して得られる制御情報ＣＣＩにより、移動体１５の走行状態（例えば速度等）を把握できる。そのため、カメラ制御部２０ａは、可変焦点素子３０ａが移動体１５の走行状態に応じた適切な焦点距離をとるように、第１の制御信号ＣＴ１ａを生成できる。

前記のように、本実施形態に係る撮像装置であるフロントカメラ１１ａは、電気的にその焦点距離を変更可能である可変焦点素子３０ａを用いるが、その理由は、フレーム毎に焦点距離を変更できるようにするためである。仮に、モータ等を用いたズームレンズによって焦点距離を変更する場合、垂直同期信号ＶＳａの１フレーム分の期間内に焦点距離を変更することは困難である。この場合、焦点距離を切り替える途中で生成された原画像信号１１８ａは移動体１５の周辺領域を正しく撮像したものではなく、使用することができない。つまり、フロントカメラ１１ａは、可変焦点素子３０ａを用いて焦点距離を変更することで、フレームの欠落なく被写体像を撮像素子１８ａで結像させることができる。

可変焦点素子３０ａは、例えば液体レンズ、または液晶レンズであることが好ましい。図４（Ａ）に例示される液体レンズは、導体である水溶液ＷＡと絶縁体である油ＯＩとが混ざらないように接している。図４（Ａ）の例では、油ＯＩは水溶液ＷＡ側から入射した光を収束させる凸レンズとして機能する。そして、電極Ｍ１と電極Ｍ２との間に印加される電圧に応じて、水溶液ＷＡと油ＯＩとが接する面の形状が変化する。例えば、電極Ｍ１と電極Ｍ２との間に高電圧が印加される場合、水溶液ＷＡが電極Ｍ２に引き寄せられて移動するために、水溶液ＷＡと油ＯＩとが接する面の曲率が大きくなる。そのため、電極Ｍ１と電極Ｍ２との間に印加される電圧を第１の制御信号ＣＴ１ａで制御することで、カメラ制御部２０ａは可変焦点素子３０ａ（この例では液体レンズ）の焦点距離を設定することができる。

図４（Ｂ）に例示される液晶レンズは、液晶ＬＣを、電極Ｎ１および透明電極Ｎ２と、別の透明電極Ｎ３とで挟んだ構造をしている。図４（Ｂ）の例では、電極Ｎ１は液晶ＬＣの一部と向き合っており、透明電極Ｎ２、Ｎ３は液晶ＬＣの全体と向き合っている。透明電極Ｎ３と電極Ｎ１との間に印加される電圧（以下、第１の電圧）、および透明電極Ｎ３と透明電極Ｎ２との間に印加される電圧（以下、第２の電圧）を調整することで、液晶ＬＣの分子の配向を変化させることができる。図４（Ｂ）の例では、紙面上方および下方の２つの電極Ｎ１に挟まれる光の透過領域において、中心部分と電極Ｎ１に近い周辺部分とで液晶ＬＣの分子の配向が異なっている。このとき、液晶ＬＣは透明電極Ｎ２側から入射した光を収束させる凸レンズとして機能する。このように、第１の電圧および第２の電圧を第１の制御信号ＣＴ１ａで制御することで、カメラ制御部２０ａは可変焦点素子３０ａ（この例では液晶レンズ）の焦点距離を設定することができる。

可変焦点素子３０ａが、例えば液体レンズまたは液晶レンズであるとき、焦点距離を変更するのにモータ等を用いた機械的な部材の移動は必要ない。フロントカメラ１１ａは、例えば６０ｆｐｓの垂直同期信号ＶＳａに同期して、フレームごとに焦点距離を変更することができる。ここで、例えば図５（Ａ）のように、カメラ制御部２０ａは、垂直同期信号ＶＳａの立ち上がりに同期して、可変焦点素子３０ａの焦点距離を、第１の焦点距離と第２の焦点距離とに交互に設定してもよい。図５（Ａ）における第１の制御信号ＣＴ１ａの“Ｗｉｄｅ”は、カメラ制御部２０ａが広角画像を撮像させるために第１の制御信号ＣＴ１ａによって、可変焦点素子３０ａの焦点距離を第１の焦点距離に設定することを意味する。また、図５（Ａ）における第１の制御信号ＣＴ１ａの“Ｔｅｌｅ”は、カメラ制御部２０ａが望遠画像を撮像させるために第１の制御信号ＣＴ１ａによって、可変焦点素子３０ａの焦点距離を第２の焦点距離に設定することを意味する。

そして、図５（Ａ）の例において、フロントカメラ１１ａの画像処理部１９ａは、広角画像を用いて白線検出を行う。また、画像処理部１９ａは、望遠画像を用いて被写体の認識（特に、歩行者の認識）を行う。画像処理部１９ａは、カメラ制御部２０ａからの出力レートの指示（例えば３０ｆｐｓ）に従って、広角画像（図５（Ａ）のＷｉｄｅが対応）だけを、白線検出や被写体の認識の結果を反映した上で画像信号１１９ａとして出力することができる。

このときの、フロントカメラ１１ａの画像処理部１９ａが受け取る画像および出力する画像について具体例を示して説明する。画像処理部１９ａは、例えば図６（Ａ）の広角画像を受け取り、続くフレームで図６（Ｂ）のような望遠画像を受け取る。図６（Ａ）の広角画像には、移動体１５に近い周辺領域の白線ＷＬ１、ＷＬ２や中央線ＣＬが明確に写っている。画像処理部１９ａは、広角画像を用いて白線検出を行うことができる。そして、画像処理部１９ａは、例えば白線を強調する等、検出結果を反映させた画像を生成できる。しかし、遠い前方を写している領域ＲＴにおいて、歩行者は小さく写っており、画像処理部１９ａは歩行者を認識できない。

一方、図６（Ｂ）の望遠画像は、図６（Ａ）の広角画像の一部である領域ＲＴに対応する。図６（Ｂ）のような望遠画像では、歩行者ＰＥが大きく写っている。画像処理部１９ａは、望遠画像を用いて歩行者ＰＥを認識できる。そして、画像処理部１９ａは、例えば認識した歩行者ＰＥを四角い枠で囲む等、検出結果を反映させた画像を生成できる。

そして、図６（Ａ）の広角画像および図６（Ｂ）の望遠画像を取得した画像処理部１９ａは、図７の広角画像の画像信号１１９ａを生成することができる。図７の広角画像は、移動体１５に近い周辺領域の白線ＷＬ１、ＷＬ２や中央線ＣＬが強調されているだけでなく、図６（Ａ）の広角画像だけでは検出されなかった歩行者ＰＥが視認容易なように示されている。つまり、画像処理部１９ａが図６（Ａ）の広角画像で検出した白線ＷＬ１、ＷＬ２や中央線ＣＬだけでなく、画像処理部１９ａが図６（Ｂ）の望遠画像によって認識した歩行者ＰＥについても四角い枠で囲まれて、図７の広角画像に反映されている。

この例では、カメラ制御部２０ａが、図５（Ａ）のように可変焦点素子３０ａの焦点距離を調整して、６０ｆｐｓで１フレーム毎に交互に望遠画像、広角画像が得られるようにしている。このとき、画像処理部１９ａは、広角画像で白線検出を行い、望遠画像で被写体の認識を行った上で、これらの両方の処理結果を反映した広角画像の画像信号１１９ａを十分に高速な半分のレート（３０ｆｐｓ）で出力することができる。そして、画像処理部１９ａは、出力のレートの２倍の６０ｆｐｓで交互に望遠画像、広角画像を得ている。そのため、フロントカメラ１１ａは、画角の異なる画像を実質的に並行して取得できる。

このとき、画像処理部１９ａは、焦点距離が異なる画像のそれぞれについて、互いに異なる領域における被写体の認識を行うことが好ましい。重複して被写体の認識を実行する領域をなくすことで、画像処理部１９ａが被写体の認識を行う処理時間を短縮することが可能である。図６（Ａ）の例では、画像処理部１９ａは、図６（Ｂ）の望遠画像に相当する領域ＲＴを除く領域について白線検出を実行する。そして、前記のように、画像処理部１９ａは、図６（Ｂ）の全領域で歩行者ＰＥ等の被写体の認識を行う。

ここで、再び図５（Ａ）〜図５（Ｃ）を参照して、カメラ制御部２０ａの第１の制御信号ＣＴ１ａについて説明する。図５（Ａ）の例において、カメラ制御部２０ａは６０ｆｐｓの１フレーム毎に交互に望遠画像、広角画像が得られるように第１の制御信号ＣＴ１ａを生成する。しかし、カメラ制御部２０ａは、望遠画像、広角画像の組み合わせ、すなわち、第１の制御信号ＣＴ１ａによって設定される第１の焦点距離と第２の焦点距離の組み合わせを自由に変えることが可能である。カメラ制御部２０ａは、例えば制御情報取得部２２ａが取得した移動体１５の制御情報ＣＣＩに応じた前記第１の制御信号ＣＴ１ａを生成することができる。

図５（Ａ）の例では、カメラ制御部２０ａは望遠画像と広角画像の出現比率が１：１であるように第１の制御信号ＣＴ１ａを生成している。一方、図５（Ｂ）に示す例で、カメラ制御部２０ａは望遠画像と広角画像の出現比率が１：３であるように第１の制御信号ＣＴ１ａを生成している。つまり、図５（Ｂ）の例では、図５（Ａ）の例に比べて、望遠画像の比率を減らしている。

本実施形態に係る撮像装置であるフロントカメラ１１ａは、望遠画像を用いて歩行者ＰＥ、障害物、対向車等の被写体の認識を行う必要性が低下する場合に、図５（Ｂ）のように望遠画像の比率を減らす。例えば、フロントカメラ１１ａのカメラ制御部２０ａは、制御情報取得部２２ａを介して得られた制御情報ＣＣＩから、移動体１５の速度が低速（例えば、事前に設定された閾値となる時速未満の速度のとき）であると判断したときに望遠画像の比率を減らしてもよい。また、カメラ制御部２０ａは、移動体１５の速度があまり変わらず、制御情報ＣＣＩの操舵角情報から直進している（同じ道路を同じ速さで直線している）と判断できるときであって、既に歩行者ＰＥや障害物を認識しているときには望遠画像の比率を減らしてもよい。

ここで、フロントカメラ１１ａは、被写体の認識を行う必要性が増大した場合には、図５（Ｂ）とは逆に望遠画像の比率を増やしてもよい。例えば、カメラ制御部２０ａは、制御情報取得部２２ａを介して得られた制御情報ＣＣＩから、移動体１５の速度が高速（例えば、事前に設定された閾値となる時速以上の速度のとき）であると判断したときに望遠画像の比率を増加させてもよい。できるだけ早期に前方の歩行者ＰＥ等を認識して危険を回避する必要があるからである。また、カメラ制御部２０ａは、制御情報ＣＣＩの操舵角情報から右折または左折をして新たな道路に入ったと判断したときに、望遠画像の比率を増加させてもよい。

カメラ制御部２０ａは、望遠画像の比率の増減を移動体１５の制御情報ＣＣＩに応じて素早く行うために、図５（Ｃ）の例のように望遠画像と広角画像とを切り替えてもよい。図５（Ｃ）において、“Ｚ”は“Ｔｅｌｅ（望遠画像）”または“Ｗｉｄｅ（広角画像）”であり、どちらか一方が選択される。つまり、カメラ制御部２０ａは、固定的に交互に並んだ“Ｔｅｌｅ”と“Ｗｉｄｅ”の間に、状況に応じて選択される“Ｔｅｌｅ”または“Ｗｉｄｅ”が挿入されるように、第１の制御信号ＣＴ１ａを生成する。カメラ制御部２０ａは、望遠画像を用いて被写体の認識を行う必要性が低下する場合には“Ｚ”として“Ｗｉｄｅ”を選択する。このとき、図５（Ｂ）と同じパターンとなる。また、カメラ制御部２０ａは、望遠画像を用いて被写体の認識を行う必要性が増大する場合には“Ｚ”として“Ｔｅｌｅ”を選択する。

なお、図５（Ａ）〜図５（Ｃ）の垂直同期信号ＶＳａの立ち上がりは、撮像素子１８ａが１フレームの原画像信号１１８ａの出力を開始するタイミングを示す。よって、カメラ制御部２０ａは、垂直同期信号ＶＳａによって、撮像素子１８ａが１フレームの電荷蓄積を終了したタイミングを把握可能である。図５（Ａ）〜図５（Ｃ）の例では、カメラ制御部２０ａは、撮像素子１８ａが１フレームの電荷蓄積を終了したタイミングの一例である垂直同期信号ＶＳａの立ち上がりで、第１の制御信号ＣＴ１ａを生成している。

ここで、前記のように、焦点距離を切り替えるタイミングは、撮像素子１８ａが１フレームの電荷蓄積を終了したときから、次のフレームの電荷蓄積の開始するときまでのいずれかのタイミングであればよい。従って、別の例として、カメラ制御部２０ａは、垂直同期信号ＶＳａの立ち下がり、または垂直同期信号ＶＳａの立ち上がりから所定時間（例えば１ｍｓ）が経過したタイミングで第１の制御信号ＣＴ１ａを生成してもよい。また、図５（Ａ）〜図５（Ｃ）に示された“Ｔｅｌｅ”と“Ｗｉｄｅ”との組み合わせは一例であり、前記のように、カメラ制御部２０ａは、これらの組み合わせを自由に変えることが可能である。

車載カメラシステム１０が備える本実施形態の撮像装置（フロントカメラ１１ａ等）は、前記のように、電気的に焦点距離を変更可能な可変焦点素子３０ａを備える撮像光学系１７ａと、可変焦点素子３０ａの焦点距離を設定する第１の制御信号ＣＴ１ａを生成するカメラ制御部２０ａと、撮像光学系１７ａによって結像される被写体像を光電変換して原画像信号１１８ａを生成する撮像素子１８ａと、を備える。そして、カメラ制御部２０ａは、１フレームの電荷蓄積を終了してから次のフレームの電荷蓄積を開始するまでの間のあるタイミングで、第１の制御信号ＣＴ１ａを変更する。そのため、本実施形態の撮像装置（フロントカメラ１１ａ等）は、画角の異なる画像をフレームの欠落なく連続して取得することが可能である。このとき、原画像信号１１８ａと画像信号１１９ａとにおけるフレームレートを調整することで、画角の異なる画像を実質的に並行に得ることが可能である。そして、撮像光学系１７ａは２つ以上の光学系で構成されるわけではなく、撮像素子１８ａも異なる画角の複数の画像を同時に結像させるわけでもない。よって、本実施形態の撮像装置（フロントカメラ１１ａ等）は、特許文献１に記載された技術を用いた装置と比べても、小型化が可能である。

（変形例）
本発明を図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、前記の実施形態において、カメラ制御部２０ａは可変焦点素子３０ａの焦点距離を変更可能であったが、さらに撮像光学系１７ａの光軸を変更可能（例えば、偏向が可能）であってもよい。この変形例の具体的な構成について図８を参照して説明する。なお、図８において、図３と同じ要素には同じ符号を付しており詳細な説明を省略する。

図８に示される本変形例のフロントカメラ１１ａの撮像光学系１７ａは、電気的に撮像光学系１７ａの光軸を変更可能な液晶素子３１ａ（第２の光学素子に対応）をさらに備える。図８の例では、複数の可変焦点素子３０ａが存在し、液晶素子３１ａがこれらの可変焦点素子３０ａに挟まれている。このとき、可変焦点素子３０ａによって収束した光に対して光軸を変更すればよいので、液晶素子３１ａの大きさを小型にできるというメリットがある。また、別の例として、可変焦点素子３０ａは１つであり、液晶素子３１ａは可変焦点素子３０ａの前または後ろに配置されてもよい。このとき、複数の可変焦点素子３０ａに挟まれる場合に比べて、液晶素子３１ａの配置の自由度は高くなる。

撮像光学系１７ａの光軸を変更可能とすることで、移動体１５の走行状態に応じて特定方向の被写体像を撮像素子１８ａで結像させることができる。例えば、カメラ制御部２０ａは、制御情報ＣＣＩの操舵角情報から移動体１５が右折または左折して新たな道路に入ると判断したときに、後述するように第２の制御信号ＣＴ２ａによって、新たな道路の方向の被写体が撮像素子１８ａの有効撮像エリアで結像するように調整可能である。このとき、カメラ制御部２０ａは、第１の制御信号ＣＴ１ａと同じタイミングで、撮像光学系１７ａの光軸を設定する第２の制御信号ＣＴ２ａを変更できる。

撮像光学系１７ａの液晶素子３１ａは、液晶の分子の配向を変化させることで光軸を変更する。液晶素子３１ａは、例えば液晶を電極で挟んだ構成であって、電極間の電圧を調整可能である。電極に印加される電圧に応じて液晶ＬＣの分子の配向が変化することで、撮像光学系１７ａ全体としての光軸が調整され、撮像光学系１７ａの光軸を素早く変更可能である。

カメラ制御部２０ａは、第１の制御信号ＣＴ１ａと同じように、移動体１５の走行状態（例えば速度等）に応じて第２の制御信号ＣＴ２ａを変更できる。カメラ制御部２０ａは、前記のように、制御情報取得部２２ａを介して得られる制御情報ＣＣＩにより、移動体１５の走行状態（例えば速度等）を把握できる。

例えば、カメラ制御部２０ａは、移動体１５の速度が高速であると判断したときに、レンズＬ１ａの正面の遠方（上方）の像を撮像素子１８ａの有効撮像エリアの中心部で結像させるように、液晶素子３１ａの光軸を変化させてもよい。このとき、画像処理部１９ａは、通常よりも遠方の被写体を望遠画像に含めて、被写体認識を実行することができる。また、例えば、カメラ制御部２０ａは、移動体１５の速度が低速であると判断したときに、逆にレンズＬ１ａの正面の近傍（下方）の像を撮像素子１８ａの有効撮像エリアの中心部で結像させるように、液晶素子３１ａの光軸を変化させてもよい。なお、カメラ制御部２０ａは、このような液晶素子３１ａの光軸の変更を、望遠画像を取得するときに実行してもよい。

カメラ制御部２０ａは、第１の制御信号ＣＴ１ａによって可変焦点素子３０ａの焦点距離を変更する場合と同様に、例えば垂直同期信号ＶＳａに同期して、フレームごとに液晶素子３１ａの光軸を変更することができる。前記のような光軸の変更を、例えばモータ等を用いて物理的にレンズＬ１ａの傾きを調整することで実現する場合、垂直同期信号ＶＳａの１フレーム分の期間内に撮像光学系１７ａの光軸を変更することは困難である。この場合、撮像光学系１７ａの光軸を切り替える途中で生成された原画像信号１１８ａは移動体１５の周辺領域を正しく撮像したものではなく、使用することができない。つまり、フロントカメラ１１ａは、液晶素子３１ａを用いて撮像光学系１７ａの光軸を変更することで、フレームの欠落なく被写体像を撮像素子１８ａで結像させることができる。

１０ 車載カメラシステム
１１ａ フロントカメラ
１１ｂ リアカメラ
１１ｃ 左サイドカメラ
１１ｄ 右サイドカメラ
１２ 画像処理装置
１３ 表示装置
１４ 車載ネットワーク
１５ 移動体
１６ ドアミラー
１７ａ、１７ｂ、１７ｃ、１７ｄ 撮像光学系
１８ａ、１８ｂ、１８ｃ、１８ｄ 撮像素子
１９ａ、１９ｂ、１９ｃ、１９ｄ 画像処理部
２０ａ、２０ｂ、２０ｃ、２０ｄ カメラ制御部
２１ 画像取得部
２２ａ、２２ｂ、２２ｃ、２２ｄ 画像取得部
２６ 画像処理部
３０ａ 可変焦点素子
３１ａ 液晶素子
１１８ａ 原画像信号
１１９ａ 画像信号

Claims (7)

1. 電気的に焦点距離を変更可能な第１の光学素子を備える撮像光学系と、
   前記第１の光学素子の焦点距離を設定する第１の制御信号を生成する制御部と、
   前記撮像光学系によって結像される被写体像を光電変換して原画像信号を生成する撮像素子と、を備え、
   前記制御部は、前記撮像素子が１フレームの電荷蓄積を終了してから次のフレームの電荷蓄積を開始するまでの間の所定のタイミングで前記第１の制御信号を変更する撮像装置。
2. 前記制御部は、
   前記撮像装置が搭載された移動体の制御情報を取得する制御情報取得部を備え、
   前記制御情報に応じた前記第１の制御信号を生成する、請求項１に記載の撮像装置。
3. 前記制御部は、
   前記所定のタイミングで、前記第１の光学素子の焦点距離を、第１の焦点距離と、前記第１の焦点距離とは異なる第２の焦点距離とに交互に設定する、請求項１または２に記載の撮像装置。
4. 前記第１の光学素子は、
   液晶レンズまたは液体レンズである、請求項１から３のいずれか１項に記載の撮像装置。
5. 前記原画像信号から被写体の認識を行う画像処理部を備え、
   前記画像処理部は、
   前記第１の光学素子の焦点距離が異なる画像のそれぞれについて、互いに異なる領域における被写体の認識を行う、請求項１から４のいずれか１項に記載の撮像装置。
6. 前記撮像光学系は、
   電気的に前記撮像光学系の光軸を変更可能な第２の光学素子をさらに備え、
   前記制御部は、
   前記所定のタイミングで、前記撮像光学系の光軸を設定する第２の制御信号を変更する、請求項１から５のいずれか１項に記載の撮像装置。
7. 請求項１から６のいずれか１項に記載の撮像装置を備える車載カメラシステム。