JP2018201169A - 撮像装置、撮像方法、プログラム、車載カメラ、及び車両 - Google Patents

Abstract

【課題】撮像画像の取り込み及び補正に費やされる時間を低減できる撮像装置、撮像方法、プログラム、車載カメラ、及び車両を提供する。【解決手段】撮像装置１は、撮像レンズ１８と、撮像レンズ１８を介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子１６と、撮像素子１６に対して前記所定の取り込み範囲を指定し、撮像素子１６から撮像画像を取得し、補正データに基づいて撮像画像の歪みを補正するプロセッサ１０とを備える。プロセッサ１０は、補正データに基づいて所定の取り込み範囲を決定する。【選択図】図１

Description

本開示は、撮像装置、撮像方法、プログラム、車載カメラ、及び車両に関する。

撮影レンズのディストーションに起因する歪みが含まれる撮像画像を、補正データによって補正する撮像装置が知られている（例えば、特許文献１参照）。

特開平６−２９２２０７号公報

撮像画像は、種々の目的で撮像されるが、その目的を達するために必要とされない部分を含みうる。撮像画像が歪みを含む場合、撮像画像全体が補正された上で、必要とされる部分だけが選択されうる。この場合、必要とされない部分の撮像画像の取り込み及び補正に費やされる時間が冗長となりうる。

本開示の目的は、撮像画像の取り込み及び補正に費やされる時間を低減できる撮像装置、撮像方法、プログラム、車載カメラ、及び車両を提供することにある。

本開示の一実施形態に係る撮像装置は、撮像レンズと、前記撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子とを備える。前記撮像装置は、前記撮像素子に対して前記所定の取り込み範囲を設定し、前記撮像素子から撮像画像を取得し、補正データに基づいて、前記撮像画像の歪みを補正するプロセッサを備える。前記プロセッサは、前記補正データに基づいて、前記所定の取り込み範囲を決定する。

本開示の一実施形態に係る撮像方法は、撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子に対して、前記所定の取り込み範囲を設定するステップを含む。前記撮像方法は、前記撮像素子から撮像画像を取得するステップを含む。前記撮像方法は、補正データに基づいて、前記撮像画像の歪みを補正するステップを含む。前記撮像方法は、前記補正データに基づいて、前記所定の取り込み範囲を決定するステップを含む。

本開示の一実施形態に係るプログラムは、プロセッサに、撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子に対して、前記所定の取り込み範囲を設定するステップを実行させる。前記プログラムは、プロセッサに、前記撮像素子から撮像画像を取得するステップを実行させる。前記プログラムは、プロセッサに、補正データに基づいて、前記撮像画像の歪みを補正するステップを実行させる。前記プログラムは、プロセッサに、前記補正データに基づいて、前記所定の取り込み範囲を決定するステップを実行させる。

本開示の一実施形態に係る車載カメラは、車両に搭載される。前記車載カメラは、撮像レンズと、前記撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子とを備える。前記車載カメラは、前記撮像素子に対して前記所定の取り込み範囲を設定し、前記撮像素子から撮像画像を取得し、補正データに基づいて、前記撮像画像の歪みを補正するプロセッサを備える。前記プロセッサは、前記補正データに基づいて、前記所定の取り込み範囲を決定する。

本開示の一実施形態に係る車両は、撮像装置を搭載する。前記撮像装置は、撮像レンズと、前記撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子とを備える。前記撮像装置は、前記撮像素子に対して前記所定の取り込み範囲を設定し、前記撮像素子から撮像画像を取得し、補正データに基づいて、前記撮像画像の歪みを補正するプロセッサを備える。前記プロセッサは、前記補正データに基づいて、前記所定の取り込み範囲を決定する。

本開示の一実施形態に係る撮像装置、撮像方法、プログラム、車載カメラ、及び車両によれば、撮像画像の取り込み及び補正に費やされる時間が低減されうる。

一実施形態に係る撮像装置の構成例を示すブロック図である。 撮像装置が移動体に搭載される構成例を示す図である。 補正テーブルの一例を示す図である。 （Ａ）補正前の撮像画像の一例（Ｂ）補正後の画像の一例を示す図である。 （Ａ）補正前の撮像画像の一例（Ｂ）補正後の画像の一例を示す図である。 取り込み範囲の一例を示す図である。 取り込み範囲の一例を示す図である。 表示装置の構成例を示すブロック図である。 撮像装置が実行する撮像方法の手順の一例を示すフローチャートである。

図１に示されるように、一実施形態に係る撮像装置１は、制御部１０と、記憶部１２と、撮像部１４とを備える。撮像部１４は、撮像素子１６と、撮像レンズ１８とを備える。

制御部１０は、撮像装置１の各構成部を制御する。制御部１０は、例えばプロセッサとして構成されてよい。制御部１０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（Integrated Circuit）を含んでよい。特定用途向けＩＣは、ＡＳＩＣ（Application Specific Integrated Circuit）ともいう。プロセッサは、プログラマブルロジックデバイスを含んでよい。プログラマブルロジックデバイスは、ＰＬＤ（Programmable Logic Device）ともいう。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部１０は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

記憶部１２は、撮像装置１の動作に係る各種情報又はパラメータを格納する。記憶部１２は、例えば半導体メモリ等で構成されてよい。記憶部１２は、制御部１０のワークメモリとして機能してよい。記憶部１２は、撮像画像を格納してよい。記憶部１２は、制御部１０が撮像画像に基づく検出処理を行うための各種パラメータ等を格納してよい。記憶部１２は、制御部１０に含まれてよい。

撮像部１４は、撮像レンズ１８を介して結像する被写体像を撮像素子１６で撮像し、撮像した画像を出力する。撮像部１４で撮像された画像は、撮像画像ともいう。

撮像素子１６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）等で構成されてよい。撮像素子１６は、複数の画素が並ぶ撮像面を有する。各画素は、入射した光量に応じて電流又は電圧で特定される信号を出力する。各画素が出力する信号は、撮像データともいう。

撮像データは、全ての画素について撮像部１４で読み出され、撮像画像として制御部１０に取り込まれてよい。全ての画素について読み出された撮像画像は、最大撮像画像ともいう。撮像データは、一部の画素について撮像部１４で読み出され、撮像画像として取り込まれてよい。言い換えれば、撮像データは、所定の取り込み範囲の画素から読み出されてよい。所定の取り込み範囲の画素から読み出された撮像データは、撮像画像として取り込まれてよい。所定の取り込み範囲は、制御部１０によって設定されてよい。撮像部１４は、制御部１０から所定の取り込み範囲を取得してよい。撮像素子１６は、撮像レンズ１８を介して結像する被写体像のうち所定の取り込み範囲の画像を撮像してよい。

複数の画素は、例えば撮像面内に格子状に並んでよい。各画素は、撮像面内における座標で特定されてよい。撮像データは、各画素から読み出されてよい。つまり、所定の取り込み範囲は、１つの画素を単位として設定されてよい。

複数の画素は、ライン状に並ぶ画素を１つの単位として、複数のラインにわたって並列に並んでよい。１つのラインに並ぶ画素は、ライン画素ともいう。言い換えれば、複数の画素は、複数のライン画素が並列に並んで構成されてよい。撮像データは、各ライン画素から一括して読み出されてよい。つまり、所定の取り込み範囲は、ライン画素を単位として設定されてよい。

ライン画素から一括して撮像データを読み出すための時間は、ライン画素に含まれる各画素から個別に撮像データを読み出すための時間より、短くなりうる。所定の取り込み範囲が各ラインの画素を単位として設定されることによって、読み出し速度が向上されうる。結果として、撮像画像を生成するフレームレートが向上されうる。一方で、同じフレームレートで、各フレームの露出時間が長くされうる。結果として、各フレームでより明るい画像が取得されうる。

撮像レンズ１８は、被写体から入射した光を撮像素子１６の撮像面において被写体像として結像する。撮像レンズ１８は、ディストーションを有しうる。撮像レンズ１８のディストーションは、撮像画像に歪みを生じさせうる。撮像レンズ１８のディストーションは、撮像レンズ１８の特性に含まれうる。

図２に示されるように、撮像装置１は、移動体１００に搭載されうる。移動体１００に搭載される撮像装置１は、車載カメラともいう。移動体１００は、表示装置１１０と、バンパー１２０とを備える。図２の移動体１００は、前方をＺ軸の負の方向に向け、後方をＺ軸の正の方向に向けている。表示装置１１０は、移動体１００の前方に設けられるものとする。バンパー１２０は、移動体１００の後方に設けられるものとする。撮像装置１は、バンパー１２０の近傍に搭載されるものとする。撮像装置１は、撮像素子１６と撮像レンズ１８との光軸がＺ軸方向に沿うものとする。この場合、撮像装置１は、移動体１００の後方を撮像しうる。撮像装置１は、移動体１００の後方に限られず、前方又は側方等の種々の方向で移動体１００の周囲を撮像できるように、移動体１００の種々の箇所に搭載されてよい。

撮像装置１は、移動体１００の所定の位置に搭載されてよい。撮像装置１は、移動体１００に対して所定の角度で搭載されてよい。所定の位置及び角度は、移動体１００の構成に応じて決定されてよい。所定の位置は、移動体１００のルームミラー若しくはバックミラー、又はサイドミラー等の各種のミラーが設けられる位置であってよい。所定の位置及び角度は、移動体１００の運転者が各種のミラーによって視認しうる範囲を含む画像を、撮像装置１が撮像できる位置及び角度であってよい。本実施形態において、撮像装置１が移動体１００の設計に基づいて正確に搭載される場合の所定の位置及び角度はそれぞれ、基準位置及び基準角度ともいう。撮像装置１が実際に移動体１００に搭載された位置及び角度はそれぞれ、搭載位置及び搭載角度ともいう。搭載位置及び搭載角度はそれぞれ、基準位置及び基準角度に対して誤差を有しうる。搭載位置及び搭載角度の誤差はそれぞれ、搭載位置誤差及び搭載角度誤差ともいう。搭載位置誤差及び搭載角度誤差は、搭載誤差と総称される。基準位置及び搭載位置は、３次元座標で特定されうる。基準角度及び搭載角度は、パン角、チルト角及びロール角と呼ばれる３つの角度で特定されうる。ロール角は、撮像素子１６と撮像レンズ１８との光軸周りの回転の角度であるものとする。つまり、ロール角は、Ｚ軸周りの回転角度であるものとする。パン角は、Ｙ軸周りの回転角度であるものとする。チルト角は、Ｘ軸周りの回転角度であるものとする。

制御部１０は、撮像部１４から撮像画像を取得する。撮像レンズ１８がディストーションを有する場合、撮像画像は、歪みを含みうる。撮像装置１が搭載される位置が基準位置に対して誤差を有する場合、又は、撮像装置１が向く方向が基準方向に対して誤差を有する場合、撮像画像は、歪みを含みうる。

制御部１０は、撮像画像が歪みを含む場合、撮像画像を補正し、歪みを低減させうる。撮像画像の歪みが撮像レンズ１８の特性に起因する場合、制御部１０は、撮像レンズ１８の特性に対応する補正データに基づいて、撮像画像を補正しうる。撮像レンズ１８の特性に起因する歪みは、レンズ特性歪みともいう。撮像画像の歪みが撮像装置１の搭載位置の誤差、又は、撮像装置１の方向の誤差に起因する場合、制御部１０は、撮像装置１の搭載誤差に対応する補正データに基づいて、撮像画像を補正しうる。撮像装置１の搭載誤差に起因する歪みは、搭載誤差歪みともいう。

補正データは、撮像装置１にテストチャートを撮像させて得られる撮像画像に基づいて決定されうる。テストチャートは、所定の座標を示すドット、ライン、又はマーク等のパターンを含んでよい。テストチャートにおいてパターンが位置する座標は、基準座標ともいう。補正データは、撮像画像におけるマークの座標と、基準座標との差に基づいて決定されてよい。補正データは、撮像画像におけるマークの座標が基準座標に近づくように決定されてよい。

補正データは、例えば図３に示されるように、補正前の撮像画像の各画素の座標と、補正後の撮像画像の各画素の座標との対応関係を特定するテーブルで表現されてよい。図３において、補正後の画像の各画素のＸ座標及びＹ座標は、テーブルの列番号及び行番号にそれぞれ対応する。補正後の画像は、Ｘ方向及びＹ方向にそれぞれｍ個及びｎ個並ぶ画素で構成されるものとする。テーブルの各セルには、（ｘ₁₁、ｙ₁₁）等の座標が関連付けられる。各セルに関連付けられた座標は、補正後の画像を生成するために用いられる、補正前の撮像画像の参照座標を表している。つまり、補正後の画像の各座標に記録される画像情報は、補正前の撮像画像の、テーブルに関連付けられた座標に記録されている画像情報に対応する。例えば、補正後の画像の（１，１）に記録される画像情報は、補正前の撮像画像の（ｘ₁₁、ｙ₁₁）に記録されている画像情報に対応する。制御部１０は、補正データを表現するテーブルを記憶部１２に格納してよい。

補正後の撮像画像の一部の画素には、補正前の撮像画像の複数の画素が重複して配置されることがある。つまり、補正後の撮像画像は、データが重複する画素を有しうる。この場合、その画素のデータは、重複する複数のデータから１つだけ選択されてよいし、重複する複数のデータを平均化する等の演算によって生成されてよい。

レンズ特性歪みを補正する補正データは、レンズの設計値に基づいて決定されうる。又は、レンズ特性歪みを補正する補正データは、撮像装置１が基準位置及び基準角度で設置された状態でテストチャートを撮像して得られた撮像画像に基づいて決定されうる。搭載誤差歪みを補正する補正データは、撮像装置１が移動体１００に搭載された状態でテストチャートを撮像して得られた撮像画像に基づいて決定されうる。撮像装置１が移動体１００に搭載された状態でテストチャートを撮像して得られた撮像画像は、レンズ特性歪みを含みうる。

搭載誤差歪みを補正する補正データは、レンズ特性歪みを補正する補正データを考慮することで、より高い精度で決定されうる。言い換えれば、撮像装置１が移動体１００に搭載された状態でテストチャートを撮像して得られた撮像画像に基づいて決定された補正データは、レンズ特性歪みと、搭載誤差歪みをあわせて補正しうる。

搭載誤差歪みを補正する補正データは、座標の変換行列の計算によって算出されてよい。例えば、撮像装置１のパン角が誤差を有する場合、パン角の誤差に基づく撮像画像の歪みを表す行列が決定されうる。例えば、撮像装置１のＸ座標が誤差を有する場合、Ｘ座標の誤差に基づく撮像画像の歪みを表す行列が決定されうる。

搭載誤差歪みのうち、搭載位置誤差に起因する歪みは、搭載角度誤差に起因する歪みと比較して、無視できる程度に十分小さいものとする。この場合、制御部１０は、パン角、ロール角及びチルト角それぞれの誤差に基づく行列の積から、補正データを算出しうる。パン角及びチルト角それぞれの誤差は、撮像画像の台形歪みを引き起こしうる。つまり、パン角及びチルト角それぞれの誤差に基づく行列は、撮像画像の台形歪みを補正するパラメータを有する。ロール角の誤差は、撮像画像の回転を引き起こしうる。つまり、ロール角の誤差に基づく行列は、撮像画像の回転を補正するパラメータを有する。

制御部１０は、撮像装置１の搭載誤差を外部から取得するように構成されてよい。制御部１０は、搭載誤差の各要素に基づく行列の積を計算し、搭載誤差を補正するパラメータを含む行列を算出してよい。制御部１０は、その行列に基づいてテーブル形式の補正データを生成してよい。制御部１０は、生成した補正データを記憶部１２に格納してよい。この場合、制御部１０は、テーブル形式の補正データを生成するときに行列を計算すれば、撮像装置１の搭載状態が維持される間、行列を再び計算しなくてよい。制御部１０は、テーブル形式の補正データを参照することによって、行列を計算する場合と比べて、少ない計算負荷で撮像画像を補正しうる。結果として、撮像画像のフレームレートが向上されうる。

搭載誤差歪みを補正する補正データは、撮像装置１の搭載誤差の大きさと撮像画像の歪みとの関係を表すテーブルに基づいて算出されてよい。例えば、パン角、ロール角及びチルト角がそれぞれ、Δα、Δβ及びΔγで表される搭載角度誤差を有する場合、Δα、Δβ及びΔγの組み合わせごとに撮像画像の歪みが予め算出されうる。搭載角度誤差は、パン角、ロール角及びチルト角それぞれの誤差を所定の角度毎に増減させた組み合わせであってよい。例えば、Δα＝０．２度、Δβ＝０．３度、Δγ＝−０．１度となるときの撮像画像の歪みが予め算出されてよい。

実際の搭載角度誤差は、予め算出された撮像画像の歪みに対応する搭載角度誤差と一致しないことがありうる。例えば、Δα＝０．２度及びΔα＝０．３度それぞれにおける撮像画像の歪みが予め算出されている場合に、実際の搭載角度誤差がΔα＝０．２５度であるものとする。この場合、Δα＝０．２度における撮像画像の歪み、及び、Δα＝０．３度における撮像画像の歪みに基づく補間処理によって、Δα＝０．２５度における撮像画像の歪みが算出されうる。つまり、搭載角度誤差のパラメータが離散的であっても、制御部１０は、補間処理によって実際の搭載角度誤差に応じた撮像画像の歪みを算出し、その歪みに基づいてテーブル形式の補正データを算出しうる。搭載角度誤差のパラメータが離散的にされうることによって、予め算出されるべきデータ量が低減されうる。

補正データは、レンズ特性歪みと、搭載誤差歪みを、切り分けて補正するように構成されてよい。つまり、レンズ特性歪みを補正する補正データと、搭載誤差歪みを補正する補正データとが個別に決定されてよい。補正データは、レンズ特性歪みと、搭載誤差歪みをあわせて補正するように構成されてよい。

制御部１０は、撮像画像に含まれる特徴点を抽出し、その特徴点に基づいて補正データを逐次算出してよい。この場合であっても、制御部１０は、算出した補正データに基づいて、所定の取り込み範囲を決定してよい。

撮像画像の歪みが撮像レンズ１８の特性に起因する場合、制御部１０は、図４（Ａ）に例示される撮像画像を補正データに基づいて補正し、図４（Ｂ）に例示される補正画像を生成しうる。図４（Ａ）及び図４（Ｂ）において、格子状に並ぶ白抜きの線の交点がテストチャートのパターンに対応する。図４（Ａ）において太線で示される補正前ライン７１及び７２は、それぞれ上及び下に凸となるように湾曲している。つまり、撮像画像が歪みを有している。一方、図４（Ｂ）において太線で示される補正後ライン８１及び８２は、補正前ライン７１及び７２と比較して、それぞれ直線に近づいている。つまり、補正によって撮像画像の歪みが低減されている。

撮像画像の歪みが撮像装置１の搭載位置及び搭載角度の誤差に起因する場合、制御部１０は、図５（Ａ）に例示される撮像画像を補正データに基づいて補正し、図５（Ｂ）に例示される補正画像を生成しうる。図５（Ａ）及び図５（Ｂ）において、ドットがテストチャートのパターンに対応する。図５（Ａ）において太線で示される補正前ライン７３及び７４は、それぞれ湾曲している。つまり、撮像画像が歪みを有している。図５（Ａ）に例示される撮像画像は、パンについて右方向の誤差、チルトについて上方向の誤差、及び、ロールについて時計回り方向の誤差を有する。一方、図５（Ｂ）において太線で示される補正後ライン８３及び８４は、補正前ライン７３及び７４と比較して、それぞれ直線に近づいている。つまり、補正によって撮像画像の歪みが低減されている。

撮像画像が歪みを有する場合、制御部１０は、所定の取り込み範囲を、歪みに基づいて決定してよい。例えば、制御部１０は、図４（Ｂ）の補正後ライン８１及び８２の間の画像を取得し、それ以外の画像を取得する必要がない場合、図４（Ａ）の補正前ライン７１の上側及び補正前ライン７２の下側の画像を取得しなくてよい。この場合、制御部１０は、補正後ライン８１及び８２から、補正データに基づいて図６に示される補正前ライン７１及び７２を逆算してよい。制御部１０は、逆算した補正前ライン７１及び７２に基づいて、図６に示される取り込みライン９１及び９２によって挟まれる範囲を所定の取り込み範囲として設定してよい。所定の取り込み範囲は、補正前ライン７１及び７２によって挟まれる範囲の画素を含むように設定されてよい。

制御部１０は、図５（Ｂ）の補正後ライン８３及び８４の間の画像を取得し、それ以外の画像を取得する必要がない場合、図５（Ａ）の補正前ライン７３の上側及び補正前ライン７４の下側の画像を取得しなくてよい。この場合、制御部１０は、補正後ライン８３及び８４から、補正データに基づいて図７に示される補正前ライン７３及び７４を逆算してよい。制御部１０は、逆算した補正前ライン７３及び７４に基づいて、図７に示される取り込みライン９３及び９４によって挟まれる範囲を所定の取り込み範囲として設定してよい。所定の取り込み範囲は、補正前ライン７３及び７４によって挟まれる範囲の画素を含むように設定されてよい。

図６において、Ｙ座標は、上から下に向けて増加するものとする。図６における取り込みライン９１及び９２それぞれのＹ座標は、補正前ライン７１のＹ座標の最小値、及び、補正前ライン７２のＹ座標の最大値に対応する。図３のテーブルにおいて、ａ及びｂで示されるＹ座標は、それぞれ図４（Ｂ）の補正後ライン８１及び８２のＹ座標に対応するものとする。制御部１０は、補正後ライン８１及び８２で挟まれる画像が必要とされる場合、図３のテーブルにおいて、Ｙ座標がａ以上且つｂ以下であるセルに関連付けられた参照座標に基づいて、補正前の撮像画像における参照座標の画像情報を補正後の画像に代入する。つまり、制御部１０は、補正後ライン８１及び８２それぞれのＹ座標に基づいて、取り込みライン９１及び９２それぞれのＹ座標を算出し、所定の取り込み範囲を決定してよい。

本実施形態に係る撮像装置１によれば、補正後の撮像画像として必要とされる範囲から補正データに基づいて、補正前の撮像画像の取り込み範囲が決定されうる。つまり、撮像画像の歪みに基づいて、撮像画像の取り込み範囲が決定されうる。このようにすることで、撮像画像の取り込み範囲が限定されても、補正後の撮像画像においてケラレが発生しにくくなる。結果として、本実施形態に係る撮像装置１は、撮像画像を比較的高いフレームレートで取得しつつ、補正後にケラレが発生しにくい撮像画像を取得しうる。

図８に示されるように、移動体１００に搭載される表示装置１１０は、表示制御部１１２と、表示部１１４と、検出部１１６と、入力部１１８とを備える。

表示制御部１１２は、表示部１１４に画像を表示させる。表示制御部１１２は、撮像装置１から取得した撮像画像を表示部１１４に表示させてよい。表示制御部１１２は、撮像画像に画像処理を施した画像を表示部１１４に表示させてよい。表示制御部１１２は、例えばプロセッサとして構成されてよい。表示制御部１１２は、撮像装置１の制御部１０と同様に、又は、類似に構成されてよい。

表示制御部１１２は、制御部１０又は外部装置等と通信するための通信デバイスを備えてよい。通信デバイスは、例えば、ＬＡＮ（Local Area Network）又はＣＡＮ（Control Area Network）等の通信インターフェースであってよい。移動体１００は、通信デバイスを通信部として備えてよい。通信デバイスは、有線または無線によって、制御部１０又は外部装置等と通信可能に構成されてよい。表示制御部１１２は、制御部１０又は外部装置等から、撮像画像又は各種情報等のデータを取得してよい。表示制御部１１２は、制御部１０又は外部装置等に各種情報等のデータを出力してよい。

表示部１１４は、例えば撮像装置１から取得した撮像画像を表示してよい。表示部１１４は、例えば液晶、有機ＥＬ（Electro-Luminescence）、無機ＥＬ又はＬＥＤ（Light Emission Diode）等の表示デバイスで構成されてよい。

検出部１１６は、移動体１００の運転者の頭部の位置若しくは目の位置、又は、視線方向等を検出する。検出部１１６は、検出結果を表示制御部１１２に出力する。検出部１１６は、例えば、カメラで構成されてよい。検出部１１６は、カメラで運転者を撮像し、画像処理によって運転者の頭部の位置若しくは目の位置、又は、視線方向等を検出してよい。検出部１１６は、例えば、超音波センサ又は赤外線センサ等のセンサで構成されてよい。検出部１１６は、センサで運転者の頭部の位置等を検出してよい。

表示制御部１１２は、検出部１１６から検出結果を取得してよい。表示制御部１１２は、運転者の頭部の位置又は目の位置に応じて、最大撮像画像のうち少なくとも一部の領域を選択し、表示部１１４に表示させてよい。このようにすることで、例えば運転者がサイドミラー等のミラーに映る像を視認する際に、運転者が頭部の位置又は目の位置を動かすことによって、運転者に視認される範囲が変化する状況が再現されうる。

入力部１１８は、移動体１００の運転者の操作入力を受け付ける。入力部１１８は、物理キー又はレバー等であってよい。入力部１１８は、タッチセンサであってよい。タッチセンサは、表示部１１４に含まれ、タッチパネルとして構成されてよい。表示制御部１１２は、入力部１１８が受け付けた操作入力を取得してよい。表示制御部１１２は、操作入力に基づいて、最大撮像画像のうち表示部１１４に表示する範囲を決定してよい。例えば、入力部１１８が運転者から方向を指示する入力を受け付けた場合、表示制御部１１２は、最大撮像画像のうち表示部１１４に表示する範囲を、その方向に応じて動かしてよい。このようにすることで、運転者がサイドミラーの方向を手動で調整する状況が再現されうる。

表示制御部１１２は、撮像画像から所定の物体を認識してよい。表示制御部１１２は、所定の物体を認識した場合、撮像画像に映っている所定の物体を強調するための図形若しくは記号、又は文字等を撮像画像に重畳し、表示部１１４に表示させてよい。所定の物体は、例えば、障害物であってよいし、他の移動体であってよいし、人間又は動物等であってよい。

表示制御部１１２は、最大撮像画像の一部の領域を対象として、所定の物体を認識してよい。例えば、最大撮像画像に空を映した領域が含まれる場合、表示制御部１１２は、その領域を認識の対象外としてよい。最大撮像画像にバンパー１２０を映した領域が含まれる場合、表示制御部１１２は、その領域を認識の対象外としてよい。表示制御部１１２は、入力部１１８から取得した運転者の操作入力に基づいて、最大撮像画像のうち、所定の物体を認識する範囲を設定してよい。

表示制御部１１２は、表示の対象となる領域、及び、所定の物体を認識する対象となる領域の少なくとも一方を、最大撮像画像の一部に限定しうる。この場合、制御部１０は、最大撮像画像のうち、表示制御部１１２における処理の対象とならない部分を省略して取り込まれた撮像画像を取得してよい。つまり、撮像画像を生成する際、取り込み範囲が狭くされてよい。取り込み範囲が狭くされることによって、撮像データを読み出すための時間が短縮されうる。結果として、フレームレートが向上されうる。

表示制御部１１２は、最大撮像画像のうち、表示の対象となる領域、及び、所定の物体を認識する対象となる領域の少なくとも一方に関する情報を、撮像装置１の制御部１０に出力してよい。表示の対象となる領域、及び、所定の物体を認識する対象となる領域の少なくとも一方に関する情報は、対象領域情報ともいう。対象領域情報は、予め記憶部１２に格納されていてよい。制御部１０は、表示制御部１１２又は記憶部１２から対象領域情報を取得してよい。制御部１０は、対象領域情報に基づいて、撮像素子１６から撮像データを読み出す際の所定の取り込み範囲を決定してよい。制御部１０は、所定の取り込み範囲を撮像部１４に出力してよい。撮像部１４は、所定の取り込み範囲で撮像素子１６から撮像データを読み出す。撮像データを読み出す範囲が限定されることによって、撮像データを読み出すフレームレートが向上されうる。

表示制御部１１２は、対象領域情報に基づいて、撮像装置１の撮像素子１６から撮像データを読み出す際の所定の取り込み範囲を決定してよい。この場合、撮像装置１の制御部１０は、表示制御部１１２から、所定の取り込み範囲を取得してよい。

撮像装置１の制御部１０は、図９に示されるフローチャートの手順に沿った撮像方法を実行しうる。

制御部１０は、補正データを取得する（ステップＳ１）。制御部１０は、予め記憶部１２に格納される補正データを取得してよい。制御部１０は、撮像部１４からテストチャートを撮像して得られた撮像画像を取得し、撮像画像に基づいて補正データを算出してよい。

制御部１０は、表示制御部１１２又は記憶部１２から対象領域情報を取得する（ステップＳ２）。制御部１０が対象領域情報を取得しないこともありうる。

制御部１０は、補正データに基づいて、所定の取り込み範囲を決定する（ステップＳ３）。制御部１０は、対象領域情報を取得した場合、さらに対象領域情報にも基づいて、所定の取り込み範囲を決定する。

制御部１０は、所定の取り込み範囲を撮像部１４に出力する。撮像部１４は、撮像素子１６から所定の取り込み範囲で撮影データを取り込み、撮像画像を生成する。制御部１０は、撮像部１４から撮像画像を取得する（ステップＳ４）。

制御部１０は、撮像画像を補正データに基づいて補正し、補正後画像を生成する（ステップＳ５）。制御部１０は、ステップＳ５の後、図９のフローチャートの手順を終了する。制御部１０は、ステップＳ５の後、ステップＳ４に戻り、撮像画像を取得してよい。制御部１０は、ステップＳ５の後、ステップＳ１又はＳ２に戻り、取り込み範囲を再度決定し、ステップＳ４で撮像画像を取得してよい。

本実施形態に係る撮像装置１及び撮像方法によれば、撮像素子１６から撮像データを読み出す範囲を限定することができる。結果として、撮像データを読み出すフレームレートが向上されうる。

本開示における「移動体」には、車両、船舶、航空機が含まれる。本開示における「車両」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における船舶は、マリンジェット、ボート、タンカーを含む。本開示における航空機は、固定翼機、回転翼機を含む。

本開示に係る撮像装置１は、移動端末又は携帯端末等に搭載されてよい。本開示に係る撮像装置１は、据え置き型の装置に搭載されてよい。本開示に係る撮像装置１は、据え置き型装置又は移動型装置等として単独で使用されてよい。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

１ 撮像装置
１０ 制御部
１２ 記憶部
１４ 撮像部
１６ 撮像素子
１８ 撮像レンズ
７１〜７４ 補正前ライン
８１〜８４ 補正後ライン
９１〜９４ 取り込みライン
１００ 移動体
１１０ 表示装置
１１２ 表示制御部
１１４ 表示部
１１６ 検出部
１１８ 入力部
１２０ バンパー

Claims (10)

1. 撮像レンズと、
   前記撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子と、
   前記撮像素子に対して前記所定の取り込み範囲を設定し、前記撮像素子から撮像画像を取得し、補正データに基づいて、前記撮像画像の歪みを補正するプロセッサと
   を備え、
   前記プロセッサは、前記補正データに基づいて、前記所定の取り込み範囲を決定する、撮像装置。
2. 前記補正データは、前記撮像レンズの特性に対応するデータを含む、請求項１に記載の撮像装置。
3. 移動体に搭載され、
   前記補正データは、前記撮像装置が前記移動体に搭載される角度の誤差に対応するデータを含む、請求項１又は２に記載の撮像装置。
4. 前記補正データは、前記撮像装置が前記移動体に搭載される角度の前記誤差に対応する前記撮像画像の歪みを表す行列を含む、請求項３に記載の撮像装置。
5. 前記プロセッサは、最大撮像画像のうち、表示の対象となる領域、及び、前記撮像画像から所定の物体を認識する対象となる領域の少なくとも一方に基づいて、前記所定の取り込み範囲を決定する、請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記補正データは、補正前の撮像画像の各画素の座標と、補正後の撮像画像の各画素の座標との対応を特定するテーブルを含む、請求項１乃至５のいずれか一項に記載の撮像装置。
7. 撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子に対して、前記所定の取り込み範囲を設定するステップと、
   前記撮像素子から撮像画像を取得するステップと、
   補正データに基づいて、前記撮像画像の歪みを補正するステップと、
   前記補正データに基づいて、前記所定の取り込み範囲を決定するステップと
   を含む撮像方法。
8. プロセッサに、
   撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子に対して、前記所定の取り込み範囲を設定するステップと、
   前記撮像素子から撮像画像を取得するステップと、
   補正データに基づいて、前記撮像画像の歪みを補正するステップと、
   前記補正データに基づいて、前記所定の取り込み範囲を決定するステップと
   を実行させるプログラム。
9. 車両に搭載され、
   撮像レンズと、
   前記撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子と、
   前記撮像素子に対して前記所定の取り込み範囲を設定し、前記撮像素子から撮像画像を取得し、補正データに基づいて、前記撮像画像の歪みを補正するプロセッサと
   を備え、
   前記プロセッサは、前記補正データに基づいて、前記所定の取り込み範囲を決定する、車載カメラ。
10. 撮像装置を搭載し、
    前記撮像装置は、
    撮像レンズと、
    前記撮像レンズを介して結像する被写体像のうち所定の取り込み範囲の画像を撮像する撮像素子と、
    前記撮像素子に対して前記所定の取り込み範囲を設定し、前記撮像素子から撮像画像を取得し、補正データに基づいて、前記撮像画像の歪みを補正するプロセッサと
    を備え、
    前記プロセッサは、前記補正データに基づいて、前記所定の取り込み範囲を決定する、車両。