JP2013084124A - 撮像システム、撮像装置および画像処理方法 - Google Patents
撮像システム、撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2013084124A JP2013084124A JP2011223687A JP2011223687A JP2013084124A JP 2013084124 A JP2013084124 A JP 2013084124A JP 2011223687 A JP2011223687 A JP 2011223687A JP 2011223687 A JP2011223687 A JP 2011223687A JP 2013084124 A JP2013084124 A JP 2013084124A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- exposure
- mode
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】 フレームレートを落とさずにワイドダイナミックレンジの画像を得るこのできる撮像システムを提供する。
【解決手段】 撮像装置1では、通常露光モードで撮像素子3の露光時間を制御し、撮像素子3の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより、全撮像エリアの間引き画像を得る。そして、全撮像エリアの間引き画像から、所定の指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得する。また、短露光モードで撮像素子3の露光時間を制御し、撮像素子3の全撮像エリアのうち指定エリアの読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得する。そして、通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
【選択図】 図1
【解決手段】 撮像装置1では、通常露光モードで撮像素子3の露光時間を制御し、撮像素子3の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより、全撮像エリアの間引き画像を得る。そして、全撮像エリアの間引き画像から、所定の指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得する。また、短露光モードで撮像素子3の露光時間を制御し、撮像素子3の全撮像エリアのうち指定エリアの読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得する。そして、通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
【選択図】 図1
Description
本発明は、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得る機能を備えた撮像システムに関するものである。
従来、複数枚の画像を合成してワイドダイナミックレンジの画像を生成するときに、フレームレートを向上させるシステムが提案されている(例えば特許文献1参照)。従来のシステムでは、撮像素子の受光面の全体にわたる画像(全領域画像)を通常露光で撮像するとともに、撮像素子の受光面の一部の領域のみについての画像(部分領域画像)を短露光で撮像し、全領域画像と部分領域画像を合成することにより、ダイナミックレンジを拡大した全領域画像(WDL画像)が得られる。
それまで短露光の撮像も受光面の全面にわたって行われていたところ、この従来のシステムでは、短露光での撮像を受光面の全体ではなく一部の領域に限定することで、短露光での撮像に要する時間を短縮し、その分だけフレームレートの向上が図られている。
しかしながら、従来のシステムにおいては、短露光での撮像を受光面の一部の領域に限定することにより、ある程度フレームレートの向上を図ることができるものの、通常露光での撮像は依然として全面にわたって行われるので、フレームレートの向上に限界があるという問題があった。
例えば、それまで、通常露光と短露光の画像がそれぞれ33.3msecで読み出されていたところ、短露光での撮像を受光面の一部の領域に限定することにより、短露光の画像を16.6msecで読み出すことができたとする。その場合、WDL画像の生成フレームレートは、15fps(=1フレームあたり、33.3msec+33.3msec)から20fps(=1フレームあたり、33.3msec+16.6msec)に向上させることができるものの、撮像素子の本来のフレームレートである30fps(=1フレームあたり、33.3msec)まで向上させることはできない。このように、フレームレートの向上に限界があり、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得ることはできないという問題があった。
本発明は、上記従来の問題を解決するためになされたもので、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得ることのできる撮像システムを提供することを目的とする。
本発明の撮像システムは、撮像手段と、所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像手段の露光時間を制御する露光時間制御手段と、前記撮像手段の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像手段からの画像の読出しを制御する読出し制御手段と、前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し手段と、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成手段と、を備えた構成を有している。
この構成により、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像から指定エリアの部分の画像を切り出した通常露光間引き部分画像と、短露光モードで露光時間を制御しかつ指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とが合成され、ワイドダイナミックレンジの画像を得ることができる。この場合、通常露光間引き部分画像は、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる。したがって、本発明によれば、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
また、本発明の撮像システムでは、前記読出し制御手段は、前記間引きモードにおいて、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行う構成を有している。
この構成により、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うので、画素を間引いて読出しを行うことにより画質が劣化するのを抑えることができる。
また、本発明の撮像システムでは、前記撮像手段は、魚眼レンズまたは広角レンズを用いて歪み画像を撮影し、前記指定エリアの形状は、主に、前記歪み画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる構成を有している。
この構成により、魚眼レンズまたは広角レンズを用いて撮影された広域画像から、指定エリアの切出し(または読出し)を行うときに、その指定エリアの形状が、広域画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる。したがって、歪み補正後に必要とされる最小限のエリアの画像の切出し(または読出し)を行えばよく、画像処理の高速化が可能である。
また、本発明の撮像システムは、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像に超解像処理を施すことにより、前記画像の解像度を高める超解像処理手段を備えた構成を有している。
この構成により、間引いて読み出された画像に超解像処理が施され、画像の解像度が高められる。この場合、複数の画像(複数フレームの画像)を使った再構成型の超解像処理を施すことにより、画像の解像度を高めることができる。
また、本発明の撮像システムは、前記通常露光間引き部分画像と前記短露光指定読出し部分画像を合成した画像とともに、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像を表示するための表示処理手段を備えた構成を有している。
この構成により、通常露光間引き部分画像と短露光指定読出し部分画像を合成したワイドダイナミックレンジの画像(部分画像)とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像(全体画像)が表示される。これにより、全体画像(エリア全体)を参照しながら、部分画像(各エリア)の監視をすることができる。この場合、全体画像も、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる(フレームレートを落とすことがない)。
また、本発明の撮像システムは、前記撮像手段で得られた画像に動き検出処理を施す動き検出手段を備え、前記指定エリアの位置は、前記動き検出手段で検出された動き物体のエリアの位置に基づいて定められる構成を有している。
この構成により、撮像手段で得られた画像に動き検出処理が施され、指定エリアの切出し(または読出し)を行うときには、その動き検出処理で検出された動き物体のエリアの位置に基づいて指定エリアの位置が定められる。これにより、動き物体が検出された部分画像(エリア)の監視をすることができる。
本発明の撮像装置は、撮像部と、所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像部の露光時間を制御する露光時間制御部と、前記撮像部の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像部の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像部からの画像の読出しを制御する読出し制御部と、前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し部と、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成部と、を備えた構成を有している。
この装置によっても、上記と同様に、通常露光間引き部分画像でも、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができ、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
本発明の画像処理方法は、所定の露光時間で撮影した画像を出力する通常露光モードで撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより得られる全撮像エリアの画像から、指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得し、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで前記撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアのうち前記指定エリアについて全画素の読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得し、前記通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
この方法によっても、上記と同様に、通常露光間引き部分画像でも、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができ、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
本発明は、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができるという効果を有する撮像システムを提供することができるものである。
以下、本発明の実施の形態の撮像システムについて、図面を用いて説明する。本実施の形態では、監視システム等に用いられる撮像システムの場合を例示する。なお、以下では、撮像システムのすべての機能が一つの装置(撮像装置)に備えられる場合について説明するが、本発明の範囲はこれに限定されるものではなく、撮像システムは、二つ以上の装置(例えば、撮像装置と画像処理装置など)で構成されてよい。
本発明の実施の形態の撮像装置(撮像システム)の構成を、図面を参照して説明する。図1は、本実施の形態の撮像装置を示すブロック図である。図1に示すように、撮像装置1には、魚眼レンズ2と撮像素子3が備えられている。魚眼レンズ2は画角が極めて広く、実質的にその光軸から略垂直方向にわたる全周囲の画像を撮影することができるレンズである(図5および図6参照)。なお、ここでは、魚眼レンズ2を用いた場合について説明するが、魚眼レンズ2の代わりに、広角レンズや一般的なレンズを用いることも可能である。撮像素子3としては、例えばCCDやCMOSなどが使用される。
撮像素子3は、図2に示すような種々の読出しを行う機能を備えている。まず、図2(a)に示すように、撮像素子3は、全撮像エリアの画素から通常の読出しを行う機能を備えている。この場合、通常の露光時間での撮影であれば、例えば画像の読出しに要する時間は33.3msecであり、露光(電荷蓄積)と読み出しを並列に行なうことでフレームレートは30fpsが確保される。
なお、ここにいう「通常の読出し」とは、撮像領域のうち予め定められ或いは指定された領域の全ての画像データを読み出すことをいい、例えば撮像エリア全体の1フレーム分の画像データを読み出すことをいう。また「通常の露光時間での撮影」とは所定の基準露光時間で撮影することを意味する。つまり「通常の露光時間」というときの露光時間は一意に定まるものではなく、撮像装置が備える光学系の特性や撮像素子の感度等によって、あるいはユーザの指定によって任意に変わりうる。
また、この撮像素子3は、図2(b)に示すように、所定の指定エリアから通常の読出しを行う機能を備えている。ここで、画像の読出しに要する時間は、指定エリアの面積(即ち画像データを読み出すべき画素数)に略比例し、例えば、指定エリアの面積が全撮像エリアの半分であれば、通常の露光時間での撮影の場合、画像の読出しに要する時間は全撮像エリアから読み出す際のおよそ半分である16.6msecであり、フレームレートは60fpsとなる。つまり、指定エリアの面積が小さいほど読出しに要する時間は短縮される。
さらに、この撮像素子3は、図2(c)に示すように、全撮像エリアの画素の一部を間引いて読出しを行う機能を備えている。画素を間引くことにより読み出すべき画素数は減少するから、例えば、全画素の1/2の画素を間引く場合、通常の露光時間での撮影であっても、画像の読出しに要する時間は16.6msecであり、フレームレートは60fpsである。なお、ここでは、全画素の1/2の画素を間引く場合について説明したが、画素を間引く割合は1/2に限定されず、例えば、全画素の1/4の画素を間引いてもよい(図3(b)参照)。そして、間引き率に略比例して読出しに要する時間は短縮される。
また、撮像装置1は、撮像素子3の動作やメモリへのデータ書き込みなどを制御する制御部4と、撮像素子3から出力される画像データが記録される2つのメモリ(第1メモリ5と第2メモリ6)を備えている。この制御部4は、露光時間制御部7と、読出し制御部8と、超解像処理部9と、画像情報抽出部10と、動き検出部11と、指定エリア決定部12を含んでいる。
露光時間制御部7は、通常の露光時間で撮影した画像を出力する通常露光モードと、通常の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、撮像素子3の露光時間を制御する機能を備えている。
読出し制御部8は、撮像素子3の全撮像エリアのうち所定の指定エリアについて全画素の読出しを行う指定読出しモード(図2(b)参照)と、撮像素子3の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモード(図2(c)参照)で、撮像素子3からの画像の読出しを制御する機能を備えている。画素を読み出す範囲を全撮像エリアとするか所定の指定エリアとするかの選択、及び全画素を読み出すか一部を間引いて読み出すかの選択は、それぞれ機能的に独立して設定可能であり、読み出し制御部8は例えば上述した組み合わせ以外に、指定エリアについて間引きモードで読み出すことも可能である。
更に、この読出し制御部8は、間引きモードにおいて、間引きを行う画素をフレーム単位で周期的に変える機能を備えている。例えば、図3(a)のように、全画素の1/2の画素を間引く場合には、2フレームで全画素の読出しが行われるように、間引きを行う画素が周期的に変えられる。また、図3(b)のように、全画素の1/4の画素を間引く場合には、4フレームで全画素の読出しが行われるように、間引きを行う画素が周期的に変えられる。
超解像処理部9は、間引きモードで間引いて読み出された画像に対して超解像処理を施すことにより、画像の解像度を高めた1枚のフレーム画像を生成する機能を備えている。この場合、図4に示すようにt7における間引きフレームを基準画像とし、これに時間軸上で直近する(例えばt1,t3,t5の時点の)複数の画像(複数フレームの画像)を使った再構成型の超解像処理を用いることにより、高解像度の画像を再現できる。なお、ここにいう超解像処理はいわゆる複数枚超解像処理を指し、各フレーム間において変位(画像の位置ずれ)が存在することを前提としており、動きのある画像(被写体のみが動いてもよいし、例えば手振れ等により画面全体が動いてもよい)に対して1枚の高解像度画像が得られる。更に、フレーム画像を1枚ずつずらしながら超解像処理を行なえば、動画を生成することも可能である。
図3(a),(b)に示すように、フレーム間で間引く画素の位置を周期的に変えることで、撮像装置が有する物理的な解像度を有する画像を得ることができ、更にこれを超解像処理することで、画像を間引くことによる実質的な画像圧縮効果を併せ持つ、高速伝送かつ高画質の撮像システムが構築できる。
なお、図4に示す間引きフレームのみを用いて超解像処理を行なうのみならず、t2,t4,t6で得た指定エリアの画像と、間引きフレームの画像のうち当該指定画像に対応する領域の画像を用いて超解像処理を実行してもよい。これを実時間で実行することで、部分画像(図6参照)についても高画質化(高解像度化)することができる。
画像情報抽出部10は、撮像素子3で得られた画像(全撮像エリアの画像)に含まれる指定エリアの部分の明るさ(平均輝度値)や輝度ヒストグラムや明暗差などの情報(画像情報)を抽出する機能を備えている。露光時間制御部7は、この画像情報抽出部10で得られた画像情報に基づいて、適切な露光時間を設定することができる。具体的には、露光時間制御部7は、あるタイミングにおいて、ある値に設定された通常の露光時間で撮像された画像に基づく画像情報を参照して、次回の通常露光モードの露光時間を設定し、更に短露光モードにおける露光時間を設定する。
動き検出部11は、撮像素子3で得られた画像(全撮像エリアの画像)から動きベクトルを検出する機能を備えている。動きベクトルの検出には、例えば、ブロックマッチング法、勾配法など、公知の技術を用いることが可能である。
指定エリア決定部12は、指定エリアの切出し(または読出し)を行うときに、その指定エリアの位置や形状を決定する機能を備えている。指定エリアの決定は、ユーザ入力により行われてもよく、あるいは、動き検出部11で検出された動きベクトルの情報に基づいて行われてもよい。例えば、指定エリアの位置は、動き検出部11で検出された動き物体のエリアの位置に基づいて決定されてよい。また、指定エリアの形状は、検出された動き物体の動き(移動速度)に応じて、動き物体のエリアを含む大きい形状のエリアに決定されてよい。
指定エリア決定部12は、例えばユーザ入力に基づいて切出し範囲が指定された場合に、撮像素子3の各ラスタに対して画像の切出しの開始点と終了点を指定するポインタ情報を管理しており、制御部4に備えられた図示しないタイミング生成部が発生する同期信号に基づいて、例えば切出し範囲に応じた各ラスタの各画素位置に対するアドレス信号を生成するように構成されている。このアドレス信号に基づき、切出し範囲に含まれる画素にアクセスすることができ、又は各ラスタ走査において切出し領域に含まれない画素範囲をマスクすることができる。
なお、図2(図4、図6)では、説明の便宜上、指定エリアの形状を「四角形」の形状で図示しているが、指定エリア決定部12を上述のように構成したことから、指定エリアの形状は「扇台形」の形状であってよい(図5参照)。すなわち、本実施の形態では、魚眼レンズ2を用いて撮影した広域画像に歪み補正(後述する)が施されるが、この歪み補正処理により、指定エリアの形状は「扇台形」から「四角形」に変化する。したがって、指定エリアの形状は、この歪み補正処理によるエリア形状の変化を考慮して「扇台形」に設定することができる。なお、指定エリアの形状は、指定領域が閉空間となることを条件として(ただし、ポインタ管理の制約から1つのラスタ内に複数の転送領域が指定されてはならない)任意形状としてもよい。
第1メモリ5には、通常露光で撮影された全撮像エリアの間引き画像の画像データが記録され、また、第2メモリ6には、短露光で撮影された全撮像エリアのうち指定エリアの部分を読出した部分画像の画像データが記録される。
また、撮像装置1は、図5に示すように、魚眼レンズ2で撮影した画像(全撮像エリアの画像)から指定エリアの部分の切出し画像(部分画像)を切り出す画像切出し部13と、切り出した部分画像に歪み補正処理および回転補正処理を施す歪み補正・回転補正部14を備えている。なお、部分画像の切出し、歪み補正および回転補正には、公知の技術を利用することができる。
さらに、撮像装置1は、画像合成部15と表示処理部16を備えている。図6に示すように、画像合成部15は、通常露光で撮影された全撮像エリアの間引き画像から指定エリアの部分を切り出した部分画像(通常露光間引き部分画像)と、短露光で撮影された全撮像エリアのうち指定エリアの部分を読出した部分画像(短露光指定読出し部分画像)を合成して、ワイドダイナミックレンジの部分画像(WDR画像)を生成する。ここで、短露光で撮影された指定エリアの面積の合計(画素数の合計)が全撮像エリアの1/2を越えないようにすれば、図7に示すように、通常露光の間引き全体画像は16.6msで読み出され、短露光の部分画像も16.6msecを越えない読出し時間が維持されるので、WDR画像の生成フレームレートは、少なくとも30fpsを確保することが可能となる。
このことは逆に言えば、指定エリアの面積の合計が全撮像エリアの1/2を越えて設定されると、30fpsを維持することができなくなるため、本実施形態ではユーザがそのような指定を行った場合、制御部4は当該指定を実行することで撮像システムのレスポンスが低下することを警告するようにしている。なお、このように指定エリアの面積が大きくなった場合であっても、通常露光間引き部分画像を1/4に間引いて転送するように設定することで、全体のレスポンスが維持できる場合もあるため、制御部4は警告の他にこのような回避策を提案し、ユーザが回避策を選択できるシステムとしてもよい。
また、表示処理部16は、図6に示すように、複数のWDR画像(部分画像。図示は3枚)とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像(全体画像。図示は1枚)を表示するための処理を行う。
以上のように構成された撮像装置1について、図8のフロー図を参照してその動作を説明する。
図8に示すように、本実施の形態の撮像装置1では、まず、通常露光で全撮像エリアの間引き画像が撮影され(S1)、その画像データが第1メモリ5に記録される(S2)。そして、第1メモリ5に記録されている直近の複数枚の画像(通常露光の全撮像エリアの間引き画像)を用いて超解像処理が行われる(S3)。超解像処理は図6に示すように、全撮像エリアの画像を左上に縮小表示し、部分画像のおよその存在位置を示す程度の利用態様であれば、超解像処理を行なう必要はない。
自動で指定エリアを設定するモード(動き検出を行うモード)である場合には(S4)、全撮像エリアの画像(間引き画像)から動き検出処理を行い(S5)、その動き検出処理の結果に基づいて、例えば動きを検出した領域を包含するように指定エリアが設定される。なお、動きベクトルの群が複数検出されたときは、各動きベクトル群に応じて複数の指定エリアが設定されてもよい(S6)。一方、手動で指定エリアを設定するモードである場合には(S4)、ユーザ入力を受け付けて(S7)、指定エリアの設定が行われる。手動の場合も同様に複数の指定エリアが設定されてもよい(S6)。
つぎに、全撮像エリアの間引き画像のうち指定エリアに対応する部分の明るさや明暗差などの情報(画像情報)に基づいて、露出時間制御部7は短露光モードにおける露光時間を決定する(S8)。具体的には、露出時間制御部7は複数の閾値を保有しており、これら閾値と指定エリアの平均輝度を比較した結果に基づいて、露光時間が決定される。そして、短露光で画像の撮影が行われ(S9)、そのうち指定エリアの画像データが切出されて第2メモリ6に記録される(S10)。なお、指定エリアが複数設定されている場合、短露光モードにおける露光時間は、各指定エリアの平均輝度値を更に平均して決定すればよいが、例えば1つの指定エリアの平均輝度値が、他の指定エリアの平均輝度値と極端に異なるような場合は、これまで説明した通常露光モードと短露光モードに加え、第3の露光モード(例えば、極短露光モード)を設けて、特定の指定エリアについては、第3の露光モードによって撮影した画像データを切出して合成してもよい。この場合、露光モードが増加することからフレームレートは低下するものの、新たに追加された露光モードに対応する指定エリアの数は少ないため、極端な劣化にはつながらない。
その後、第1メモリ5に記録された通常露光の間引き画像を読出して、指定エリアの部分を切り出す処理が行われるとともに(S11)、第2メモリ6に記録された短露光の部分画像を読み出す処理が行われ(S12)、これらの二つの画像を合成する(WDR画像を生成する)処理が行われる(S13)。そして、このようにして生成されたWDR画像(部分画像)と全体画像が合成して表示される(S14)。なお、第1メモリ5に記録された画像は間引き画像であるから、補間処理によって水増しをして短露光画像と合成すればよいが、周期的に間引きされた画像(図3参照)を重ねて非間引き画像とし、これに第2メモリ6に記録された短露光画像を合成すれば、解像度の劣化が起こらない。
このような本実施の形態の撮像装置1によれば、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる(図7参照)。
すなわち、本実施の形態では、図6に示すように、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像から指定エリアの部分の画像を切り出した通常露光間引き部分画像と、短露光モードで露光時間を制御しかつ指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とが合成され、ワイドダイナミックレンジの画像を得ることができる。この場合、通常露光間引き部分画像は、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる。表現を変えれば、本実施の形態は、通常露光モードで得られた全撮像エリアの画素を間引いて転送すると共に、短露光モードでは指定エリアの画素を間引かずとも、その転送すべき画素数が事実上制限されることを利用して転送時間を短縮し、フレームレートの改善を図るものである。
また、以上の説明では、通常露光モードで撮像した全撮像エリアの画像を撮像素子3から間引いて読み出し、短露光モードで撮像した(全撮像エリアより小さい)指定エリアの画像を撮像素子3から読み出し、その後、画像合成部15によって、全撮像エリアの画像のうち指定エリアに対応する画像に、指定エリアの画像を合成してワイドダイナミックレンジ画像を得ているが、全撮像エリアを短露光モードで撮像し、指定エリアを通常露光モードで撮像するようにしてもよい。
また、本実施の形態では、図3に示すように、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うので、画素を間引いて読出しを行うことにより画質が劣化するのを抑えることができる。
また、本実施の形態では、図5に示すように、魚眼レンズ2または広角レンズを用いて撮影された広域画像から、指定エリアの切出し(または読出し)を行うときに、その指定エリアの形状が、広域画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる。したがって、歪み補正後に必要とされる最小限のエリアの画像の切出し(または読出し)を行えばよく、画像処理の高速化が可能である。
また、本実施の形態では、図4に示すように、間引いて読み出された画像に超解像処理が施され、画像の解像度が高められる。この場合、複数の画像(複数フレームの画像)を使った再構成型の超解像処理を施すことにより、画像の解像度を高めることができる。
また、本実施の形態では、図6に示すように、通常露光間引き部分画像と短露光指定読出し部分画像を合成したワイドダイナミックレンジの画像(部分画像)とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像(全体画像)が表示される。これにより、全体画像(エリア全体)を参照しながら、部分画像(各エリア)の監視をすることができる。この場合、全体画像も、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる(フレームレートを落とすことがない)。
また、本実施の形態では、撮像素子3で得られた画像に動き検出処理が施され、指定エリアの切出し(または読出し)を行うときには、その動き検出処理で検出された動き物体のエリアの位置に基づいて指定エリアの位置が定められる。これにより、動き物体が検出された部分画像(エリア)の監視をすることができる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
以上のように、本発明にかかる撮像システムは、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができるという効果を有し、監視システム等に適用され有用である。
1 撮像装置
2 魚眼レンズ
3 撮像素子
4 制御部
5 第1メモリ
6 第2メモリ
7 露光時間制御部
8 読出し制御部
9 超解像処理部
10 画像情報抽出部
11 動き検出部
12 指定エリア決定部
13 画像切出し部
14 歪み補正・回転補正部
15 画像合成部
16 表示処理部
2 魚眼レンズ
3 撮像素子
4 制御部
5 第1メモリ
6 第2メモリ
7 露光時間制御部
8 読出し制御部
9 超解像処理部
10 画像情報抽出部
11 動き検出部
12 指定エリア決定部
13 画像切出し部
14 歪み補正・回転補正部
15 画像合成部
16 表示処理部
Claims (8)
- 撮像手段と、
所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像手段の露光時間を制御する露光時間制御手段と、
前記撮像手段の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像手段からの画像の読出しを制御する読出し制御手段と、
前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し手段と、
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成手段と、
を備えたことを特徴とする撮像システム。 - 前記読出し制御手段は、前記間引きモードにおいて、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うことを特徴とする請求項1に記載の撮像システム。
- 前記撮像手段は、魚眼レンズまたは広角レンズを用いて歪み画像を撮影し、
前記指定エリアの形状は、前記歪み画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められることを特徴とする請求項1または請求項2に記載の撮像システム。 - 前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像に超解像処理を施すことにより、前記画像の解像度を高める超解像処理手段を備えたことを特徴とする請求項1ないし請求項3のいずれかに記載の撮像システム。
- 前記通常露光間引き部分画像と前記短露光指定読出し部分画像を合成した画像とともに、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像を表示するための表示処理手段を備えたことを特徴とする請求項1ないし請求項4のいずれかに記載の撮像システム。
- 前記撮像手段で得られた画像に動き検出処理を施す動き検出手段を備え、
前記指定エリアの位置は、前記動き検出手段で検出された動き物体のエリアの位置に基づいて定められることを特徴とする請求項1ないし請求項5のいずれかに記載の撮像システム。 - 撮像部と、
所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像部の露光時間を制御する露光時間制御部と、
前記撮像部の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像部の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像部からの画像の読出しを制御する読出し制御部と、
前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し部と、
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成部と、
を備えたことを特徴とする撮像装置。 - 所定の露光時間で撮影した画像を出力する通常露光モードで撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより得られる全撮像エリアの画像から、指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得し、
前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで前記撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアのうち前記指定エリアについて全画素の読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得し、
前記通常露光間引き部分画像と前記短露光指定読出し部分画像とを合成することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011223687A JP2013084124A (ja) | 2011-10-11 | 2011-10-11 | 撮像システム、撮像装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011223687A JP2013084124A (ja) | 2011-10-11 | 2011-10-11 | 撮像システム、撮像装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013084124A true JP2013084124A (ja) | 2013-05-09 |
Family
ID=48529255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011223687A Pending JP2013084124A (ja) | 2011-10-11 | 2011-10-11 | 撮像システム、撮像装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013084124A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086029A1 (ja) * | 2015-11-20 | 2017-05-26 | ソニー株式会社 | 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム |
WO2019146178A1 (ja) * | 2018-01-29 | 2019-08-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像素子の制御方法 |
WO2020044763A1 (ja) * | 2018-08-31 | 2020-03-05 | 富士フイルム株式会社 | 撮像素子、撮像装置、画像データ処理方法、及びプログラム |
-
2011
- 2011-10-11 JP JP2011223687A patent/JP2013084124A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086029A1 (ja) * | 2015-11-20 | 2017-05-26 | ソニー株式会社 | 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム |
WO2019146178A1 (ja) * | 2018-01-29 | 2019-08-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像素子の制御方法 |
CN111527741A (zh) * | 2018-01-29 | 2020-08-11 | 索尼半导体解决方案公司 | 图像捕获装置和控制图像捕获元件的方法 |
US11172152B2 (en) | 2018-01-29 | 2021-11-09 | Sony Semiconductor Solutions Corporation | Imaging device which performs imaging at a high resolution for a pixel row in a state in which motion is detected |
WO2020044763A1 (ja) * | 2018-08-31 | 2020-03-05 | 富士フイルム株式会社 | 撮像素子、撮像装置、画像データ処理方法、及びプログラム |
CN112640430A (zh) * | 2018-08-31 | 2021-04-09 | 富士胶片株式会社 | 成像元件、摄像装置、图像数据处理方法及程序 |
JPWO2020044763A1 (ja) * | 2018-08-31 | 2021-08-10 | 富士フイルム株式会社 | 撮像素子、撮像装置、画像データ処理方法、及びプログラム |
US11533437B2 (en) | 2018-08-31 | 2022-12-20 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate |
US11792519B2 (en) | 2018-08-31 | 2023-10-17 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106576143B (zh) | 图像拍摄装置和图像拍摄方法 | |
JP5754312B2 (ja) | 画像処理装置及び画像処理方法、並びにプログラム | |
JP5235798B2 (ja) | 撮影装置及びその制御方法 | |
US7415166B2 (en) | Image processing device | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
JPWO2008032392A1 (ja) | 画像処理方法および装置とそのプログラム | |
JP6304293B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5035292B2 (ja) | 撮像装置、データ生成装置、およびデータ生成プログラム | |
JP4985124B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6786311B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体 | |
JP2007324856A (ja) | 撮像装置、撮像制御方法 | |
JP2020053771A (ja) | 画像処理装置、撮像装置 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
US9007479B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP2013084124A (ja) | 撮像システム、撮像装置および画像処理方法 | |
KR20160137289A (ko) | 촬영 장치 및 촬영 장치의 동작방법 | |
JP4606218B2 (ja) | 歪補正装置 | |
KR102655093B1 (ko) | 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법 | |
JP2005117399A (ja) | 画像処理装置 | |
JP2022083147A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2008235958A (ja) | 撮像装置 | |
JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP7134601B2 (ja) | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 |