JP2009260788A

JP2009260788A - 撮像装置

Info

Publication number: JP2009260788A
Application number: JP2008108966A
Authority: JP
Inventors: Shingo Kato; 眞悟加藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-04-18
Filing date: 2008-04-18
Publication date: 2009-11-05

Abstract

【課題】２つの画像処理ブロックを並列に動作させる場合において、コスト増大や動作速度低下を抑えることが可能な撮像装置を提供することを目的とする。
【解決手段】本撮像モードのとき、１フレーム分のベイヤー画像を垂直方向に分割し、分割後のベイヤー画像ＡをＤＲＡＭ５に記憶するとともに、分割後のベイヤー画像ＢをＤＲＡＭ６に記憶し、それらベイヤー画像Ａ、Ｂをそれぞれカラー化画像処理及びＪＰＥＧ圧縮処理した後、各ＪＰＥＧ画像を統合して記録メディア８に記録し、スルー画表示モードのとき、１フレーム分のベイヤー画像を水平方向に分割し、分割後のベイヤー画像ＣをＤＲＡＭ５に記憶するとともに、分割後のベイヤー画像ＤをＤＲＡＭ６に記憶し、それらベイヤー画像Ｃ、Ｄをそれぞれカラー化画像処理した後、各カラー化画像Ｃ、Ｄを統合してＥＶＦ表示部７に出力する。
【選択図】図１

Description

本発明は、互いに同じ機能を有する２つの画像処理ブロックを並列に動作させる撮像装置に関する。

互いに同じ機能を有する２つの画像処理ブロックを並列に動作させる撮像装置において、例えば、イメージャーから出力される１フレーム分の画像を水平方向に分割して、分割後の一方の画像を一方の画像処理ブロックに出力するとともに、分割後の他方の画像を他方の画像処理ブロックに出力し、それぞれの画像処理ブロックにおいてカラー化画像処理を行った後、一方の画像処理ブロックでカラー化画像処理が行われた画像を他方の画像処理ブロックに転送して１枚の画像に統合し、その統合後の画像に対してＪＰＥＧ圧縮処理を行い記録メディアに記録するものがある（例えば、特許文献１参照）。

このように構成される撮像装置では、分割後の各画像に対してカラー化画像処理が並列に行われるので、画像処理ブロックを１つしか備えない撮像装置に比べて、カラー化画像処理を行う時間を１／２程度にすることができ高速性を向上させることができる。
特開２００５−１５９９９２号公報

しかしながら、上記撮像装置では、カラー化画像処理後の分割画像を一方の画像処理ブロックから他方の画像処理ブロックに転送する必要があるため、画像処理ブロック間のデータバスを十分に広くしないと、画像処理ブロック全体の動作速度低下につながってしまうという問題がある。

そこで、画像処理ブロック間のデータバスを十分に広くすることが考えられるが、回路規模が大きくなりコストが増大する問題や画像処理ブロック間のデータバスを駆動するためにかかる消費電力が増大する問題が発生してしまう。

そこで、画像処理ブロック間の転送データ量を低減するためにＪＰＥＧ圧縮処理までをそれぞれの画像処理ブロックで行うことが考えられるが、ＪＰＥＧ圧縮処理の際、図１１に示す矢印のように、分割後の各画像に対してラスタースキャン方向（画像の左上から始まり、右方向に進み、下のラインに進む）で圧縮処理が行われるため、ＪＰＥＧ圧縮処理後の各画像を１枚の画像に統合する際に、データの順番を並べ替える必要がある。すなわち、ＪＰＥＧ圧縮処理までをそれぞれの画像処理ブロックで行う場合では、図１２に示すように、分割後の一方の画像におけるＪＰＥＧ圧縮処理後のデータの順番がＬ−１、Ｌ−２・・・、分割後の他方の画像におけるＪＰＥＧ圧縮処理後のデータの順番がＲ−１、Ｒ−２・・・とすると、統合後の画像のデータの順番がＬ−１、Ｒ−１、Ｌ−２、Ｒ−２・・・となるようにデータを並び替えるための機構等を追加する必要がありその分コストが増大するという問題がある。また、ＪＰＥＧ圧縮処理までをそれぞれの画像処理ブロックで行う場合では、データの並べ替えやＲＳＴマーカー通し番号の打ち直しにかかる時間により撮像装置全体の動作速度が低下してしまうという問題がある。

そこで、本発明では、２つの画像処理ブロックを並列に動作させる場合において、コスト増大や動作速度低下を抑えることが可能な撮像装置を提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮像装置は、イメージャーと、そのイメージャーから出力される１フレーム分の画像の分割後の第１及び第２の画像のうち前記第１の画像に対して所定の処理を行う第１の画像処理ブロックと、前記第２の画像に対して前記所定の処理を行う第２の画像処理ブロックと、前記所定の処理後の前記第１の画像と前記所定の処理後の前記第２の画像との統合後の第３の画像を記録する記録手段と、前記第３の画像を表示する表示手段とを備える撮像装置であって、前記所定の処理としてカラー化画像処理を行った後圧縮処理を行う本撮像モード、又は、前記所定の処理として前記カラー化画像処理を行うスルー画表示モードのどちらか一方をユーザの指示により選択する選択手段と、前記選択手段により前記本撮像モードが選択された場合、前記１フレーム分の画像を垂直方向で分割し、前記選択手段により前記スルー画表示モードが選択された場合、前記１フレーム分の画像を水平方向で分割する画像分割手段とを備える。

また、本発明の撮像装置は、前記カラー化画像処理後又は前記圧縮処理後の前記第１の画像を記憶する第１の記憶手段と、前記カラー化画像処理後又は前記圧縮処理後の前記第２の画像を記憶する第２の記憶手段とを備え、前記所定の処理後の前記第１の画像及び前記所定の処理後の前記第２の画像が前記第１の記憶手段において統合されるように構成してもよい。

また、本発明の撮像装置は、前記所定の処理後の前記第１の画像を前記記録手段の最小記録単位のデータずつ前記記録手段に出力する第１のセクタパッキング手段と、前記所定の処理後の前記第２の画像を前記記録手段の最小記録単位のデータずつ前記記録手段に出力する第２のセクタパッキング手段とを備え、前記選択手段により前記本撮像モードが選択された場合、前記所定の処理後の前記第１の画像が前記第１のセクタパッキング手段により前記記録手段に全て出力された後、前記所定の処理後の前記第２の画像が前記第２のセクタパッキング手段により前記記録手段に全て出力されて前記第３の画像が前記記録手段に記録されるように構成してもよい。

また、本発明の撮像装置は、前記所定の処理後の前記第１の画像を１ラインずつ前記表示手段に出力する第１のＦＩＦＯメモリと、前記所定の処理後の前記第２の画像を１ラインずつ前記表示手段に出力する第２のＦＩＦＯメモリとを備え、前記選択手段により前記スルー画表示モードが選択された場合、前記第１のＦＩＦＯメモリから出力される１ライン分の画素と、前記第２のＦＩＦＯメモリから出力される１ライン分の画素とが交互に前記表示手段に出力されて前記第３の画像が前記表示手段に表示されるように構成してもよい。

また、本発明の撮像装置は、前記選択手段により前記スルー画表示モードが選択された場合、前記第１の画像を第１の記憶手段に一旦記憶させることなく前記カラー化画像処理を行わせる第１のスイッチ回路と、前記選択手段により前記スルー画表示モードが選択された場合、前記第２の画像を第２の記憶手段に一旦記憶させることなく前記カラー化画像処理を行わせる第２のスイッチ回路とを備えるように構成してもよい。

本発明によれば、２つの画像処理ブロックを並列に動作させる撮像装置において、コスト増大や動作速度低下を抑えることができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の撮像装置を示す図である。
図１に示す撮像装置１は、イメージャー２と、画像処理ブロック３、４と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５、６と、ＥＶＦ（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）表示部７と、記録メディア８と、ＣＰＵ９とを備えて構成されている。なお、イメージャー２は、例えば、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等により構成されるものとする。また、ＥＶＦ表示部７は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等で構成されるものとする。また、記録メディア８は、例えば、Ｆｌａｓｈメモリ等で構成されるものとする。

画像処理ブロック３、４は、それぞれ、Ｐｒｅｐｒｏ部１０と、ＳＥＬ１１と、ＹＣ処理部１２と、ラインメモリ長設定部１３と、ＪＰＥＧ圧縮部１４と、タイミング信号出力部１５と、チップ間インターフェイス１６と、画像分割制御部１７とを備えて構成されている。なお、ＤＲＡＭ５、６は、それぞれ、Ｐｒｅｐｒｏ部１０から出力されるベイヤー画像、ＹＣ処理部１２から出力されるカラー化画像、及びＪＰＥＧ圧縮部１４から出力されるＪＰＥＧ画像を記憶するものとする。

次に、画像処理ブロック３、４のそれぞれの動作について説明する。
まず、画像処理ブロック３は、イメージャー２から出力される１フレーム分のベイヤー画像に対して、Ｐｒｅｐｒｏ部１０において画素欠陥補正やシェーディング補正処理等を行いＤＲＡＭ５に記憶させる。一方、画像処理ブロック４は、イメージャー２から出力される１フレーム分のベイヤー画像に対して、Ｐｒｅｐｒｏ部１０において画素欠陥補正やシェーディング補正処理等を行いＤＲＡＭ６に記憶させる。なお、このとき、ＤＲＡＭ５に記憶されるベイヤー画像は、１フレーム分のベイヤー画像がオーバーラップ分を含んで２つに分割された後の一方のベイヤー画像Ａとし、ＤＲＡＭ６に記憶される画像は、１フレーム分のベイヤー画像がオーバーラップ分を含んで２つに分割された後の他方のベイヤー画像Ｂとする。

次に、画像処理ブロック３は、ＤＲＡＭ５から読み出したベイヤー画像Ａに対して、ＹＣ処理部１２においてベイヤー補間処理、マトリクス処理、解像度変換処理、輪郭強調処理等のカラー化画像処理を行った後、そのカラー化画像処理後のカラー化画像Ａに対して、ＹＣ４：２：２といった画像フォーマット形式の画像変換を行いＤＲＡＭ５に記憶させる。一方、画像処理ブロック４は、ＤＲＡＭ６から読み出したベイヤー画像Ｂに対して、ＹＣ処理部１２においてベイヤー補間処理、マトリクス処理、解像度変換処理、輪郭強調処理等のカラー化画像処理を行った後、そのカラー化画像処理後のカラー化画像Ｂに対して、ＹＣ４：２：２といった画像フォーマット形式の画像変換を行いＤＲＡＭ６に記憶させる。

次に、画像処理ブロック３は、ＤＲＡＭ５から読み出したカラー化画像Ａに対して、ＪＰＥＧ圧縮部１４においてＪＰＥＧ圧縮処理を行った後、そのＪＰＥＧ圧縮処理後のＪＰＥＧ画像ＡをＤＲＡＭ５に記憶させる。一方、画像処理ブロック４は、ＤＲＡＭ６から読み出したカラー化画像Ｂに対して、ＪＰＥＧ圧縮部１４においてＪＰＥＧ圧縮処理を行った後、そのＪＰＥＧ圧縮処理後のＪＰＥＧ画像ＢをＤＲＡＭ６に記憶させる。

そして、ＤＲＡＭ５に記憶されたＪＰＥＧ画像Ａと、ＤＲＡＭ６に記憶されたＪＰＥＧ画像Ｂとが統合され記録メディア８に記録される。このように、イメージャー２から出力される１フレーム分のベイヤー画像を分割し、分割後の各ベイヤー画像に対してカラー化画像処理及びＪＰＥＧ圧縮処理を行い、統合後の画像を記録メディア８に記録することを、以下、本撮像モードという。

また、ＤＲＡＭ５に記憶されたカラー化画像Ａと、ＤＲＡＭ６に記憶されたカラー化画像Ｂとが統合され、ＥＶＦ表示部７に表示される。このように、イメージャー２から出力される１フレーム分のベイヤー画像を分割し、分割後の各ベイヤー画像に対してカラー化画像処理を行い、統合後の画像をＥＶＦ表示部７に表示させることを、以下、スルー画表示モードという。

本実施形態の撮像装置１の特徴とする点は、ユーザの指示（具体的にはシャッター動作）によりＣＰＵ９が本撮像モードを選択すると、図２に示すように１フレーム分のベイヤー画像をオーバーラップ分を含むようにして垂直方向に２つに分割し、分割後のベイヤー画像ＡをＤＲＡＭ５に記憶させるとともに、分割後のベイヤー画像ＢをＤＲＡＭ６に記憶させ、それらベイヤー画像Ａ、Ｂに対してそれぞれカラー化画像処理及びＪＰＥＧ圧縮処理を行った後、統合後の画像を記録メディア８に記録する点である。

これにより、ＪＰＥＧ画像ＡとＪＰＥＧ画像Ｂとを統合する際、データを並び替える必要がないため、データを並び替えるための機構等を省略することができコストを低減することができる。また、ＪＰＥＧ画像ＡとＪＰＥＧ画像Ｂとを統合する際、データを並び替える必要がないため、並び替えにかかる時間をなくすことができ、撮像装置１全体の動作速度を向上させることができる。

また、本実施形態の撮像装置１の他の特徴とする点は、ユーザの指示によりＣＰＵ９がスルー画表示モード（具体的にはユーザが構図決めなどを行う際に使用する）を選択すると、図３に示すように、１フレーム分のベイヤー画像をオーバーラップ分を含むようにして水平方向に２つに分割し、分割後のベイヤー画像ＣをＤＲＡＭ５に記憶させるとともに、分割後のベイヤー画像ＤをＤＲＡＭ６に記憶させ、それらベイヤー画像Ｃ、Ｄに対してそれぞれカラー化画像処理を行った後、統合後の画像をＥＶＦ表示部７に表示させる点である。

これにより、画像処理ブロックを１つしか備えない撮像装置に比べて、ＤＲＡＭ５、６やＹＣ処理部１２等で使用されるラインメモリの長さを短くすることができるので、撮像装置１のコストを低減することができる。

図４は、画像処理ブロック３の画像分割制御部１７を示す図である。なお、画像処理ブロック４の画像分割制御部１７は、画像処理ブロック３の画像分割制御部１７と構成が同じであるため説明を省略する。

図４に示す画像分割制御部１７は、演算部１８〜２３と、ＳＥＬ２４〜２７と、比較器２８、２９と、Ｖカウンタ３０と、Ｈカウンタ３１と、ＡＮＤ回路３２と、アドレスカウンタ３３とを備えて構成されている。

演算部１８は、イメージャー２から出力される１フレーム分のベイヤー画像の垂直方向の１ラインの画素数Ｖを１／２にする。
演算部１９は、イメージャー２から出力される１フレーム分のベイヤー画像の水平方向の１ラインの画素数Ｈを１／２にする。

演算部２０は、演算部１８から出力される画素数Ｖ／２と、オーバーラップ分の画素数とを加算する。
演算部２１は、演算部１８から出力される画素数Ｖ／２からオーバーラップ分の画素数を減算する。

演算部２２は、演算部１９から出力される画素数Ｈ／２と、オーバーラップ分の画素数とを加算する。
演算部２３は、演算部１９から出力される画素数Ｈ／２からオーバーラップ分の画素数を減算する。

上記オーバーラップ分の画素数とは、例えば、図５に示すＹＣ処理部１２内の２次元空間フィルタ処理回路３４のように、複数のラインメモリ３５と、複数の画素メモリ３６と、マトリクス演算器３７とを備え、複数のラインメモリ３５が、それぞれ、ＤＲＡＭ５、６からＹＣ処理部１２に読み出されるベイヤー画像の１ライン分の画素をＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）メモリ動作のように記憶し、複数の画素メモリ３６が、それぞれ、ラインメモリ３５から読み出される各画素を記憶し、マトリクス演算器３７が、複数の画素メモリ３６に記憶される各画素に対してΣｋ_ｍｎｘ_ｍｎ（ｋ_ｍｎは画像データｘ_ｍｎに対する係数）といったマトリクス演算をする回路において、画像処理対象画素に対する画像処理後の画像データを得る際の画像処理対象画素の周辺画素数（図５の例では２）とする。イメージャー２から出力される１フレーム分のベイヤー画像を２つに分割する際、分割後の各画像にそれぞれオーバーラップ分を含ませることにより、統合後の画像同士の繋ぎ目をきれいにすることができる。

ＳＥＬ２４は、ＣＰＵ９から出力される、本撮像モード又はスルー画表示モードを示す信号Ｓ１と、１フレーム分のベイヤー画像の入力先として画像処理ブロック３又は画像処理ブロック４を示す信号Ｓ２とに基づいて、上記画素数Ｖ又は演算部２０から出力される画素数ｖ１のどちらか一方を選択して比較器２８に出力する。

すなわち、信号Ｓ１がスルー画表示モードを示す場合、ＳＥＬ２４は、画素数Ｖを選択して比較器２８に出力する。また、信号Ｓ１が本撮像モードを示し、かつ、信号Ｓ２が画像処理ブロック３を示す場合、ＳＥＬ２４は、画素数ｖ１を選択して比較器２８に出力する。また、信号Ｓ１が本撮像モードを示し、かつ、信号Ｓ２が画像処理ブロック４を示す場合、ＳＥＬ２４は、画素数Ｖを選択して比較器２８に出力する。

ＳＥＬ２５は、信号Ｓ１と信号Ｓ２とに基づいて、演算部２１から出力される画素数ｖ２又はゼロのどちらか一方を選択して比較器２８に出力する。
すなわち、信号Ｓ１がスルー画表示モードを示す場合、ＳＥＬ２５は、ゼロを選択して比較器２８に出力する。また、信号Ｓ１が本撮像モードを示し、かつ、信号Ｓ２が画像処理ブロック３を示す場合、ＳＥＬ２５は、ゼロを選択して比較器２８に出力する。また、信号Ｓ１が本撮像モードを示し、かつ、信号Ｓ２が画像処理ブロック４を示す場合、ＳＥＬ２５は、画素数ｖ２を選択して比較器２８に出力する。

ＳＥＬ２６は、信号Ｓ１と信号Ｓ２とに基づいて、上記画素数Ｈ又は演算部２２から出力される画素数ｈ１のどちらか一方を選択して比較器２９に出力する。
すなわち、信号Ｓ１が本撮像モードを示す場合、ＳＥＬ２６は、画素数Ｈを選択して比較器２９に出力する。また、信号Ｓ１がスルー画表示モードを示し、かつ、信号Ｓ２が画像処理ブロック３を示す場合、ＳＥＬ２６は、画素数ｈ１を選択して比較器２９に出力する。また、信号Ｓ１がスルー画表示モードを示し、かつ、信号Ｓ２が画像処理ブロック４を示す場合、ＳＥＬ２６は、画素数Ｈを選択して比較器２９に出力する。

ＳＥＬ２７は、信号Ｓ１と信号Ｓ２とに基づいて、演算部２３から出力される画素数ｈ２又はゼロのどちらか一方を選択して比較器２９に出力する。
すなわち、信号Ｓ１が本撮像モードを示す場合、ＳＥＬ２７は、ゼロを選択して比較器２９に出力する。また、信号Ｓ１がスルー画表示モードを示し、かつ、信号Ｓ２が画像処理ブロック３を示す場合、ＳＥＬ２７は、ゼロを選択して比較器２９に出力する。また、信号Ｓ１がスルー画表示モードを示し、かつ、信号Ｓ２が画像処理ブロック４を示す場合、ＳＥＬ２７は、画素数ｖ２を選択して比較器２９に出力する。

Ｖカウンタ３０は、イメージャー２から出力される１フレーム分のベイヤー画像の垂直方向の画素をカウントする。
Ｈカウンタ３１は、イメージャー２から出力される１フレーム分のベイヤー画像の水平方向の画素をカウントする。

比較器２８は、Ｖカウンタ３０のカウント値がＳＥＬ２４から出力される値よりも小さく、かつ、ＳＥＬ２５から出力される値よりも大きいとき、ハイレベルの信号を出力し、それ以外のとき、ローレベルの信号を出力する。

比較器２９は、Ｈカウンタ３１のカウント値がＳＥＬ２６から出力される値よりも小さく、かつ、ＳＥＬ２７から出力される値よりも大きいとき、ハイレベルの信号を出力し、それ以外のとき、ローレベルの信号を出力する。

ＡＮＤ回路３２は、比較器２８から出力される信号と、比較器２９から出力される信号とのＡＮＤ演算結果を出力する。
アドレスカウンタ３３は、イメージャー２から出力される１フレーム分のベイヤー画像の各画素をラスタースキャン方向でカウントし、ＡＮＤ回路３２からハイレベルの信号が出力されると、そのときのカウント値に対応する画素のアドレスをＤＲＡＭ５（画像処理ブロック４の画像分割制御部１７ではＤＲＡＭ６）に出力する。

ＤＲＡＭ５は、画像処理ブロック３の画像分割制御部１７のＡＮＤ回路３２からハイレベルの信号が出力されると、画像処理ブロック３から出力される画素と、画像処理ブロック３の画像分割制御部１７のアドレスカウンタ３３から出力されるアドレスとを対応付けて記憶する。また、ＤＲＡＭ６は、画像処理ブロック４の画像分割制御部１７のＡＮＤ回路３２からハイレベルの信号が出力されると、画像処理ブロック４から出力される画素と、画像処理ブロック４の画像分割制御部１７のアドレスカウンタ３３から出力されるアドレスとを対応付けて記憶する。

これにより、本撮像モードのとき、ＤＲＡＭ５には図２に示す画像Ａが記憶され、ＤＲＡＭ６には図２に示す画像Ｂが記憶される。また、スルー画表示モードのとき、ＤＲＡＭ５には図３に示す画像Ｃが記憶され、ＤＲＡＭ６には図３に示す画像Ｄが記憶される。

図６は、本撮像モードにおける画像の分割及び統合の様子の一例を示す図である。なお、説明に必要の無い構成は省略している。
まず、イメージャー２から出力される１フレーム分のベイヤー画像が画像処理ブロック３、４のそれぞれのＰｒｅｐｒｏ部１０において所定の処理が行われた後、ベイヤー画像ＡがＤＲＡＭ５に記憶され、ベイヤー画像ＢがＤＲＡＭ６に記憶される（１）。

次に、ＤＲＡＭ５に記憶されたベイヤー画像Ａは、画像処理ブロック３のＹＣ処理部１２においてカラー化画像処理が行われ画像処理ブロック３のＪＰＥＧ圧縮部１４においてＪＰＥＧ圧縮処理が行われた後ＤＲＡＭ５に再度記憶される。また、ＤＲＡＭ６に記憶されたベイヤー画像Ｂは、画像処理ブロック４のＹＣ処理部１２においてカラー化画像処理が行われ画像処理ブロック４のＪＰＥＧ圧縮部１４においてＪＰＥＧ圧縮処理が行われた後ＤＲＡＭ６に再度記憶される（２）。

次に、ＤＲＡＭ６に記憶されたＪＰＥＧ圧縮画像Ｂが画像処理ブロック４のチップ間インターフェイス１６及び画像処理ブロック３のチップ間インターフェイス１６を介してＤＲＡＭ５に記憶され、ＪＰＥＧ圧縮画像Ａ、ＢがＤＲＡＭ６において１枚の画像に統合される（３）。なお、ＤＲＡＭ６に記憶されたＪＰＥＧ圧縮画像ＢにＪＰＥＧヘッダが付いている場合はそのＪＰＥＧヘッダ以外のデータをＤＲＡＭ５に記憶させるようにする。

そして、ＤＲＡＭ５において１枚に統合された画像のＪＰＥＧヘッダが修正された後、その画像が記録メディア８に記録される（４）。
図７は、スルー画表示モードにおける画像の分割及び統合の様子の一例を示す図である。なお、説明に必要の無い構成は省略している。

まず、イメージャー２から出力される１フレーム分のベイヤー画像が画像処理ブロック３、４のそれぞれのＰｒｅｐｒｏ部１０において所定の処理が行われた後、ベイヤー画像ＣがＤＲＡＭ５に記憶され、ベイヤー画像ＤがＤＲＡＭ６に記憶される（１）。

次に、ＤＲＡＭ５に記憶されたベイヤー画像Ｃは、画像処理ブロック３のＹＣ処理部１２においてカラー化画像処理が行われ後ＤＲＡＭ５に再度記憶される。また、ＤＲＡＭ６に記憶されたベイヤー画像Ｄは、画像処理ブロック４のＹＣ処理部１２においてカラー化画像処理が行われた後ＤＲＡＭ６に再度記憶される（２）。

次に、ＤＲＡＭ６に記憶されたカラー化画像Ｄが画像処理ブロック４のチップ間インターフェイス１６及び画像処理ブロック３のチップ間インターフェイス１６を介してＤＲＡＭ５に記憶され、カラー化画像Ｃ、ＤがＤＲＡＭ５において１枚の画像に統合される（３）。

そして、ＤＲＡＭ５において１枚に統合された画像は、ＥＶＦ表示部７に出力されＥＶＦ表示部７に表示される（４）。
図８は、本撮像モードにおける画像の分割及び統合の様子の他の例を示す図である。なお、説明に必要の無い構成は省略している。また、画像処理ブロック３、４は、それぞれ、セクタパッキング部３８を備えているものとする。

まず、イメージャー２から出力される１フレーム分のベイヤー画像が画像処理ブロック３、４のそれぞれのＰｒｅｐｒｏ部１０において所定の処理が行われた後、ベイヤー画像ＡがＤＲＡＭ５に記憶され、ベイヤー画像ＢがＤＲＡＭ６に記憶される（１）。

そして、ＤＲＡＭ５に記憶されたＪＰＥＧ圧縮画像Ａが画像処理ブロック３のセクタパッキング部３８において記録メディア８の最小記録単位（例えば、５１２バイト）ずつにまとめられて記録メディア８に記録された後（３）−１、ＤＲＡＭ６に記憶されたＪＰＥＧ圧縮画像Ｂが画像処理ブロック４のセクタパッキング部３８において記録メディア８の最小記録単位ずつにまとめられて記録メディア８に記録され、記録メディア８においてＪＰＥＧ画像Ａ、Ｂが１枚の画像に統合される（３）−２。なお、セクタパッキング部３８から最後に出力される画像処理ブロック３のデータが最小記録単位に満たない場合、不足分のデータを画像処理ブロック４からのデータを補充した後にＤＲＡＭ５、６に記録されるものとする。

図８に示す構成によれば、ＤＲＡＭ５に記憶されるＪＰＥＧ圧縮画像ＡとＤＲＡＭ６に記憶されるＪＰＥＧ圧縮画像Ｂが、ＤＲＡＭ５において統合されず、それぞれセクタパッキング部３８を介して直接記録メディア８に記録されるため、撮像装置１全体の動作を高速化することができる。

図９は、スルー画表示モードにおける画像の分割及び統合の様子の他の例を示す図である。なお、説明に必要の無い構成は省略している。また、画像処理ブロック３、４は、それぞれ、タイミング合わせの目的のバッファメモリとしてＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）メモリ３９を備えているものとする。なお、ＦＩＦＯメモリはＬＳＩ内部のＳＲＡＭを用いて構成しても、ＤＲＡＭ５の一部記憶領域とＬＳＩ内部に配置したＦＩＦＯメモリコントローラ（図示せず）を用いて構成しても良い。

次に、ＤＲＡＭ５に記憶されたベイヤー画像Ｃは、画像処理ブロック３のＹＣ処理部１２においてカラー化画像処理が行われ後ＤＲＡＭ５に再度記憶される。また、ＤＲＡＭ６に取り込まれたベイヤー画像Ｄは、画像処理ブロック４のＹＣ処理部１２においてカラー化画像処理が行われた後ＤＲＡＭ６に再度取り込まれる（２）。

そして、ＤＲＡＭ５に記憶されたカラー化画像Ｃの１ライン毎の画素と、ＤＲＡＭ６に記憶されたカラー化画像Ｄの１ライン毎の画素とが、画像処理ブロック３、４のそれぞれのＦＩＦＯメモリ３９により、交互にＥＶＦ表示部７に出力されＥＶＦ表示部７に１枚の画像が表示される（３）。

図９に示す構成によれば、ＤＲＡＭ５に記憶されるカラー化画像ＣとＤＲＡＭ６に記憶されるカラー化画像Ｄが、ＤＲＡＭ５において統合されず、直接ＦＩＦＯメモリ３９を介してＥＶＦ表示部７に出力されるため、撮像装置１全体の動作を高速化することができる。

図１０は、スルー画表示モードにおける画像の分割及び統合の様子のさらに他の例を示す図である。なお、説明に必要の無い構成は省略している。また、画像処理ブロック３、４は、それぞれ、スイッチ回路４０を備えているものとする。スイッチ回路４０は、スイッチ４１、４２から構成され、スルー画表示モードのときで、かつ、画像分割制御部１７からハイレベルの信号が出力されるとき、スイッチ４１がオン、スイッチ４２がオフし、ベイヤー画像Ａ、Ｂが直接ＹＣ処理部１２に出力され、本撮像モードのとき、スイッチ４１がオフ、スイッチ４２がオンし、ベイヤー画像Ａ、ＢがＤＲＡＭ５、６に記憶されるものとする。また、図１０に示す構成における本撮像モード時の画像の分割及び統合は図６又は図８に示すものと同じとする。

まず、イメージャー２から出力される１フレーム分のベイヤー画像が画像処理ブロック３のＰｒｅｐｒｏ部１０において所定の処理が行われた後、画像処理ブロック３のスイッチ４１によりベイヤー画像Ｃが画像処理ブロック３のＹＣ処理部１２に出力される。また、イメージャー２から出力される１フレーム分のベイヤー画像が画像処理ブロック４のＰｒｅｐｒｏ部１０において所定の処理が行われた後、画像処理ブロック４のスイッチ４１によりベイヤー画像Ｄが画像処理ブロック４のＹＣ処理部１２に出力される（１）。

そして、画像処理ブロック３のＹＣ処理部１２でカラー化画像処理が行われたカラー化画像Ｃと、画像処理ブロック４のＹＣ処理部１２でカラー化画像処理が行われたカラー化画像Ｄとが、画像処理ブロック３、４のそれぞれのＦＩＦＯメモリ３９により、交互にＥＶＦ表示部７に出力されＥＶＦ表示部７に１枚の画像が表示される（２）。

図１０に示す構成によれば、ベイヤー画像Ｃ、Ｄが一旦ＤＲＡＭ５、６に記憶されず、直接ＹＣ処理部１２に出力されるため、撮像装置１全体の動作を高速化することができる。

このように、本実施形態の撮像装置１では、１フレーム分のベイヤー画像を垂直方向において分割し、それら分割後の各ベイヤー画像に対してそれぞれ画像処理ブロック３、４において所定の処理を並列に行うため、従来のように、画像処理ブロックを１つしか備えない撮像装置に比べて、ＤＲＡＭ５、６の記憶容量や動作遅延を小さくすることができ撮像装置１全体のコストや動作時間を短縮することができる。また、本撮像モードのとき、分割後の各ベイヤー画像Ａ、ＢをそれぞれＪＰＥＧ圧縮処理まで行っているため、従来のように、各カラー化画像の統合後にＪＰＥＧ圧縮処理を行う撮像装置に比べて、画像処理ブロック間の転送データ量を低減することができデータバスを駆動するために必要な消費電力を低減することができる。また、本撮像モードのとき、１フレーム分のベイヤー画像を垂直方向において分割しているため、従来のように、１フレーム分のベイヤー画像を水平方向において分割する撮像装置に比べて、画像統合時のデータの並び替えをするための機構等を必要とせずコストや動作遅延を低減することができる。

なお、上記実施形態では、カラー化画像に対して、ＪＰＥＧ圧縮処理を行う構成であるが、予測差分符号方式による圧縮処理を行ってもよい。

本発明の実施形態の撮像装置を示す図である。本撮像モードにおける画像の分割及び統合の様子を示す図である。スルー画表示モードにおける画像の分割及び統合の様子を示す図である。画像分割制御部を示す図である。ＹＣ処理部における２次元空間フィルタ処理回路を示す図である。本撮像モードにおける画像の分割及び統合の様子の一例を示す図である。スルー画表示モードにおける画像の分割及び統合の様子の一例を示す図である。本撮像モードにおける画像の分割及び統合の様子の他の例を示す図である。スルー画表示モードにおける画像の分割及び統合の様子の他の例を示す図である。スルー画表示モードにおける画像の分割及び統合の様子のさらに他の例を示す図である。ＪＰＥＧ圧縮処理時のデータの処理順序を示す図である。従来の問題点を説明するための図である。

符号の説明

１撮像装置
２イメージャー
３、４画像処理ブロック
５、６ＤＲＡＭ
７ＥＶＦ表示部
８記録メディア
９ＣＰＵ
１０Ｐｒｅｐｒｏ部
１１ＳＥＬ
１２ＹＣ処理部
１３ラインメモリ長設定部
１４ＪＰＥＧ圧縮部
１５タイミング信号出力部
１６チップ間インターフェイス
１７画像分割制御部
１８〜２３演算部
２４〜２７ＳＥＬ
２８、２９比較器
３０Ｖカウンタ
３１Ｈカウンタ
３２ＡＮＤ回路
３３アドレスカウンタ
３４２次元空間フィルタ処理回路
３５ラインメモリ
３６画素メモリ
３７マトリクス演算器
３８セクタパッキング部
３９ＦＩＦＯメモリ
４０スイッチ回路
４１、４２スイッチ

Claims

イメージャーと、そのイメージャーから出力される１フレーム分の画像の分割後の第１及び第２の画像のうち前記第１の画像に対して所定の処理を行う第１の画像処理ブロックと、前記第２の画像に対して前記所定の処理を行う第２の画像処理ブロックと、前記所定の処理後の前記第１の画像と前記所定の処理後の前記第２の画像との統合後の第３の画像を記録する記録手段と、前記第３の画像を表示する表示手段とを備える撮像装置であって、
前記所定の処理としてカラー化画像処理を行った後圧縮処理を行う本撮像モード、又は、前記所定の処理として前記カラー化画像処理を行うスルー画表示モードのどちらか一方をユーザの指示により選択する選択手段と、
前記選択手段により前記本撮像モードが選択された場合、前記１フレーム分の画像を垂直方向に分割し、前記選択手段により前記スルー画表示モードが選択された場合、前記１フレーム分の画像を水平方向に分割する画像分割手段と、
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記カラー化画像処理後又は前記圧縮処理後の前記第１の画像を記憶する第１の記憶手段と、
前記カラー化画像処理後又は前記圧縮処理後の前記第２の画像を記憶する第２の記憶手段と、
を備え、
前記所定の処理後の前記第１の画像及び前記所定の処理後の前記第２の画像は、前記第１の記憶手段において統合される
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記所定の処理後の前記第１の画像を前記記録手段の最小記録単位のデータずつ前記記録手段に出力する第１のセクタパッキング手段と、
前記所定の処理後の前記第２の画像を前記記録手段の最小記録単位のデータずつ前記記録手段に出力する第２のセクタパッキング手段と、
を備え、
前記選択手段により前記本撮像モードが選択された場合、前記所定の処理後の前記第１の画像が前記第１のセクタパッキング手段により前記記録手段に全て出力された後、前記所定の処理後の前記第２の画像が前記第２のセクタパッキング手段により前記記録手段に全て出力されて前記第３の画像が前記記録手段に記録される
ことを特徴とする撮像装置。
請求項１又は請求項３に記載の撮像装置であって、
前記所定の処理後の前記第１の画像を１ラインずつ前記表示手段に出力する第１のＦＩＦＯメモリと、
前記所定の処理後の前記第２の画像を１ラインずつ前記表示手段に出力する第２のＦＩＦＯメモリと、
を備え、
前記選択手段により前記スルー画表示モードが選択された場合、前記第１のＦＩＦＯメモリから出力される１ライン分の画素と、前記第２のＦＩＦＯメモリから出力される１ライン分の画素とが交互に前記表示手段に出力されて前記第３の画像が前記表示手段に表示される
ことを特徴とする撮像装置。
請求項４に記載の撮像装置であって、
前記選択手段により前記スルー画表示モードが選択された場合、前記第１の画像を第１の記憶手段に一旦記憶させることなく前記カラー化画像処理を行わせる第１のスイッチ回路と、
前記選択手段により前記スルー画表示モードが選択された場合、前記第２の画像を第２の記憶手段に一旦記憶させることなく前記カラー化画像処理を行わせる第２のスイッチ回路と、
を備えることを特徴とする撮像装置。