JP2014090313A

JP2014090313A - 撮像装置および撮像方法

Info

Publication number: JP2014090313A
Application number: JP2012239063A
Authority: JP
Inventors: Keisuke Nakazono; 啓介中薗; Suguru Ikeda; 英池田; Akira Ueno; 晃上野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2014-05-15
Anticipated expiration: 2032-10-30
Also published as: US20140118596A1; US9363440B2; JP6006083B2

Abstract

【課題】固体撮像装置が撮像してからライブビュー画像を生成して表示デバイスに表示するまでの遅延時間を短くすることができる撮像装置および撮像方法を提供する。
【解決手段】被写体光に応じた画素信号を予め定めた第１の同期信号のタイミングから出力する固体撮像装置を具備し、画素信号に応じた撮像画像データを出力する撮像部と、撮像画像データに対して第１の画像処理を行った第１の画像データ、または第２の画像処理を行った第２の画像データのいずれか一方の画像データを生成する複数の画像処理部と、予め定めた第２の同期信号のタイミングから入力された画像データに応じた画像を表示する表示装置に、第２の画像データに応じた画像を表示させる表示処理部と、第１の同期信号と第２の同期信号との位相差の設定を変更するとともに、複数の画像処理部のそれぞれが実行する画像処理を切り替える制御部とを備える。
【選択図】図２

Description

本発明は、撮像装置および撮像方法に関する。

光学ファインダを備えていない電子カメラなどの撮像装置では、撮影する被写体を確認するための構成として、ＴＦＴ（薄膜トランジスター：ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や、ＥＶＦ（電子ビューファインダ：ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）などの表示デバイスを備えている。そして、いわゆる、ライブビューの機能を利用して、撮影する被写体の動画を表示デバイスに表示している。このライブビューの機能では、イメージセンサから連続的に取り込んだ各フレームの画素信号から、表示デバイスに表示するための各フレームの画像（以下、「ライブビュー画像」という）を生成し、各フレームのライブビュー画像をフレーム毎に順次表示デバイスに表示している。

図９は、従来の撮像装置におけるイメージセンサのタイミングと表示デバイスのタイミングとの関係の一例を示したタイミングチャートである。図９に示した垂直同期信号ＣＣＤＶＤは、イメージセンサが撮像した画素信号の出力を開始するタイミングを表す撮像用の垂直同期信号であり、垂直同期信号ＴＦＴＶＤは、表示デバイスがライブビュー画像の表示を開始するタイミングを表す表示用の垂直同期信号である。図９に示したように、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとを同期させ、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差（図９の位相差Ｐ参照）を所定の値に保つことによって、イメージセンサが撮像した画像を一定の時間後に表示デバイスに表示させることができる。

また、例えば、特許文献１や特許文献２には、複数の画像処理部を備えた撮像装置の技術が開示されている。特許文献１や特許文献２で開示された技術では、それぞれの画像処理部が、記録する静止画を生成する記録用の画像処理、または表示する画像を生成する表示用の画像処理のいずれか一方の画像処理を行うことによって、記録用の画像処理と表示用の画像処理とを同時に並行して実行することができる。この特許文献１や特許文献２で開示された技術を用いることによって、記録する静止画を確認するための画像を、早いタイミングで表示デバイスに表示させることができる。

特許第３９８８４６１号公報特開２０１０−１０３９３５号公報

ところで、ライブビューの機能によるライブビュー画像の表示（以下、「ライブビュー表示」という）では、静止画を撮影するタイミング、いわゆる、シャッターチャンスを逃さないために、イメージセンサが撮像してからライブビュー画像を表示デバイスに表示するまでの遅延時間（以下、「表示レイテンシ」という）を短くすることが求められている。しかし、上述したように、ライブビュー表示では、イメージセンサから取り込んだ画素信号に対して、表示デバイスに表示するライブビュー画像を生成するための表示用の画像処理を行い、この表示用の画像処理によって生成したライブビュー画像を表示デバイスに表示している。このため、表示レイテンシを短くするためには、表示用の画像処理を行う時間を考慮した上で、最速のタイミングに位相差Ｐを設定するのが望ましい。

しかしながら、位相差Ｐが依存している表示用の画像処理を実行する時間は、単にイメージセンサから取り込んだ画素信号に対して画像処理を行っている時間のみではなく、撮像装置内に備えた各構成要素の間で行われるＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）転送によるＤＭＡバスの混雑度の影響によって変動してしまう。このため、位相差Ｐの設定は、表示レイテンシがＤＭＡバスの混雑度に影響されないように、ある程度の余裕（マージン）をもった値に設定しなくてはならず、あまり短い時間に設定することができない。

また、特許文献１や特許文献２で開示された技術を用いると、イメージセンサから撮影した静止画用の画素信号を取得している期間に、表示しているライブビュー画像が同じ画像に固定されてしまうフリーズ状態や、ライブビュー画像が表示されずに黒表示となるブラックアウト状態から、ライブビュー画像の表示を早いタイミングで復帰（再開）させることができると考えられる。

しかしながら、特許文献１や特許文献２には、ライブビュー表示の表示レイテンシを短縮する技術に関しては開示されていない。このため、特許文献１や特許文献２で開示された技術は、撮像装置で静止画を撮影する際のシャッターチャンスを逃さないために、ライブビュー表示の表示レイテンシを短縮するための技術として適用することができない。

本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置が撮像してからライブビュー画像を生成して表示デバイスに表示するまでの遅延時間を短くすることができる撮像装置および撮像方法を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、入射された被写体光に応じた画素信号を、予め定めた第１の同期信号のタイミングから出力する固体撮像装置を具備し、該固体撮像装置が出力した前記画素信号に応じた撮像画像データを出力する撮像部と、前記撮像部から出力された前記撮像画像データに対して第１の画像処理を行った第１の画像データ、または前記撮像画像データに対して第２の画像処理を行った第２の画像データのいずれか一方の画像データを生成する複数の画像処理部と、予め定めた第２の同期信号のタイミングから入力された画像データに応じた画像を表示する表示装置に、前記第２の画像データを出力し、前記第２の画像データに応じた画像を表示させる表示処理部と、前記第１の同期信号と前記第２の同期信号との位相差の設定を変更するとともに、複数の前記画像処理部のそれぞれが実行する画像処理を切り替える制御部と、を備えることを特徴とする。

また、本発明の前記制御部は、複数の前記画像処理部の予め定めた画像処理部が前記第１の画像データを生成し、前記予め定めた前記画像処理部と異なる画像処理部が前記第２の画像データを生成する場合に、前記第１の同期信号と前記第２の同期信号との位相差の設定を第１の位相差に設定し、前記第１の同期信号と前記第２の同期信号との位相差の設定を、前記第１の位相差よりも短い第２の位相差に設定する場合には、複数の前記画像処理部の所定の複数の画像処理部が、同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を分担して並列に実行するように、複数の前記画像処理部のそれぞれが実行する画像処理を切り替える、ことを特徴とする。

また、本発明の前記制御部は、前記第１の同期信号と前記第２の同期信号との位相差の設定を前記第２の位相差に設定した状態で前記第１の同期信号を検知すると、該検知した前記第１の同期信号に対応したタイミングで、最初に、前記所定の複数の画像処理部が前記第２の画像処理を分担して並列に実行するように切り替え、該第２の画像処理によって前記第２の画像データの生成が終了した後に、前記所定の複数の画像処理部が前記第１の画像処理を分担して並列に実行するように切り替える、ことを特徴とする。

また、本発明の前記制御部は、前記第２の位相差の設定で、前記所定の複数の画像処理部が前記第１の画像処理を分担して並列に実行しているときに前記第１の同期信号を検知すると、該検知した前記第１の同期信号に対応したタイミングで、前記所定の複数の画像処理部が現在実行している前記第１の画像処理を中断し、中断した該第１の画像処理の現在の設定や状態をそれぞれ退避させた後に、前記所定の複数の画像処理部に前記第２の画像処理を分担して並列に実行させ、該第２の画像処理によって前記第２の画像データの生成が終了した後に、中断した前記第１の画像処理の設定や状態をそれぞれ復帰させ、その後、前記所定の複数の画像処理部に続きの前記第１の画像処理を再開させる、ことを特徴とする。

また、本発明の前記制御部は、前記撮像画像データの領域を左右方向に複数の領域に分割し、該分割した領域のそれぞれの撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部のいずれかの画像処理部に実行させることによって、分割前の同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部で分担して並列に実行させる、ことを特徴とする。

また、本発明の前記制御部は、前記撮像画像データの領域を上下方向に複数の領域に分割し、該分割した領域のそれぞれの撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部のいずれかの画像処理部に実行させることによって、分割前の同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部で分担して並列に実行させる、ことを特徴とする。

また、本発明の前記制御部は、前記撮像画像データの領域を上下左右方向に複数のブロック領域に分割し、該分割したブロック領域のそれぞれの撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部のいずれかの画像処理部に実行させることによって、分割前の同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部で分担して並列に実行させる、ことを特徴とする。

また、本発明の前記第１の画像処理は、前記撮像画像データに応じた画像を記録するための記録画像データを、前記第１の画像データとして生成する記録用の画像処理であり、前記第２の画像処理は、前記固体撮像装置が前記第１の同期信号のタイミングに基づいて出力した各フレームの画素信号に応じたそれぞれのフレームの前記撮像画像データに応じた画像を前記表示装置に表示するための表示画像データを、前記第２の画像データとして生成する表示用の画像処理である、ことを特徴とする。

また、本発明の撮像方法は、入射された被写体光に応じた画素信号を、予め定めた第１の同期信号のタイミングから出力する固体撮像装置が出力した前記画素信号に応じた撮像画像データを出力する撮像ステップと、前記撮像ステップによって出力された前記撮像画像データに対して第１の画像処理を行った第１の画像データ、または前記撮像画像データに対して第２の画像処理を行った第２の画像データのいずれか一方の画像データを生成する複数の画像処理ステップと、予め定めた第２の同期信号のタイミングから入力された画像データに応じた画像を表示する表示装置に、前記第２の画像データを出力し、前記第２の画像データに応じた画像を表示させる表示処理ステップと、前記第１の同期信号と前記第２の同期信号との位相差の設定を変更するとともに、複数の前記画像処理ステップのそれぞれが実行する画像処理を切り替える制御ステップと、を含むことを特徴とする。

本発明によれば、固体撮像装置が撮像してからライブビュー画像を生成して表示デバイスに表示するまでの遅延時間を短くすることができるという効果が得られる。

本発明の実施形態における撮像装置の概略構成を示したブロック図である。本実施形態の撮像装置におけるイメージセンサおよび表示デバイスのタイミングと、実行する画像処理との関係の一例を示したタイミングチャートである。本実施形態の撮像装置における画像データの流れを模式的に示した図である。本実施形態の撮像装置における画像データの流れを模式的に示した図である。本実施形態の撮像装置においてそれぞれの画像処理部が画像処理を実行する画像データの領域の分割方法の一例を模式的に示した図である。本実施形態の撮像装置におけるライブビュー画像の表示レイテンシの変更と実行する画像処理の切り替えとの処理手順を示したフローチャートである。本実施形態の撮像装置における設定データの流れを模式的に示した図である。本実施形態の撮像装置における設定データの流れを模式的に示した図である。従来の撮像装置におけるイメージセンサのタイミングと表示デバイスのタイミングとの関係の一例を示したタイミングチャートである。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像部２００と、２つの画像処理部３０１および画像処理部３０２と、表示処理部４００と、表示デバイス４０１と、メディアＩ／Ｆ部５００と、記録媒体５０１と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）６００と、ＣＰＵ７００と、を備えている。

撮像装置１０内の撮像部２００と、画像処理部３０１および画像処理部３０２と、表示処理部４００と、メディアＩ／Ｆ部５００とのそれぞれは、例えば、ＤＭＡ転送によって、ＤＲＡＭ６００へのデータの格納（書き込み）、およびＤＲＡＭ６００からのデータの取得（読み出し）を行う。

イメージセンサ１００は、不図示のレンズによって結像された被写体の光学像を光電変換するＣＣＤ（ＣｈａｒｇｅＣｏｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、被写体光に応じた画素信号を撮像部２００に出力する。なお、イメージセンサ１００は、撮像装置１０がライブビュー表示を行うとき、被写体光に応じた各フレームの画素信号を順次、撮像部２００に出力する。

撮像部２００は、イメージセンサ１００から入力された画素信号に対して各種の処理を施し、画素信号に応じた画像データ（以下、「撮像画像データ」という）をＤＲＡＭ６００に格納する（書き込む）。また、撮像装置１０がライブビュー表示を行うとき、撮像部２００は、イメージセンサ１００から入力された各フレームの画素信号に応じたそれぞれのフレームの撮像画像データを、順次ＤＲＡＭ６００に格納する（書き込む）。

画像処理部３０１および画像処理部３０２のそれぞれは、ＤＲＡＭ６００に格納されている撮像画像データを取得し（読み出し）、取得した撮像画像データに対して、ノイズ除去、ＹＣ変換処理、リサイズ処理、およびＪＰＥＧ圧縮処理などの記録用の画像処理を施して記録用の画像データ（以下、「記録画像データ」という）を生成し、生成した記録画像データを再びＤＲＡＭ６００に格納する（書き込む）。なお、画像処理部３０１および画像処理部３０２のそれぞれが実行する記録用の画像処理は、従来の撮像装置における処理と同様であるため、詳細な説明は省略する。

また、画像処理部３０１および画像処理部３０２のそれぞれは、取得した撮像画像データに対して、表示デバイス４０１が表示することができる画像の大きさへのリサイズ（縮小）などの表示用の画像処理を施して表示用の画像データ（以下、「表示画像データ」という）を生成し、生成した表示画像データを再びＤＲＡＭ６００に格納する（書き込む）。また、撮像装置１０がライブビュー表示を行うとき、画像処理部３０１および画像処理部３０２のそれぞれは、ＤＲＡＭ６００に格納されている各フレームの撮像画像データを順次取得し（読み出し）、取得したそれぞれのフレームの撮像画像データに対して順次表示用の画像処理を施して生成したそれぞれのフレームの表示画像データを、ライブビュー画像として、順次ＤＲＡＭ６００に格納する（書き込む）。なお、画像処理部３０１および画像処理部３０２のそれぞれが実行する表示用の画像処理は、従来の撮像装置における処理と同様であるため、詳細な説明は省略する。

また、画像処理部３０１および画像処理部３０２のそれぞれは、ＤＲＡＭ６００に格納されている記録画像データを取得し（読み出し）、ＪＰＥＧ伸張処理などの再生用の画像処理を施して再生用の画像データ（以下、「再生画像データ」という）を生成し、生成した再生画像データを再びＤＲＡＭ６００に格納する（書き込む）。なお、画像処理部３０１および画像処理部３０２のそれぞれが実行する再生用の画像処理は、従来の撮像装置における処理と同様であるため、詳細な説明は省略する。

表示処理部４００は、ＤＲＡＭ６００に格納されている表示画像データや再生画像データを取得し（読み出し）、取得した表示画像データや再生画像データに、ＯＳＤ（Ｏｎ−ＳｃｒｅｅｎＤｉｓｐｌａｙ）表示用のデータを重畳する重畳処理などの表示処理を施して、表示デバイス４０１に出力する。また、撮像装置１０がライブビュー表示を行うとき、表示処理部４００は、ＤＲＡＭ６００に格納されている各フレームのライブビュー画像を順次取得し（読み出し）、取得したライブビュー画像に対して表示処理を施して表示デバイス４０１に順次出力する。

表示デバイス４０１は、ＴＦＴ−ＬＣＤや、有機ＥＬディスプレイなどの表示装置であり、表示処理部４００から出力された表示処理後の表示画像データや再生画像データやライブビュー画像に応じた画像を表示する。なお、表示デバイス４０１は、ＥＶＦなどの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、図１においては、表示デバイス４０１も撮像装置１０の構成要素としているが、表示デバイス４０１は、撮像装置１０に着脱可能な構成であってもよい。

メディアＩ／Ｆ部５００は、ＤＲＡＭ６００に格納されている記録画像データを取得し（読み出し）、記録媒体５０１に記録させる。また、メディアＩ／Ｆ部５００は、記録媒体５０１に記録している画像データを読み出し、読み出した画像データを記録画像データとしてＤＲＡＭ６００に転送する（書き込む）。

記録媒体５０１は、ＳＤメモリカード（ＳＤＭｅｍｏｒｙＣａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））などの記録媒体であり、メディアＩ／Ｆ部５００から出力された記録画像データを記録する。また、メディアＩ／Ｆ部５００によって記録している画像データが読み出される。なお、図１においては、記録媒体５０１も撮像装置１０の構成要素としているが、記録媒体５０１は、撮像装置１０に着脱可能な構成である。

ＤＲＡＭ６００は、撮像装置１０に備えたそれぞれの構成要素からアクセスされるメモリである。ＤＲＡＭ６００は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記録する。なお、図１では、撮像装置１０内の各構成要素がＤＲＡＭ６００にアクセスする構成を示しているが、例えば、不図示のＤＲＡＭコントローラによってＤＲＡＭ６００に対するアクセス制御がされる構成であってもよい。この場合には、撮像装置１０内の各構成要素が、例えば、ＤＭＡ転送によるＤＲＡＭ６００へのアクセス要求をＤＲＡＭコントローラに対して出力し、ＤＲＡＭコントローラが、各構成要素から入力されたＤＭＡ転送でのＤＲＡＭ６００へのアクセス要求に応じて、接続されているＤＲＡＭ６００へのデータの格納（書き込み）、およびＤＲＡＭ６００からのデータの取得（読み出し）の制御を行うことになる。

ＣＰＵ７００は、撮像装置１０内のそれぞれの構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。また、撮像装置１０がライブビュー表示を行うとき、ＣＰＵ７００は、表示デバイス４０１に表示させるライブビュー画像の表示レイテンシを変更するために、撮像装置１０内の各構成要素の設定の変更などの制御を行う。なお、ＣＰＵ７００が行う表示レイテンシを変更するための制御に関する詳細な説明は、後述する。

次に、撮像装置１０がライブビュー表示を行うときの制御について説明する。まず、撮像装置１０におけるライブビュー画像の表示レイテンシと、撮像装置１０内の各構成要素の動作の関係について説明する。図２は、本実施形態の撮像装置１０におけるイメージセンサ１００および表示デバイス４０１のタイミングと、実行する画像処理との関係の一例を示したタイミングチャートである。なお、図２に示した垂直同期信号ＣＣＤＶＤは、イメージセンサ１００が撮像した被写体光に応じた画素信号の出力を開始するタイミングを表す撮像用の垂直同期信号であり、垂直同期信号ＴＦＴＶＤは、表示デバイス４０１がライブビュー画像の表示を開始するタイミングを表す表示用の垂直同期信号である。

図２は、表示デバイス４０１にライブビュー画像を表示しながら、記録媒体５０１に記録する静止画の記録画像データを生成するために、ライブビュー画像の各フレームの表示用の画像処理と、記録する静止画の記録用の画像処理とを並行して実行している状態のタイミングチャートである。図２に示したように、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとを同期させ、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差を所定の値に保つことによって、イメージセンサ１００が撮像した画像を一定の時間後に表示デバイス４０１に表示させることができる。

図２（ａ）には、撮像装置１０がライブビュー画像の表示レイテンシを短縮していない場合、すなわち、イメージセンサ１００が撮像してからライブビュー画像を表示デバイス４０１に表示させるまでの遅延時間が、従来の撮像装置におけるライブビュー表示と同様である場合（以下、「表示レイテンシ通常モード」という）における画像処理部３０１および画像処理部３０２の動作のタイミングを示している。また、図２（ｂ）には、撮像装置１０がライブビュー画像の表示レイテンシを短縮する場合、すなわち、イメージセンサ１００が撮像してからライブビュー画像を表示デバイス４０１に表示させるまでの遅延時間を、従来の撮像装置におけるライブビュー表示よりも短くした場合（以下「表示レイテンシ短縮モード」という）における画像処理部３０１および画像処理部３０２の動作のタイミングを示している。

撮像装置１０が、表示レイテンシ通常モードでライブビュー画像を表示しながら静止画の記録画像データを生成する場合には、図２（ａ）に示したように、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差を位相差Ｐに設定する。そして、一方の画像処理部（図２（ａ）では画像処理部３０１）が静止画の記録画像データを生成する記録用の画像処理を実行し、他方の画像処理部（図２（ａ）では画像処理部３０２）が各フレームのライブビュー画像を生成する表示用の画像処理を実行する。

ここで、撮像装置１０が表示レイテンシ通常モードでライブビュー画像を表示しながら静止画の記録画像データを生成する場合における画像データの流れについて説明する。図３は、本実施形態の撮像装置１０における画像データの流れを模式的に示した図である。図３（ａ）には、静止画の記録画像データを生成して記録媒体５０１に記録させる際の画像データの流れを示し、図３（ｂ）には、ライブビュー画像を生成して表示デバイス４０１に表示させる際の画像データの流れを示している。なお、図３に示したそれぞれの画像データの流れは、従来の撮像装置においてそれぞれの動作を行う際の画像データの流れと同様である。

撮像装置１０が表示レイテンシ通常モードにおいて静止画の記録画像データを記録媒体５０１に記録させる際には、図３（ａ）に示したように、まず、イメージセンサ１００が撮像し、垂直同期信号ＣＣＤＶＤのタイミングから出力した画素信号に対して撮像部２００が各種の処理を施した撮像画像データを、ＤＲＡＭ６００に格納する（書き込む）。

続いて、画像処理部３０１が、ＤＲＡＭ６００に格納されている撮像画像データを取得し（読み出し）、取得した撮像画像データに対して記録用の画像処理を施した記録画像データを、再びＤＲＡＭ６００に格納する（書き込む）。

最後に、メディアＩ／Ｆ部５００が、ＤＲＡＭ６００に格納されている記録画像データを取得して（読み出して）、記録媒体５０１に記録させる。

また、撮像装置１０が表示レイテンシ通常モードにおいてライブビュー画像を生成して表示デバイス４０１に表示させる際には、図３（ｂ）に示したように、まず、イメージセンサ１００が撮像し、垂直同期信号ＣＣＤＶＤのタイミングから出力した今回のフレームの画素信号に対して撮像部２００が各種の処理を施した撮像画像データを、ＤＲＡＭ６００に格納する（書き込む）。

続いて、画像処理部３０２が、ＤＲＡＭ６００に格納されている今回のフレームの撮像画像データを取得し（読み出し）、取得した撮像画像データに対して表示用の画像処理を施した表示画像データ（ライブビュー画像）を、再びＤＲＡＭ６００に格納する（書き込む）。

最後に、表示処理部４００が、ＤＲＡＭ６００に格納されているライブビュー画像を取得して（読み出して）、垂直同期信号ＴＦＴＶＤより前のタイミングで表示デバイス４０１に出力する。これにより、今回のフレームのライブビュー画像に応じた画像が、垂直同期信号ＴＦＴＶＤのタイミングから表示デバイス４０１に表示される。以降、同様に、次のフレームの撮像と、表示用の画像処理と、表示デバイス４０１へのライブビュー画像の出力とを繰り返して、ライブビュー表示を行う。

一方、撮像装置１０が、表示レイテンシ短縮モードでライブビュー画像を表示しながら静止画の記録画像データを生成する場合には、図２（ｂ）に示したように、画像処理部３０１と画像処理部３０２との２つの画像処理部で、同じフレームのライブビュー画像を生成する表示用の画像処理を分担して実行する。また、図２（ｂ）に示したように、それぞれのフレームのライブビュー画像の生成が終了した後に、画像処理部３０１と画像処理部３０２との２つの画像処理部で、同じ静止画の記録画像データを生成する記録用の画像処理を分担して実行する。

なお、図２（ａ）を見てわかるように、１つの静止画を生成する記録用の画像処理が終了するまでには、複数の垂直同期信号ＣＣＤＶＤおよび垂直同期信号ＴＦＴＶＤに跨った期間の時間が必要である。このため、撮像装置１０では、図２（ｂ）に示したように、記録用の画像処理を実行しているときに、次のフレームのライブビュー画像を生成するタイミングになった場合には、画像処理部３０１と画像処理部３０２とは、一旦、現在実行している記録用の画像処理を中断し、次のフレームのライブビュー画像の生成が終了した後に、続きの記録用の画像処理を再開するというような動作を行う。

ここで、撮像装置１０が表示レイテンシ短縮モードでライブビュー画像を表示しながら静止画の記録画像データを生成する場合における画像データの流れについて説明する。図４は、本実施形態の撮像装置１０における画像データの流れを模式的に示した図である。図４（ａ）には、ライブビュー画像を生成して表示デバイス４０１に表示させる際の画像データの流れを示し、図４（ｂ）には、静止画の記録画像データを生成して記録媒体５０１に記録させる際の画像データの流れを示している。

撮像装置１０が表示レイテンシ短縮モードにおいてライブビュー画像を生成して表示デバイス４０１に表示させる際には、図４（ａ）に示したように、まず、イメージセンサ１００が撮像し、垂直同期信号ＣＣＤＶＤのタイミングから出力した今回のフレームの画素信号に対して撮像部２００が各種の処理を施した撮像画像データを、ＤＲＡＭ６００に格納する（書き込む）。この処理は、表示レイテンシ通常モードと同様である。

続いて、画像処理部３０１および画像処理部３０２のそれぞれが、ＤＲＡＭ６００に格納されている今回のフレームの撮像画像データにおいて対応する領域の撮像画像データをそれぞれ取得し（読み出し）、それぞれ取得した撮像画像データに対して表示用の画像処理をそれぞれ施したそれぞれの領域の表示画像データ（ライブビュー画像）を、再びＤＲＡＭ６００に格納する（書き込む）。なお、画像処理部３０１および画像処理部３０２のそれぞれがライブビュー画像を、再びＤＲＡＭ６００に格納する際には、それぞれのライブビュー画像が１つのライブビュー画像となるように、ＤＲＡＭ６００に格納される。なお、画像処理部３０１および画像処理部３０２のそれぞれが対応する撮像画像データの領域に関する詳細な説明は、後述する。

最後に、表示処理部４００が、ＤＲＡＭ６００に格納されているライブビュー画像を取得して（読み出して）、垂直同期信号ＴＦＴＶＤより前のタイミングで表示デバイス４０１に出力する。これにより、今回のフレームのライブビュー画像に応じた画像が、垂直同期信号ＴＦＴＶＤのタイミングから表示デバイス４０１に表示される。この処理は、表示レイテンシ通常モードと同様である。以降、同様に、次のフレームの撮像と、表示用の画像処理と、表示デバイス４０１へのライブビュー画像の出力とを繰り返して、ライブビュー表示を行う。

また、撮像装置１０が表示レイテンシ短縮モードにおいて静止画の記録画像データを記録媒体５０１に記録させる際には、図４（ｂ）に示したように、まず、イメージセンサ１００が撮像し、垂直同期信号ＣＣＤＶＤのタイミングから出力した画素信号に対して撮像部２００が各種の処理を施した撮像画像データを、ＤＲＡＭ６００に格納する（書き込む）。この処理は、表示レイテンシ通常モードと同様である。

続いて、画像処理部３０１および画像処理部３０２のそれぞれが、ＤＲＡＭ６００に格納されている撮像画像データにおいて対応する領域の撮像画像データをそれぞれ取得し（読み出し）、それぞれ取得した撮像画像データに対して記録用の画像処理をそれぞれ施したそれぞれの領域の記録画像データを、再びＤＲＡＭ６００に格納する（書き込む）。なお、画像処理部３０１および画像処理部３０２のそれぞれが記録画像データを、再びＤＲＡＭ６００に格納する際には、それぞれの記録画像データが１つの記録画像データとなるように、ＤＲＡＭ６００に格納される。なお、画像処理部３０１および画像処理部３０２のそれぞれが対応する撮像画像データの領域に関する詳細な説明は、後述する。

最後に、メディアＩ／Ｆ部５００が、ＤＲＡＭ６００に格納されている記録画像データを取得して（読み出して）、記録媒体５０１に記録させる。この処理は、表示レイテンシ通常モードと同様である。

次に、撮像装置１０において、画像処理部３０１および画像処理部３０２のそれぞれが、ライブビュー画像を生成する表示用の画像処理、または静止画の記録画像データを生成する記録用の画像処理を分担して実行する際に、画像処理を行う１つの画像データの領域を複数の領域に分割する方法について説明する。

図５は、本実施形態の撮像装置１０においてそれぞれの画像処理部（画像処理部３０１および画像処理部３０２）が画像処理を実行する画像データの領域の分割方法の一例を模式的に示した図である。図５（ａ）には、画像処理を行う１つの画像データの領域を示し、図５（ｂ）〜図５（ｅ）には、図５（ａ）に示した画像データの領域を、画像処理部３０１と画像処理部３０２とが対応するそれぞれの領域に分割した場合の一例を示している。

図５（ｂ）には、図５（ａ）に示した画像データの領域を左右方向に２つの領域に分割し、画像処理部３０１が左側の領域の画像データを画像処理し、画像処理部３０２が右側の領域の画像データを画像処理する場合を示している。

また、図５（ｃ）には、図５（ａ）に示した画像データの領域を上下方向に２つの領域に分割し、画像処理部３０１が上側の領域の画像データを画像処理し、画像処理部３０２が下側の領域の画像データを画像処理する場合を示している。

また、図５（ｄ）には、図５（ａ）に示した画像データの領域を横方向に４つの短冊状の領域に分割し、画像処理部３０１が奇数番目の短冊の領域の画像データを画像処理し、画像処理部３０２が偶数番目の短冊の領域の画像データを画像処理する場合を示している。なお、縦方向に複数の短冊状の領域に分割した場合も同様に考えることができる。

また、図５（ｅ）には、図５（ａ）に示した画像データの領域を左右方向に４つ、上下方向に５つに分割した２０個のブロックの領域に分割し、画像処理部３０１と画像処理部３０２とがそれぞれ異なるブロックの領域の画像データを画像処理する場合を示している。

なお、画像処理部３０１と画像処理部３０２とのそれぞれが画像処理を行う画像データの領域の分割方法は、図５に示した一例に限定されるものではなく、他の様々な方法で画像データの領域を分割することができる。

このように、表示レイテンシ短縮モードでライブビュー画像を表示しながら、静止画の記録画像データを生成する場合には、表示用の画像処理と記録用の画像処理とを時分割にして、画像処理部３０１と画像処理部３０２とが並列に同じ画像処理を行う。このように、表示用の画像処理を２つの画像処理部で並列に実行することによって、１つの画像処理部で表示用の画像処理を実行するよりも少ない時間で各フレームのライブビュー画像を生成することができる。これにより、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差を位相差Ｐよりも短い位相差Ｐ２に設定することが可能となり、従来の撮像装置よりも短い表示レイテンシで表示デバイス４０１にライブビュー画像を表示することができる。また、記録用の画像処理を２つの画像処理部で並列に実行することによって、２つの画像処理部が表示用の画像処理を並列に実行していたにもかかわらず、１つの画像処理部で記録用の画像処理を実行していたのと同様の時間で静止画の記録画像データを生成することができ、記録媒体５０１に静止画の記録画像データを記録させることができる。

なお、表示レイテンシ短縮モードにおいて、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差を位相差Ｐ２に設定した場合であっても、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとのそれぞれの周期は、表示レイテンシ通常モードと同じである。従って、表示レイテンシ短縮モードでは、イメージセンサ１００が撮像してからライブビュー画像を表示デバイス４０１に表示させるまでの表示レイテンシ（遅延時間）のみが、従来の撮像装置におけるライブビュー表示よりも短くなる。

また、図２においては、画像処理部３０１と画像処理部３０２とのそれぞれが、垂直同期信号ＣＣＤＶＤまたは垂直同期信号ＴＦＴＶＤのタイミングに合わせて動作している場合を示している。しかし、画像処理部３０１と画像処理部３０２とのそれぞれが動作するタイミングは、図２に示した一例のタイミングに限定されるものではなく、垂直同期信号ＣＣＤＶＤまたは垂直同期信号ＴＦＴＶＤに対応したタイミングであれば、いかなるタイミングであってもよい。例えば、垂直同期信号ＴＦＴＶＤに基づいて生成した垂直同期信号ＣＣＤＶＤよりも前のタイミングで画像処理部３０１と画像処理部３０２とのそれぞれが、表示用の画像処理を開始する構成であってもよい。

なお、撮像装置１０による表示レイテンシ通常モードと表示レイテンシ短縮モードとの切り替え、すなわち、ライブビュー画像の表示レイテンシの変更と、画像処理部３０１および画像処理部３０２の動作の切り替えとは、ＣＰＵ７００が制御する。つまり、図２（ａ）に示した位相差Ｐの設定、画像処理部３０１および画像処理部３０２の動作と、図２（ｂ）に示した位相差Ｐ２の設定、画像処理部３０１および画像処理部３０２の動作との切り換えは、ＣＰＵ７００によって行われる。

次に、撮像装置１０においてＣＰＵ７００が行うライブビュー画像の表示レイテンシの変更と、画像処理部３０１および画像処理部３０２の動作の切り替え処理について説明する。図６は、本実施形態の撮像装置１０におけるライブビュー画像の表示レイテンシの変更と実行する画像処理の切り替えとの処理手順を示したフローチャートである。図６には、表示レイテンシ短縮モードにおいてＣＰＵ７００が撮像装置１０内のそれぞれの構成要素に対して行う制御の処理手順を示している。図６に示した表示レイテンシの変更と画像処理の切り替えとのフローチャートの説明においては、短い表示レイテンシで表示するライブビュー画像の各フレームの表示用の画像処理と、記録する静止画の記録用の画像処理とを並行して実行する場合の例を説明する。

ＣＰＵ７００は、表示レイテンシ短縮モードへの切り替えが必要であるか否かを判定し、表示レイテンシ短縮モードへの切り換えが必要であると判定した場合に、図６に示した表示レイテンシ短縮モードにおける処理手順を開始する。なお、ＣＰＵ７００は、撮像装置１０のユーザ（撮影者）が、例えば、撮像装置１０のメニュー設定を変更して、ライブビュー表示を表示レイテンシ短縮モードで行う設定がされたときや、撮像装置１０のモードダイヤルを操作して、ライブビュー表示を表示レイテンシ短縮モードで行うモードが選択されたときに、表示レイテンシ短縮モードへの切り替えが必要であると判定する。また、ＣＰＵ７００は、例えば、撮像装置１０に搭載しているシーン判別の機能によって、ライブビュー表示を表示レイテンシ短縮モードで行うモード（例えば、スポーツモードなど）であると判別したときに、表示レイテンシ短縮モードへの切り替えが必要であると判定する。また、ＣＰＵ７００は、例えば、ＴＦＴ−ＬＣＤとＥＶＦとの両方を表示デバイス４０１として備えている撮像装置１０において、撮影者（ユーザ）がＥＶＦに接眼したことによってライブビュー画像の表示先をＥＶＦに切り替えたときに、表示レイテンシ短縮モードへの切り替えが必要であると判定する。

ＣＰＵ７００は、表示レイテンシの変更と画像処理の切り替え処理を開始すると、まず、ステップＳ１において、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差を、短い位相差に設定する。例えば、図２（ａ）に示した位相差Ｐから図２（ｂ）に示した位相差Ｐ２に、位相差の設定を変更する。これにより、表示レイテンシ短縮モードでのライブビュー表示を開始することができる。

続いて、ステップＳ２において、ＣＰＵ７００は、垂直同期信号ＣＣＤＶＤを検知したか否かを判定する。そして、ステップＳ２による判定の結果、垂直同期信号ＣＣＤＶＤを検知していない場合（ステップＳ２の“Ｎｏ”）には、ＣＰＵ７００は、垂直同期信号ＣＣＤＶＤを検知するまで、ステップＳ２における垂直同期信号ＣＣＤＶＤの検知を繰り返し、垂直同期信号ＣＣＤＶＤを検知した場合（ステップＳ２の“Ｙｅｓ”）には、ステップＳ３に進む。

続いて、ステップＳ３において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とが並列に実行している記録用の画像処理があるか否かを判定する。そして、ステップＳ３による判定の結果、画像処理部３０１と画像処理部３０２とが並列に実行している記録用の画像処理がある場合（ステップＳ３の“Ｙｅｓ”）には、ステップＳ４に進み、画像処理部３０１と画像処理部３０２とが並列に実行している記録用の画像処理がない場合（ステップＳ３の“Ｎｏ”）には、ステップＳ５に進む。

ステップＳ３において、画像処理部３０１と画像処理部３０２とが並列に実行している記録用の画像処理がある場合には、ステップＳ４において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とが並列に実行している記録用の画像処理を一時停止させる。その後、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とが実行していた記録用の画像処理の現在までの設定や画像処理の状態を、例えば、ＤＲＡＭ６００に退避させる。

ここで、ＣＰＵ７００が、画像処理部３０１と画像処理部３０２とが実行していた記録用の画像処理における設定値や画像処理の状態（以下、併せて「設定データ」ともいう）を、ＤＲＡＭ６００に退避させる場合の設定データの流れについて説明する。図７は、本実施形態の撮像装置１０における設定データの流れを模式的に示した図である。図７には、画像処理部３０１と画像処理部３０２とが記録用の画像処理を行う際に用いる、例えば、画像処理部３０１と画像処理部３０２とのそれぞれのレジスタに設定されている画像処理のパラメータなどの設定値や画像処理の経過情報などの状態を、ＤＲＡＭ６００に退避させる際の設定データの流れを示している。

画像処理部３０１と画像処理部３０２との設定データを退避させる際には、図７に示したように、まず、ＣＰＵ７００が、画像処理部３０１と画像処理部３０２とのそれぞれに設定されている設定データのそれぞれを読み出す。その後、ＣＰＵ７００は、読み出したそれぞれの設定データを、ＤＲＡＭ６００に格納する（書き込む）。この処理によって、画像処理部３０１と画像処理部３０２とが実行していた現在までの記録用の画像処理の設定を保存することができる。

続いて、ステップＳ５において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とがライブビュー画像を生成する表示用の画像処理を並列に実行する際に用いる、例えば、画像処理部３０１と画像処理部３０２とのそれぞれのレジスタに設定する画像処理のパラメータなどの設定値を、画像処理部３０１と画像処理部３０２とのそれぞれに設定する。このときの設定値は、例えば、図５（ｂ）に示したように、画像データの領域を左右方向に２つの領域に分割した際に、画像処理部３０１が左側の領域の画像データに対して表示用の画像処理を実行し、画像処理部３０２が右側の領域の画像データに対して表示用の画像処理を実行するような設定値である。

その後、ステップＳ６において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とに、表示用の画像処理を並列に開始させる。これにより、撮像装置１０では、表示用の画像処理を１つの画像処理部で実行するよりも少ない時間、例えば、撮像装置１０においては、従来の撮像装置に対して約半分の時間で１フレームのライブビュー画像の生成を完了させることができる。このことにより、撮像装置１０では、図２（ｂ）に示したように、短く設定した垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差Ｐ２で、ライブビュー画像に応じた画像を表示デバイス４０１に表示することができる。

続いて、ステップＳ７において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とが並列に実行している表示用の画像処理が完了したか否かを判定する。そして、ステップＳ７による判定の結果、画像処理部３０１と画像処理部３０２とが表示用の画像処理を完了していない場合（ステップＳ７の“Ｎｏ”）には、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２との表示用の画像処理が完了するまで、ステップＳ７における表示用の画像処理が完了したか否かの判定を繰り返す。また、画像処理部３０１と画像処理部３０２とが表示用の画像処理を完了した場合（ステップＳ７の“Ｙｅｓ”）には、ステップＳ８に進む。

続いて、ステップＳ８において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とが並列に実行する記録用の画像処理がすでに完了しているか否かを判定する。そして、ステップＳ８による判定の結果、画像処理部３０１と画像処理部３０２とが並列に実行する記録用の画像処理がすでに完了している場合（ステップＳ８の“Ｙｅｓ”）には、ステップＳ１１に進み、画像処理部３０１と画像処理部３０２とが並列に実行する記録用の画像処理がまだ完了していない場合（ステップＳ８の“Ｎｏ”）には、ステップＳ９に進む。

ステップＳ８において、画像処理部３０１と画像処理部３０２とが並列に実行する記録用の画像処理がまだ完了していない場合には、ステップＳ９において、ＣＰＵ７００は、例えば、ＤＲＡＭ６００に退避させていた、一時停止させるまで画像処理部３０１と画像処理部３０２とが実行していた記録用の画像処理の設定を、画像処理部３０１と画像処理部３０２とのそれぞれに再度設定する。すなわち、ステップＳ４において一時停止されるまで画像処理部３０１と画像処理部３０２とが並列に実行していた記録用の画像処理の設定を復帰させる。その後、ステップＳ１０において、ＣＰＵ７００は、画像処理部３０１と画像処理部３０２とに、記録用の画像処理を再開させる。

ここで、ＣＰＵ７００が、ＤＲＡＭ６００に退避させていた記録用の画像処理における設定データを、画像処理部３０１と画像処理部３０２とに復帰させる場合の設定データの流れについて説明する。図８は、本実施形態の撮像装置１０における設定データの流れを模式的に示した図である。図８には、ＤＲＡＭ６００に退避させていた、例えば、画像処理部３０１と画像処理部３０２とのそれぞれのレジスタに設定されている画像処理のパラメータなどの設定値や画像処理の経過情報などの状態を、続きの記録用の画像処理を行えるように画像処理部３０１と画像処理部３０２とに復帰させる際の設定データの流れを示している。

画像処理部３０１と画像処理部３０２との設定データを復帰させる際には、図８に示したように、まず、ＣＰＵ７００が、ＤＲＡＭ６００に格納されている設定データのそれぞれを取得する（読み出す）。その後、ＣＰＵ７００は、読み出したそれぞれの設定データを、画像処理部３０１と画像処理部３０２とのそれぞれに設定する。この処理によって、画像処理部３０１と画像処理部３０２とがステップＳ４において一時停止されるまで実行していた記録用の画像処理の設定を復帰することができる。

続いて、ステップＳ１１において、ＣＰＵ７００は、表示レイテンシ短縮モードでの処理を継続するか否か、すなわち、表示レイテンシ通常モードに切り替えるか否かを判定する。そして、ステップＳ１１による判定の結果、表示レイテンシ短縮モードでの処理を継続する場合（ステップＳ１１の“Ｙｅｓ”）には、ステップＳ２に戻って、ステップＳ２からステップＳ１１までの処理を繰り返す。これにより、撮像装置１０では、短い表示レイテンシでライブビュー表示を行いながら、静止画の記録画像データの生成を行うことができる。

一方、ステップＳ１１による判定の結果、表示レイテンシ短縮モードでの処理を継続しない場合（ステップＳ１１の“Ｎｏ”）には、ステップＳ１２に進む。なお、ＣＰＵ７００は、撮像装置１０のユーザ（撮影者）が、例えば、撮像装置１０のメニュー設定を変更して、ライブビュー表示を表示レイテンシ通常モードで行う設定がされたときや、撮像装置１０のモードダイヤルを操作して、ライブビュー表示を表示レイテンシ通常モードで行うモードが選択されたときに、表示レイテンシ短縮モードでの処理を継続しないと判定する。また、ＣＰＵ７００は、例えば、撮像装置１０に搭載しているシーン判別の機能によって、ライブビュー表示を表示レイテンシ通常モードで行うモード（例えば、ポートレートモードなど）であると判別したときに、表示レイテンシ短縮モードでの処理を継続しないと判定する。また、ＣＰＵ７００は、例えば、ＴＦＴ−ＬＣＤとＥＶＦとの両方を表示デバイス４０１として備えている撮像装置１０において、撮影者（ユーザ）がＥＶＦへの接眼をやめてから予め定めた時間が経過したとき、またはライブビュー画像の表示先をＴＦＴ−ＬＣＤに切り替えたときに、表示レイテンシ短縮モードでの処理を継続しないと判定する。

ステップＳ１１において、表示レイテンシ短縮モードでの処理を継続しない、すなわち、表示レイテンシ通常モードに切り替える場合には、ステップＳ１２において、ＣＰＵ７００は、垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差を、通常の位相差に設定、つまり、位相差の設定を元に戻して、表示レイテンシ短縮モードでの処理を終了する。例えば、図２（ｂ）に示した位相差Ｐ２から図２（ａ）に示した位相差Ｐに、位相差の設定を変更する。これにより、表示レイテンシ通常モードでのライブビュー表示に戻すことができる。このことにより、撮像装置１０では、図２（ａ）に示したように、通常の垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差Ｐで、ライブビュー画像に応じた画像を表示デバイス４０１に表示することができる。

なお、撮像装置１０においては、常に表示レイテンシ短縮モードでの処理を実施することによって、常に短く設定した垂直同期信号ＣＣＤＶＤと垂直同期信号ＴＦＴＶＤとの位相差で、ライブビュー画像に応じた画像を表示デバイス４０１に表示することも考えられる。しかし、常に表示レイテンシ短縮モードでの処理を実施するということは、常に画像処理部３０１および画像処理部３０２が動作することになるため、撮像装置１０の全体の消費電力の増大を抑えるために、表示レイテンシ短縮モードでのライブビュー表示を継続しない場合には、表示レイテンシ通常モードでのライブビュー表示に戻すことが望ましい。

上記に述べたとおり、本発明を実施するための形態によれば、撮像装置内に複数の画像処理部を備え、それぞれの画像処理部に実行させる画像処理を切り替えて、同じフレームのライブビュー画像を生成する表示用の画像処理を、それぞれの画像処理部が分担して並列に実行させる。また、それぞれのフレームのライブビュー画像の生成が終了した後に、記録する１つの静止画を生成するための記録用の画像処理を、それぞれの画像処理部が分担して並列に実行させる。すなわち、本発明を実施するための形態では、ライブビュー画像を生成する表示用の画像処理と静止画を生成する記録用の画像処理とを時分割にして、それぞれの画像処理部が並列に同じ画像処理を行うように制御する。

これにより、本発明を実施するための形態では、１つの画像処理部で表示用の画像処理を実行するよりも少ない時間で各フレームのライブビュー画像を生成することができ、イメージセンサが撮像してからライブビュー画像を生成して表示デバイスに表示するまでの遅延時間（表示レイテンシ）を短くすることができる。また、本発明を実施するための形態では、複数の画像処理部が表示用の画像処理を並列に実行していたにもかかわらず、１つの画像処理部で記録用の画像処理を実行していたのと同様の時間で静止画を生成することができる。このことにより、本発明を実施するための形態では、従来の撮像装置と同様の静止画の生成処理の性能を確保した上で、静止画を撮影するタイミング（シャッターチャンス）を逃しにくい撮像装置を提供することができる。

なお、本実施形態においては、ライブビュー画像の各フレームの表示用の画像処理と、記録する静止画の記録用の画像処理とを並行して実行する場合の例について説明した。しかし、表示用の画像処理と並行して実行する画像処理は、本発明を実施するための形態において説明した記録用の画像処理に限定されるものではなく、表示用の画像処理と他の画像処理とを並行して実行する場合であっても、本発明の考え方を適用することができる。

また、本実施形態においては、２つの画像処理部３０１および画像処理部３０２を備えた撮像装置１０の場合について説明した。しかし、撮像装置内に備える画像処理部の数は、本発明を実施するための形態に限定されるものではない。例えば、撮像装置内に３つの画像処理部を備え、それぞれの画像処理部がライブビュー画像を生成する表示用の画像処理と静止画を生成する記録用の画像処理との同じ画像処理を、時分割で並列に行う構成にすることもできる。また、この場合には、撮像装置に備えた複数の画像処理部の内、一部の画像処理部が同じ画像処理を時分割で並列に行う構成にすることもできる。例えば、撮像装置内に３つの画像処理部を備えている場合に、３つの画像処理部の内２つの画像処理部が、表示用の画像処理と記録用の画像処理との同じ画像処理を時分割で並列に行う構成にすることもできる。

また、本実施形態においては、ライブビュー画像の表示レイテンシの変更と、画像処理部３０１および画像処理部３０２の動作の切り替えとを、ＣＰＵ７００が制御する場合について説明した。しかし、これらの制御は、本発明を実施するための形態に限定されるものではない。例えば、ＣＰＵ７００がライブビュー画像の表示レイテンシの変更と実行する画像処理の切り替えとの処理を制御する代わりに、画像処理部３０１および画像処理部３０２内にそれぞれ備えたシーケンサのいずれか一方、または両方が協調して、ライブビュー画像の表示レイテンシの変更と、画像処理部３０１および画像処理部３０２の動作の切り替えと制御する構成にすることもできる。

また、本実施形態においては、図６に示した表示レイテンシ短縮モードの処理手順において、ステップＳ４で画像処理部３０１と画像処理部３０２とが並列に実行している記録用の画像処理を一時停止させた後に、画像処理部３０１と画像処理部３０２とが実行していた記録用の画像処理の現在までの設定をＤＲＡＭ６００に退避させる場合について説明した。しかし、記録用の画像処理における設定データを退避させるところは、本発明を実施するための形態に限定されるものではない。例えば、画像処理部３０１および画像処理部３０２のそれぞれに、画像処理で用いる設定データを記憶するレジスタを２つずつ備えるなど、画像処理部内で設定データを退避させることができる構成であってもよい。この場合には、例えば、ＣＰＵ７００は、ステップＳ４においてそれぞれの画像処理部内で設定データを退避させるための制御を行い、ステップＳ９においてそれぞれの画像処理部内で退避させた設定データを復帰させるための制御を行うことになる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００・・・撮像部（固体撮像装置，撮像部）
３０１，３０２・・・画像処理部
４００・・・表示処理部
４０１・・・表示デバイス（表示装置）
５００・・・メディアＩ／Ｆ部
５０１・・・記録媒体
６００・・・ＤＲＡＭ
７００・・・ＣＰＵ（制御部）

Claims

入射された被写体光に応じた画素信号を、予め定めた第１の同期信号のタイミングから出力する固体撮像装置を具備し、該固体撮像装置が出力した前記画素信号に応じた撮像画像データを出力する撮像部と、
前記撮像部から出力された前記撮像画像データに対して第１の画像処理を行った第１の画像データ、または前記撮像画像データに対して第２の画像処理を行った第２の画像データのいずれか一方の画像データを生成する複数の画像処理部と、
予め定めた第２の同期信号のタイミングから入力された画像データに応じた画像を表示する表示装置に、前記第２の画像データを出力し、前記第２の画像データに応じた画像を表示させる表示処理部と、
前記第１の同期信号と前記第２の同期信号との位相差の設定を変更するとともに、複数の前記画像処理部のそれぞれが実行する画像処理を切り替える制御部と、
を備えることを特徴とする撮像装置。
前記制御部は、
複数の前記画像処理部の予め定めた画像処理部が前記第１の画像データを生成し、前記予め定めた前記画像処理部と異なる画像処理部が前記第２の画像データを生成する場合に、前記第１の同期信号と前記第２の同期信号との位相差の設定を第１の位相差に設定し、
前記第１の同期信号と前記第２の同期信号との位相差の設定を、前記第１の位相差よりも短い第２の位相差に設定する場合には、複数の前記画像処理部の所定の複数の画像処理部が、同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を分担して並列に実行するように、複数の前記画像処理部のそれぞれが実行する画像処理を切り替える、
ことを特徴とする請求項１に記載の撮像装置。
前記制御部は、
前記第１の同期信号と前記第２の同期信号との位相差の設定を前記第２の位相差に設定した状態で前記第１の同期信号を検知すると、該検知した前記第１の同期信号に対応したタイミングで、最初に、前記所定の複数の画像処理部が前記第２の画像処理を分担して並列に実行するように切り替え、
該第２の画像処理によって前記第２の画像データの生成が終了した後に、前記所定の複数の画像処理部が前記第１の画像処理を分担して並列に実行するように切り替える、
ことを特徴とする請求項２に記載の撮像装置。
前記制御部は、
前記第２の位相差の設定で、前記所定の複数の画像処理部が前記第１の画像処理を分担して並列に実行しているときに前記第１の同期信号を検知すると、該検知した前記第１の同期信号に対応したタイミングで、前記所定の複数の画像処理部が現在実行している前記第１の画像処理を中断し、中断した該第１の画像処理の現在の設定や状態をそれぞれ退避させた後に、前記所定の複数の画像処理部に前記第２の画像処理を分担して並列に実行させ、
該第２の画像処理によって前記第２の画像データの生成が終了した後に、中断した前記第１の画像処理の設定や状態をそれぞれ復帰させ、その後、前記所定の複数の画像処理部に続きの前記第１の画像処理を再開させる、
ことを特徴とする請求項３に記載の撮像装置。
前記制御部は、
前記撮像画像データの領域を左右方向に複数の領域に分割し、該分割した領域のそれぞれの撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部のいずれかの画像処理部に実行させることによって、分割前の同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部で分担して並列に実行させる、
ことを特徴とする請求項３または請求項４に記載の撮像装置。
前記制御部は、
前記撮像画像データの領域を上下方向に複数の領域に分割し、該分割した領域のそれぞれの撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部のいずれかの画像処理部に実行させることによって、分割前の同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部で分担して並列に実行させる、
ことを特徴とする請求項３または請求項４に記載の撮像装置。
前記制御部は、
前記撮像画像データの領域を上下左右方向に複数のブロック領域に分割し、該分割したブロック領域のそれぞれの撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部のいずれかの画像処理部に実行させることによって、分割前の同じ前記撮像画像データに対する前記第１の画像処理または前記第２の画像処理のいずれか一方の画像処理を、複数の前記画像処理部で分担して並列に実行させる、
ことを特徴とする請求項３または請求項４に記載の撮像装置。
前記第１の画像処理は、
前記撮像画像データに応じた画像を記録するための記録画像データを、前記第１の画像データとして生成する記録用の画像処理であり、
前記第２の画像処理は、
前記固体撮像装置が前記第１の同期信号のタイミングに基づいて出力した各フレームの画素信号に応じたそれぞれのフレームの前記撮像画像データに応じた画像を前記表示装置に表示するための表示画像データを、前記第２の画像データとして生成する表示用の画像処理である、
ことを特徴とする請求項１から請求項７のいずれか１の項に記載の撮像装置。
入射された被写体光に応じた画素信号を、予め定めた第１の同期信号のタイミングから出力する固体撮像装置が出力した前記画素信号に応じた撮像画像データを出力する撮像ステップと、
前記撮像ステップによって出力された前記撮像画像データに対して第１の画像処理を行った第１の画像データ、または前記撮像画像データに対して第２の画像処理を行った第２の画像データのいずれか一方の画像データを生成する複数の画像処理ステップと、
予め定めた第２の同期信号のタイミングから入力された画像データに応じた画像を表示する表示装置に、前記第２の画像データを出力し、前記第２の画像データに応じた画像を表示させる表示処理ステップと、
前記第１の同期信号と前記第２の同期信号との位相差の設定を変更するとともに、複数の前記画像処理ステップのそれぞれが実行する画像処理を切り替える制御ステップと、
を含むことを特徴とする撮像方法。