JP2017163295A - 撮像装置 - Google Patents

Abstract

【課題】複数の画像処理ユニットによる高速画像処理を実現しつつ、画像処理ユニット間の通信に起因する撮像速度の低下を回避することのできる撮像装置を提供すること。【解決手段】撮像素子と、前記撮像素子からフレーム時間ごとに入力される複数の画像データを処理する複数の画像処理ユニットと、前記複数の画像処理ユニット間で通信を行うためのユニット間通信手段と、を備え、前記画像データ間処理の実施有無に応じて前記ユニット間通信手段による通信先を切り替えるように制御することを特徴とする。【選択図】図１

Description

本発明は、撮像装置に関する。

従来、撮像速度の高速化を実現する為、撮像素子からの読み出し速度を上げるということが行われてきた。このとき、読みだした画像に対する処理速度も併せて上げる必要があり、その手段として複数の画像処理ユニットを用いて並列処理することがあった（特許文献１参照）。

特開２００５−１５９９９５号公報

従来技術では、例えば外部記録メディアが特定の画像処理ユニットのみに接続されていた場合、各画像処理ユニットによる処理結果のデータを外部記録メディアが接続された画像処理ユニットへユニット間通信手段を用いてデータコピーを行う必要がある。このとき各画像処理ユニットに接続されたＤＲＡＭ間でデータコピーを行うと、ＤＲＡＭ帯域の逼迫により画像処理性能が低下し、結果として撮像速度が低下してしまうという課題があった。

そこで、本発明では、複数の画像処理ユニットによる撮像処理の高速化を実現しつつ、ユニット間通信によるＤＲＡＭ帯域への影響を最適化する撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
ユニット間通信手段によりお互いのアドレス空間をメモリマップし、画像処理ユニット間の処理の有無に応じてＤＲＡＭ経由でデータコピーを行うか否かを切り替えることを特徴とする。

本発明に係る撮像装置によれば、画像処理ユニット間の処理が不要である静止画記録時においてはＤＲＡＭを経由せずにデータコピーを行うことが可能となり、ＤＲＡＭ帯域の逼迫による撮像速度の低下を抑制することが可能となる。

第１の実施形態の撮像装置全体のハードウェア構成を示すブロック図 第１の実施形態の撮像装置のメモリバス空間図 第１の実施形態のカードメモリ記録制御フローチャート 第１の実施形態の撮像装置の静止画撮影シーケンスを表したタイミング図 第１の実施形態の撮像装置の動画撮影シーケンスを表したタイミング図 第２の実施形態の撮像装置の動画／静止画時撮影シーケンスを表したタイミング図

以下、本発明を実施するための形態を図面に基づいて説明する。

［実施例１］
図１は第１の実施形態の撮像装置全体のハードウェア構成を示すブロック図である。ただし説明中で詳細に触れない機能ブロックについては簡略化ないし省略して記載する。

イメージセンサ１０１は、被写体像を結像しその像データを画素毎に電気信号に変換する。ＡＦＥ１０２は撮像素子１０１からの出力信号を画素毎に相関二重サンプリング、ゲイン設定、ＡＤ変換を順次実施し、順々に所定のデジタル信号に変換した画像データを画像処理ユニットＡ１１０／Ｂ１２０に送出する。タイミングジェネレータ１０３はイメージセンサ１０１、画像処理ユニットＡ１１０／Ｂ１２０の駆動タイミングを制御することで全体の駆動タイミングを決定している。画像処理ユニットＡ１１０／Ｂ１２０はＡＦＥ１０２から受け取った画像データに対し、カードメモリ１１９に記録するための画像処理を施す。

画像処理ユニットＡ１１０内には、画像処理ユニットＡ１１０全体の制御を司るＣＰＵ１１１と、タイミングジェネレータ１０３からの指示を受けタイミング制御を司るタイミング制御部１１２を備える。タイミング制御部１１２はＣＰＵ１１１に対し任意の制御開始／終了タイミングで割り込みを発行することができる。画像入力部１１３はＡＦＥ１０２から受け取った画像データをメモリコントローラ１１７経由でＤＲＡＭ１１８に書き込む。画像処理部１１４は、メモリコントローラ１１７経由でＤＲＡＭ１１８から読みだした画像データに対し現像／色／符号化処理を行ってＤＲＡＭ１１８に書き戻す。

カードコントローラ１１５は画像処理部１１４で処理後の画像データをメモリコントローラ１１７経由でＤＲＡＭ１１８から読みだし、カードメモリ１１９に記録する。ユニット間通信部１１６は画像処理ユニットＡ１１０／Ｂ１２０間で任意のデータを相互通信するための手段である。本実施例では同一機能を有する画像処理ユニットＡ１１０／Ｂ１２０を２つ並列で接続配置する構成し、画像処理ユニットＢ１２０の内部構成説明については省略する。ただし画像処理後の画像データを記録するカードメモリ１１９は1つだけ搭載する構成とする。

画像処理ユニットＢ１２０の画像処理部１２４で処理された画像データはユニット間通信部１１６／１２６を通じて転送し、カードメモリ１１９に記録する。ＣＰＵ１１１はＣＰＵバスＡを介して、画像入力部１１３／画像処理部１１４／カードコントローラ１１５／ユニット間通信部１１６の制御パラメータを設定する。また画像入力部１１３／画像処理部１１４／カードコントローラ１１５／ユニット間通信部１１６は、それぞれＤＭＡコントローラ(非図示)を内蔵しており、メモリバスＡに対してマスタとなってメモリコントローラ１１７経由でＤＲＡＭ１１８に対するアクセスを行う。ここでユニット間通信部１１６は、メモリバスＡに対してマスタであると同時にスレーブでもある。

図２に、メモリバスＡ／Ｂ空間のマッピングを示す。

ユニット間通信部１１６のスレーブ空間には画像処理ユニットＢ１２０内のメモリバスＢ空間の一部、具体的にはＤＲＡＭ１２８空間が割り付けされている。同様にユニット間通信部１２６のスレーブ空間には画像処理ユニットＡ１１０内のメモリバスＡ空間の一部、具体的にはＤＲＡＭ１１８空間が割り付けされている。この仕組みにより、メモリバスＡ／Ｂのマスタはアドレス指定によりどちらのユニットに接続されたＤＲＡＭにアクセスするかを選択することができる。画像処理ユニットＡ１１０／Ｂ１２０で処理された画像データを、最終的にカードメモリ１１９への書き込むまでの制御はＣＰＵ１１１が行う。

図３のフローチャートを用いてＣＰＵ１１１の制御を説明する。

ＣＰＵ１１１はタイミング制御部１１２からの通知を受けて、画像データの処理が完了したことを確認する(S301)。画像データの処理が完了していたら、画像処理ユニットＡ１１０／Ｂ１２０のどちらで処理が完了したか、すなわち以降の制御対象である画像データがＤＲＡＭ１１８／１２８のいずれにあるかを確認する(S302)。画像処理ユニットＡ１１０であった場合には、更に現在の処理モードが静止画であるか否かを確認する(S303)。静止画モードの場合には画像間の処理が不要の為、カードコントローラ１１５を制御してＤＲＡＭ１１８から読みだしたデータをカードメモリ１１９へ記録する(S304)。

動画モードの場合には画像間の処理を行う為、前フレームの画像データをＤＲＡＭ１２８からＤＲＡＭ１１８にコピーして、画像処理部１１４を制御してＤＲＡＭ１１８のデータを処理する(S305)。その後そのデータを静止画同様にカードメモリ１１９へ記録する(S304)。画像データの処理が完了したのが画像処理ユニットＢ１２０であった場合にも、更に現在の処理モードが静止画であるか否かを確認する(S306)。静止画モードの場合には画像間の処理が不要の為、カードコントローラ１１５を制御してＤＲＡＭ１２８から読みだしたデータをカードメモリ１１９へ記録する(S307)。

動画モードの場合には画像間の処理を行う為、前フレームの画像データをＤＲＡＭ１１８からＤＲＡＭ１２８にコピーして、画像処理部１２４を制御してＤＲＡＭ１２８のデータを処理する(S308)。その後そのデータを静止画同様にカードメモリ１１９へ記録する(S307)。

図３のフローをさらに詳細に説明するため、図４に静止画、図５に動画モードを例に撮影シーケンスタイミング図を用いて説明を行う。

図４は静止画の連写撮影動作としてほぼ同間隔で５駒目まで撮影を行った場合のタイミングを簡単に表したものである。このとき画像処理ユニットＡ１１０は奇数撮影駒、Ｂ１２０は偶数撮影駒を処理するものとする。

一番上にイメージセンサ１０１からの読み出しタイミングを示している。その下には画像処理ユニットＡ１１０／Ｂ１２０それぞれの画像入力および処理タイミングを示している。画像処理ユニットＡ１１０／Ｂ１２０はそれぞれ処理する駒の画像データがイメージセンサ１０１から読み出しが完了すると、画像入力とそれに少し遅れて画像処理を開始する。

画像処理には1駒の撮影間隔より長い時間がかかるため、画像処理ユニットＡ１１０／Ｂ１２０は並列で処理を行う。各動作の開始タイミングは、全てタイミング制御部１１２／１２２で制御されている。画像処理ユニットＡ１１０で１駒目の画像データ処理が完了すると、ＣＰＵ１１１は割り込みを受けカードコントローラ１１５を制御してＤＲＡＭ１１８から読みだしたデータをカードメモリ１１９へ記録する。画像処理ユニットＢ１２０で２駒目の画像データ処理が完了すると、ＣＰＵ１１１は割り込みを受けカードコントローラ１１５を制御してＤＲＡＭ１２８から読みだしたデータをカードメモリ１１９へ記録する。

このとき画像処理ユニットＢ１２０での処理完了からカードメモリ１１９へ記録までの間に、ユニット間通信部１１６／１２６を介したユニット間通信によるタイムラグが発生する。ただしこのときカードコントローラ１１５は直接ＤＲＡＭ１２８にアクセスするため、ＤＲＡＭ間コピーは行わない。以降同様に画像処理を継続する。

図５は動画の撮影動作として同間隔で５駒目まで撮影を行った場合のタイミングを簡単に表したものである。その他の条件は図４の静止画撮影時と同じとする。

動画撮影時は静止画撮影時と異なる点が２点ある。１点目は、画像間処理が必要なため画像処理ユニットＡ１１０からＢ１２０方向のユニット間通信を行うことである。2点目は、画像処理ユニットＢ１２０の処理画像データは画像間処理の都合で一旦ＤＲＡＭ１２８からＤＲＡＭ１１８にコピーしてからカードメモリ１１９へ記録するため、より大きなタイムラグが発生することである。いずれもユニット間通信の際にＤＲＡＭ間コピーを伴うが、静止画に比較して動画の画像データ量は少ないためＤＲＡＭ帯域への影響は小さい。

以上のように、本発明の撮像装置におけるユニット間通信制御は、画像処理ユニット間の処理の有無に応じてＤＲＡＭ経由でデータコピーを行うか否かを切り替えるため、画像処理ユニット間の通信に起因する撮像速度の低下を回避できる。その結果として複数の画像処理ユニットによる撮像処理の高速化を図ることができる。

［実施例２］
動画撮影中に静止画の同時撮影を行う際に、静止画処理を行う画像処理ユニットは動画処理に加えて静止画処理を行うためＤＲＡＭ帯域への影響が大きく、撮像速度へ影響が出る場合がある。

そこで本発明ではこのような動画撮影中における静止画の同時撮影を第２の課題とし、以降にこの課題に対応するための第２実施形態について説明する。

以下に図面を用いて、本発明の撮像装置における第２の実施形態である、動画／静止画同時撮像時の画像処理ユニット間通信制御方法の一実施例を詳細に説明する。なお、第１の実施形態と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。

ブロック図については第１の実施形態と共通であるため省略する。本発明の撮像装置において、動画モード撮影中に静止画撮影を行う場合の撮影シーケンスタイミングについて図６を用いて説明を行う。

図６は動画撮影中の２駒目で静止画の撮影指示が行われた場合のタイミングを簡単に表したものである。このとき２駒目の静止画処理は動画処理と同様に画像処理ユニットＢ１２０で実施するものとする。その他の条件は図５の動画画撮影時と同じとする。

画像処理ユニットＢ１２０は２駒目の動画像データ処理が完了すると、引き続き静止画像データの処理を行う。このとき画像処理ユニットＢ１２０内の画像処理部１２４は処理後の2駒目の静止画像データをＤＲＡＭ１２８ではなく、ユニット間通信部１１６／１２６を介してＤＲＡＭ１１８に格納することで、ＤＲＡＭ１２８帯域負荷を低減する。この影響でＤＲＡＭ１１８帯域負荷の増加による画像処理ユニットＡ１１０における3駒目の動画処理速度が低下するが、以降の駒処理間隔とＤＲＡＭ１１８を用いたバッファリングで吸収する。

また２駒目の静止画処理の影響で画像処理ユニットＢ１２０における4駒目の動画処理の開始／終了タイミングが遅くなるが、この遅延は画像処理ユニットＡ１１０同様に以降の駒処理間隔とＤＲＡＭ１２８を用いたバッファリングで吸収する。

以上のように、本発明の撮像装置におけるユニット間通信制御は、動画撮影中における静止画処理のＤＲＡＭ帯域負荷を複数の画像処理ユニット間で平準化することで、撮像速度の低下を回避することができる。

以上、本発明の撮像装置におけるユニット間通信制御について説明したが、これに限定されず本発明の撮像装置を構成する各ブロックの細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

１０１ イメージセンサ、１０２ ＡＦＥ、１１９ カードメモリ

Claims (6)

1. 撮像素子と、
   前記撮像素子からフレーム時間ごとに入力される複数の画像データを処理する複数の画像処理ユニットと、
   前記複数の画像処理ユニット間で通信を行うためのユニット間通信手段と、
   を備え、
   前記画像データ間処理の実施有無に応じて前記ユニット間通信手段による通信先を切り替えるように制御することを特徴とする撮像装置。
2. 前記複数の画像処理ユニットそれぞれに接続され、画像処理の作業領域および処理後の画像データ格納領域として使用するための一時記憶手段と、
   前記画像処理ユニットで処理後の画像データを記録するための記録手段と、
   を備え、
   前記ユニット間通信手段による通信先を、静止画撮影時は前記記録手段、動画撮影時は前記一時記憶手段とするように切り替え制御することを特徴とする請求項１に記載の撮像装置。
3. 動画と静止画を同時に撮影する際に、第一の画像処理ユニットは、画像処理の作業領域および処理後の画像データ格納領域として、第一以外の画像処理ユニットに接続された一時記憶手段を使用することを特徴とする請求項１に記載の撮像装置。
4. 前記複数の画像処理ユニット間は前記ユニット間通信手段によりお互いのメモリ空間をメモリマップしていることを特徴とする請求項１に記載の撮像装置。
5. 前記ユニット間通信手段にPCI-Expressを用いることを特徴とする請求項１に記載の撮像装置。
6. 前記複数の画像処理ユニット間の処理タイミングを制御する同期手段と、
   前記複数の画像処理ユニットは前記同期手段の指示を受けそれぞれ異なる画像データを並列処理するように制御することを特徴とする請求項１に記載の撮像装置。