JP2017055217A - 画像処理装置と画像処理方法及び撮像装置 - Google Patents

Abstract

【課題】サイズの大きな画像データを実時間で処理する。【解決手段】撮像部１０１から入力された画像データは、カスケード接続された画像処理回路１１０，１３０，１５０の第１段である画像処理回路１１０に入力される。選択部１１２は、次段以降の画像処理回路で処理する画像データを多重部１１６へ、前段の画像処理回路で処理済みの画像データをメモリ制御部１１５へ、画像処理回路１１０で処理される画像データを画像処理部１１３へと振り分ける。処理された画像データはメモリに格納され、読み出されて次段へ送信される未処理画像データと多重化されて、次段へ出力される。これを各段で実行し、最終段では格納した処理済み画像データを記録媒体へと記録する。【選択図】図１

Description

本発明は撮像装置に関する。

デジタルカメラなどの撮像装置において、撮像素子の多画素化や動画像の高フレームレート化などに伴い、画像処理回路で処理するデータ量が増大している。データ量が増大すると１つの画像処理回路で短時間に処理することが困難になるため、複数の画像処理回路を搭載し、複数の画像処理回路で処理を分担するという方法が知られている（特許文献１参照）。

特開２０１３−３９８６号公報

特許文献１では、画像処理回路への配線を分岐して並列に配置している。多量のデータを伝送するための高速なデータ転送において、配線を分岐させるとシグナルインテグリティに劣化が生じる。その課題に対して、高速なデータ伝送を複数の回路に分配するための専用の中継デバイスを設けたり、行き先ごとに専用の端子を設けたり、という解決策があるが、コストが高くなるという課題がある。

また、別の課題として、特許文献１では、直列に接続した最終段に表示用の液晶パネルを接続している。液晶パネルを最終段に付けた場合、複数の画像処理回路を経由して出力することになるため、レンズで結像してから液晶に表示されるまでの表示遅延が大きくなるという課題がある。

本発明は、上記課題を解決するためになされたものであり、低コストで処理能力の高い画像処理装置と画像処理方法及び撮像装置を提供することを目的にする。

また、表示遅延の小さい画像処理装置と画像処理方法及び撮像装置を提供することを目的にする。

上記目的を達成するために、本発明の画像処理装置は、以下の構成を有する。

入力画像データのうち、処理の分担に応じた出力先に振り分ける振り分け手段と、
前記振り分け手段により第１の出力先に振り分けられた画像データに対して所定の画像処理を施す画像処理手段と、
前記振り分け手段により第２の出力先に振り分けられた画像データと、前記画像処理手段により画像処理が施された処理済み画像データとを、次段の画像処理装置への入力画像データとして出力する出力手段とを有する。

本発明によれば、低コストで処理能力の高い画像処理装置を提供できる。また、表示遅延の小さい装置を提供することが可能となる。

実施例１のブロック図である。 実施例１のタイミングチャートである。 撮像装置の変形例である。 画像処理回路の変形例である。 ライブビュー時の処理を示す図である。 記録時の処理を示す図である。

［実施例１］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。図１は本発明の実施形態に関わる撮像装置１００の一例を示すブロック図である。

＜撮像装置の回路構成＞
撮像装置１００は、撮像部１０１、画像処理回路１１０、１３０、１５０、メモリ１２０、１４０、１６０、表示部１０２、記憶媒体１０３、操作部１０４から構成される。ここで、各画像処理回路１１０、１３０、１５０はそれぞれ、一つの半導体チップ（ＩＣ）として構成される。画像処理回路１１０、１３０、１５０は、この順序でカスケード接続された同一の構成を有する回路である。また、メモリ１２０、１４０、１６０はそれぞれ、ＤＲＡＭなどの揮発メモリである。本例では画像処理回路１１０，１３０，１５０は３段のカスケード接続であるが、２段あるいは４段以上であってもよい。なお処理対象の画像データは静止画像データであってもよいが、所定時間おきにフレーム画像が更新される動画像データであってもよい。

撮像部１０１は光学素子および撮像素子などの画像センサーを備えており、画像処理回路１１０への入力画像データとして画像信号ｓ１００を出力する。出力される画像信号ｓ１００は本例ではディジタル画像信号である。画像処理回路１１０と画像処理回路１３０と画像処理回路１５０は直列に接続されている。画像処理回路１１０と画像処理回路１３０との間は、片方向通信信号ｓ１２０と、双方向通信信号ｓ１２１で接続される。画像処理回路１１０と画像処理回路１５０間は、双方向通信信号ｓ１２２で接続される。画像処理回路１３０と画像処理回路１５０間は、片方向通信信号ｓ１４０と、双方向通信信号ｓ１４１で接続される。前述のように画像処理回路１１０，１３０，１５０は同一の構成を有しており、多段接続のためのインターフェースも同一である。したがって画像信号については、画像処理回路それぞれの出力インターフェースと入力インターフェースとが相互接続可能であるとともに、その入力インターフェースは撮像部１０１の出力インターフェースとも接続可能である。すなわち画像処理回路１１０，１３０，１５０及び撮像部１０１の画像信号のインターフェースは、物理的および電気的に接続可能であり、撮像部１０１から出力される画像信号及びそれに伴う制御信号も各画像処理回路により処理可能な形式である。

メモリ１２０は画像処理回路１１０に接続されている。メモリ１４０は画像処理回路１３０に接続されている。メモリ１６０は画像処理回路１５０と接続されている。メモリ１２０、１４０、１６０として、大容量のＤＲＡＭなどが用いられる。

表示部１０２は例えば液晶ディスプレイであり、撮影モードでの確認画像の表示や再生モードでの確認画像の表示をする。表示部１０２は画像処理回路１１０に接続されている。記録媒体１０３はメモリカード等の記録媒体である。記録媒体１０３は撮像装置１００に対して取り外し可能に装着されている。また、記録媒体１０３は画像処理回路１５０に接続されている。

操作部１０４は撮像装置１００を使用者が操作するためのスイッチ等を含む。例えば、操作部１０４は、シャッターボタンやモードダイアル、ズームレバーを含む。また、操作部１０４がタッチパネルを含む構成としても良い。操作部１０４は画像処理回路１１０に接続されている。

この構成において、片方向通信信号ｓ１２０、ｓ１４０を介して、カスケード接続の上流から下流へと画像信号が送信される。送信される画像信号は、撮像部１０１から出力された画像信号のうち、次段およびそれ以降の下流の画像処理回路で処理される未処理の画像信号と、前段およびそれ以前の上流の画像処理回路により処理された処理済みの画像信号とを含む。上流や下流に画像処理回路がなければ、それにより処理されるべき画像信号又は処理された画像信号が送信されることはない。そして、下流の画像処理回路で処理すべき画像信号が撮像部１０１から画像処理回路１５０まで順次送信されるとともに、各画像処理回路で処理された画像信号の一部も画像処理回路１１０から画像処理回路１５０まで順次送信され、画像処理回路１５０で合成される。本例では、合成後の画像信号は記録媒体に記録されるが、さらに他の機器へと送信してもよい。ここで本実施形態では、各画像処理回路は、フレームを単位として処理を分担するものとする。たとえば、画像処理回路１１０は、１フレーム目から２フレームおきのフレーム、画像処理回路１３０は、２フレーム目から２フレームおきのフレーム、画像処理回路１５０は、３フレーム目から２フレームおきのフレームの処理を担当する。もちろんこれに限らず、ラスタ単位で処理を分担してもよい。フレームやラスタは同期信号によりその区切りを特定することができる。また、フレームを所定サイズのブロックに分割し、ブロック単位で処理を分担するなどしてもよいが、この場合にも同期信号をカウンタなどにより数えることでブロックを特定することができる。

＜画像処理回路１１０の構成＞
次に画像処理回路１１０、１３０、１５０の詳細を説明する。まず、画像処理回路１１０の構成について説明する。図１に示す例では、画像処理回路１１０は、入力部１１１、選択部１１２、多重部（あるいは多重化部）１１６、出力部１１７、画像処理部１１３、メモリ制御部１１５、通信部（あるいは上流側通信部）１１８、通信部（あるいは下流側通信部）１１９、記録再生部１２１、表示処理部１２２、ＣＰＵ１２３を備えている。

入力部１１１は、撮像部１０１からの出力信号ｓ１００を入力し、画像信号ｓ１１１として選択部１１２へ出力する。選択部１１２は、入力部１１１から画像信号ｓ１１１を入力し、下流の画像処理回路１３０、１５０により処理される画像信号であるオンフライ信号ｓ１１２、画像処理部１１３および表示処理部１２２への画像処理用信号ｓ１１３、メモリ制御部１１５へのメモリ書込用信号ｓ１１５をそれぞれ選択して出力する。なお、選択部１１２は、複数の出力先すなわち出力経路のうちのひとつを選択するという意味で選択部と呼んでおり、入力された画像信号を、処理を分担する画像処理回路に応じて出力先に振り分ける振り分け部あるいは逆多重化部あるいは経路選択部ということもできる。即ち、選択部１１２により、入力信号ｓ１１１から、画像処理回路１１０が処理する分の画像データ（画像信号）ｓ１１３が取り出され、残りの画像信号がオンフライ信号ｓ１１２として多重部１１６に出力される。オンフライ信号は、撮像部１０１から出力された画像信号の少なくとも一部分であり、未処理画像信号あるいは処理負荷が分散された分散画像信号と呼ぶこともできる。また用語オンフライとは、中間ファイルを作成することなく処理を進めることを示すので、その観点からは、オンフライ信号を実時間処理信号と言い替えることもできる。なお本例では処理の分散はフレーム単位なので、たとえば選択部１１２は、先頭フレームから２フレームおきのフレームを画像信号ｓ１１３に出力し、残りの信号をオンフライ信号ｓ１１２として多重部１１６へと出力する。また、選択部１１２による信号の選択は、画像処理回路の段数や負荷分散の単位（フレーム等）などにより異なるので、例えばＣＰＵ１２３から信号選択のためのパラメータが設定されるように構成してもよい。また、画像処理回路１１０では、選択部１１２はメモリ書込用信号ｓ１１５を出力しなくともよい。

画像処理部１１３は、選択部１１２から画像処理用信号ｓ１１３を入力し、画像処理を行い、画像処理済み信号ｓ１１４をメモリ制御部１１５に出力する。ここで画像処理部１１３は、色変換処理等の各種変換処理や、符号化処理などの圧縮伸長処理などの画像処理を行う。メモリ制御部１１５は各部からの要求を受け、メモリ１２０に対してデータの書き込み、読み出しを行う。画像処理部１１３から出力された画像処理済み信号ｓ１１４はメモリ制御部１１５を介して画像信号ｓ１１６としてメモリ１２０に渡され、格納される。

多重部１１６には、選択部１１２からのオンフライ信号ｓ１１２と、メモリ制御部１１５を介してメモリ１２０から読み出したメモリ読出信号ｓ１１７とが入力される。いったん読み出した画像データはメモリから消去される。そして、多重部１１６は、オンフライ信号ｓ１１２からの入力が無い期間に、メモリ制御部１１５に対して読み出し要求を行い、メモリ読出信号ｓ１１７からのデータをオンフライ信号ｓ１１２に時分割に多重化して後段の画像処理回路１３０に出力する。

このようにすることで、画像処理回路１１０では処理されない画像信号が、メモリ１２０を介さずに後段の画像処理回路１３０に送られる。また、画像処理回路１１０により処理され、メモリ１２０に一旦格納したメモリ読出信号ｓ１１７が、オンフライ信号ｓ１１２に多重され、出力部１１７に多重信号ｓ１１８として出力される。なお入力部１１１、メモリ制御部１１５及び出力部１１７には、いずれも撮像部１０１の出力データレートで画像データが入力される。その出力データレートと、出力部と入力部との間の通信のデータレートや、メモリのデータレートを比較すると、出力データレートの方が高い場合もあり得る。そこで、そのような場合に備えて、入力部１１１、メモリ制御部１１５及び出力部１１７には、データを一時的に蓄積するためのバッファを設けるのが望ましい。

出力部１１７は、多重部１１６からの多重信号ｓ１１８を入力し、画像処理回路１３０に対して片方向通信信号ｓ１２０を送信する。

通信部１１８、１１９は、双方向通信を行う際に送受信を行う。本実施例では、通信部１１８は最終段の画像処理回路１５０の通信部１５９と双方向通信を行う。また、通信部１１９は後段の画像処理回路１３０の通信部１３８と双方向通信を行う。通信部１１８、１１９で送受信する情報は、他の画像処理回路で使用する画像処理用の補正値や、画像処理回路間のフロー制御用の情報である。通信部１１８、１１９は、ＣＰＵ１２３からの指示により通信を行い、受信した信号をＣＰＵ１２３に送る。ＣＰＵ１２３は、通信部１１８、１１９を介して各処理回路１３０、１５０と通信を行い、各処理回路１３０、１５０の動作を制御する。記録再生部１２１は、記録媒体へ記録と記録媒体からの再生を行う。本実施例では、画像処理回路１１０においては記録媒体への記録再生を行わないため、記録再生部１２１は動作させない。

表示処理部１２２は、画像処理用信号ｓ１１３を入力し、表示するための表示用画像を生成し、表示部１０２に出力する。ＣＰＵ１２３は、画像処理回路１１０を動作させるためのプログラムを制御する。

＜画像処理回路１３０の構成＞
次に、画像処理回路１３０の構成について説明する。図１に示す例では、画像処理回路１３０は、入力部１３１、選択部１３２、多重部１３６、出力部１３７、画像処理部１３３、符号化部１３４、メモリ制御部１３５、通信部１３８、通信部１３９、記録再生部１４１、表示処理部１４２、ＣＰＵ１４３を備えている。画像処理回路１３０が備える各部は、画像処理回路１１０が備える各部と同様である。

入力部１３１は、画像処理回路１１０から出力された画像信号ｓ１２０を入力し、選択部１３２へ画像信号ｓ１３１を出力する。ここで、選択部１３２は、入力された信号ｓ１３１のうち、画像処理回路１３０により処理する分の画像データを取り出して、画像処理用信号ｓ１３３として出力する。画像処理部１３３は入力された画像処理用信号ｓ１３３に対して画像処理を施し、処理済みの画像データｓ１１４を、メモリ制御部１３５を介してメモリ１４０に格納する。また、選択部１３２は、入力信号ｓ１３１のうち、画像処理回路１１０により処理済みの画像データを取り出し、メモリ１４０への書き込み信号ｓ１３５として出力する。これによりメモリ１４０には、画像処理回路１１０により処理された画像データと画像処理回路１３０により処理された画像データとが格納される。そして、選択部１３１は、入力信号ｓ１３１から、画像処理信号ｓ１３３と書き込み信号ｓ１３５とを取り出した、残りの信号をオンフライ信号ｓ１３２として多重部１３８に出力する。多重部１３６は、オンフライ信号ｓ１３２が入力されない期間に、メモリ制御部１３５を制御して、メモリ１４０から、メモリ読み出し信号ｓ１３７を読み出す。ここで、メモリ読み出し信号ｓ１３７は、画像処理部１３３により処理済みの画像信号と、メモリ１４０への書き込み信号ｓ１３５、即ち、画像処理回路１１０により処理済みの画像信号とを含む。そして、多重部１３７は、オンフライ信号１３２と、メモリ読み出し信号ｓ１３７とを多重化して出力部１３７に送る。出力部１３７は、多重部１３６からの多重信号ｓ１３８を入力し、後段の画像処理回路１５０に対して片方向通信信号ｓ１４０を送信する。

通信部１３８、１３９は、双方向通信を行う際に送受信を行う。本実施例では、通信部１３８は前段の画像処理回路１１０の通信部１１９と双方向通信を行う。また、通信部１３９は後段の画像処理回路１５０の通信部１５８と双方向通信を行う。ＣＰＵ１４３は、画像処理回路１３０を動作させるためのプログラムを制御する。

＜画像処理回路１５０の構成＞
次に、画像処理回路１５０の構成について説明する。図１に示す例では、画像処理回路１５０は、入力部１５１、選択部１５２、多重部１５６、出力部１５７、画像処理部１５３、符号化部１５４、メモリ制御部１５５、入出力部１５８、入出力部１５９、記録再生部１６１、表示処理部１６２、ＣＰＵ１６３を備えている。画像処理回路１５０が備える各部は、画像処理回路１１０が備える各部と同様である。

入力部１５１は、画像処理回路１３０から出力された画像信号ｓ１４０を入力し、選択部１３２へ画像信号ｓ１５１を出力する。ここで、選択部１５２は、入力された信号ｓ１３１のうち、画像処理回路１５０により処理する分の画像データを取り出して、画像処理信号ｓ１５３として出力する。画像処理部１５３は入力された画像処理信号ｓ１５３に対して画像処理を施し、処理済みの画像データｓ１５４を、メモリ制御部１５５を介してメモリ１６０に格納する。また、選択部１３２は、入力信号ｓ１３１のうち、画像処理回路１１０、１３０により処理済みの画像データを取り出し、メモリ１４０への書き込み信号ｓ１５５として出力する。これによりメモリ１６０には、画像処理回路１１０，１３０により処理された画像データと画像処理回路１５０により処理された画像データとが格納される。また、画像処理回路１５０の後段の処理回路がないため、選択部１５１からは、オンフライ信号ｓ１５２は出力されない。また、多重部１５６は、出力部１５７による処理も行われない。

記録再生部１６１は、画像処理部１５３により圧縮処理され、メモリ１６０に書き込まれた画像信号、及び、メモリ書き込み信号ｓ１５５としてメモリ１６０に書き込まれた、画像処理回路１１０、１３０にて圧縮処理済みの画像信号ｓ１５９を読み出す。そして、記録再生部１６１は、読み出した画像信号を記録媒体１０３に記録する。

また、通信部１５８は前段の画像処理回路１３０の通信部１３９と双方向通信を行う。また、通信部１５９は初段の画像処理回路１１０の通信部１１８と双方向通信を行う。ＣＰＵ１６３は、画像処理回路１５０を動作させるためのプログラムを制御する。

ここで、各画像処理回路１１０、１３０、１５０の出力部１１７、１３７、１５７は、撮像部１０１の出力部と同等の電気特性で画像信号を出力可能である。従って、出力部１１７、１３７、１５７における通信用の端子の配置はである。また、同様に、各回路の入力部１１１、１３１、１５１は共通の電気的特性、及び端子配置を有する。こうすることにより、撮像部１０１からの出力を受ける入力部と、画像処理回路からの出力を受ける入力部を共通化することが可能となる。具体的には物理層である電気特性やＬＳＩの端子を共通化することが可能となる。

＜ライブビューモードでの処理の流れ＞
次に、図１で示した撮像装置のライブビューモード（表示モードとも呼ぶ）と記録モードというそれぞれの動作モードにおける処理の流れについて図５、図６を用いて説明する。ライブビューモードとは、撮像部１０１から出力されるデータを表示処理部１２２で表示用の画像に変換し、表示部１０２の液晶ディスプレイにリアルタイムに表示するモードのことである。記録モードとは、撮像部１０１から出力される画像データを画像処理して記録媒体１０３に記録するモードである。

図５を用いてライブビューモードの処理の流れを説明する。まず、Ｓ５００において、撮像装置１００の使用者が電源ボタンを押下する。
Ｓ５０１において、画像処理回路１１０のＣＰＵ１２３は電源ボタンの押下を検知する。
Ｓ５０２において、ライブビューモードで起動する。本例では電源ボタンの押下後の起動時にライブビューモードに入ることとする。
Ｓ５０３において、画像処理回路１１０は撮像部１０１、画像処理回路１３０にライブビューモードで動作するように指示を行う。例えば撮像部１０１には不図示のシリアル通信で設定を通知する。また、画像処理回路１３０に対しては、入出力部１１９から入出力部１３８への経路を介してライブビューモードで動作する旨を通知する。
Ｓ５０４において、画像処理回路１１０のＣＰＵ１２３は、画像処理回路１１０にライブビューモードの設定を行う。
Ｓ５０５において、撮像部１０１は、撮像部１０１に含まれる画像センサーの駆動モードをライブビューモードに設定する。画像センサーの駆動モードとは、たとえばフレームあたりの画素数やフレームレート（単位時間当たりのフレーム数であり、例えばｎフレーム／秒として表現される）などの設定を含む。
Ｓ５０６において、画像処理回路１３０のＣＰＵ１４３は、画像処理回路１１０からのライブビューモードでの動作指示を検知する。
Ｓ５０７において、画像処理回路１３０のＣＰＵ１４３は画像処理回路１５０に対して、ライブビューモードで動作するように指示を行う。
Ｓ５０８において、画像処理回路１３０のＣＰＵ１４３は、画像処理回路１３０にライブビューモードの設定を行う。
Ｓ５０９において、画像処理回路１５０のＣＰＵ１６３は、画像処理回路１５０からのライブビューモードでの動作指示を検知する。
Ｓ５１０において、画像処理回路１５０のＣＰＵ１６３は、画像処理回路１５０にライブビューモードの設定を行う。
Ｓ５１１において、駆動モードをライブビューモードに設定した撮像部１０１は、設定されたモードに従って画像データを出力する。
Ｓ５１２において、画像処理回路１１０は、入力部１１１で撮像部１０１からの画像データを入力する。そして、表示処理部１２２で表示画像を生成し、表示部１０２に出力する。
以上がライブビューモードの処理の流れの説明である。

本例ではライブビューモードでは画像処理回路１３０，１５０は使用されず、画像処理回路１１０のみによる処理が行われる。そのためライブビューモードにおいては、画像処理回路１３０，１５０は、たとえば消費電力を低減するために、主たる回路の電力供給を断ち、待ち受け用の回路のみが動作すればよい。また画像処理回路１１０は、画像処理部１１３による、記録のための画像処理を行わずに、表示処理部１２２による表示のための処理を行って、表示部１０２により画像を表示すればよい。なおこれは動作の一例であって、ライブビューモードにおいても、後述する記録モードと同様に、カスケード接続された画像処理回路に分散した画像処理を行って、それを再合成して表示してもよい。ただし実行する画像処理は表示用の処理となる。

＜記録モードでの処理の流れ＞
次に、図６を用いて記録モードの処理の流れを説明する。まず、Ｓ６００において、撮像装置の使用者が記録ボタンを押下する。
Ｓ６０１において、画像処理回路１１０のＣＰＵ１２３は記録ボタンの押下を検知する。
Ｓ６０２において、記録モードを開始する。
Ｓ６０３において、画像処理回路１１０は、撮像部１０１と画像処理回路１３０とに記録モードで動作するように指示を行う。例えば撮像部１０１には不図示のシリアル通信で設定を通知する。また、画像処理回路１３０に対しては、入出力部１１９から入出力部１３８への経路を介して記録モードで動作する旨を通知する。
Ｓ６０４において、画像処理回路１１０のＣＰＵ１２３は、画像処理回路１１０に記録モードの設定を行う。
Ｓ６０５において、撮像部１０１は駆動モードを記録モードに設定する。
Ｓ６０６において、画像処理回路１３０のＣＰＵ１４３は、画像処理回路１１０からの記録モードでの動作指示を検知する。
Ｓ６０７において、画像処理回路１３０のＣＰＵ１４３は画像処理回路１５０に対して、記録モードで動作するように指示を行う。
Ｓ６０８において、画像処理回路１３０のＣＰＵ１４３は、画像処理回路１３０に記録モードの設定を行う。
Ｓ６０９において、画像処理回路１５０のＣＰＵ１６３は、画像処理回路１５０からの記録モードでの動作指示を検知する。
Ｓ６１０において、画像処理回路１５０のＣＰＵ１６３は、画像処理回路１５０に記録モードの設定を行う。
Ｓ６１１において、駆動モードを記録モードに設定した撮像部１０１は、設定されたモードに従って画像データを出力する。
Ｓ６１２において、画像処理回路１１０は、入力部１１１で撮像部１０１からの画像データを入力する。そして、表示処理部１２２で表示画像を生成し、表示部１０２に出力する。
また、Ｓ６１３において、画像処理回路１１０は、後段の画像処理回路で画像処理を行うデータを後段に出力する。
また、Ｓ６１４において、画像処理回路１１０は、画像処理回路１１０自身で行うデータの処理を行う。
Ｓ６１５において、Ｓ６１４で処理された画像データを後段の画像処理回路１３０に送信する。

画像処理回路１３０は、以下の手順で処理を実行する。
Ｓ６２０において、画像処理回路１３０は、画像処理回路１３０自身で行うデータの処理を行う。
また、Ｓ６２１において、後段の画像処理回路で画像処理を行うデータを後段の画像処理回路１５０に出力する。
また、Ｓ６２２において、前段の画像処理回路１１０で画像処理済みのデータを後段の画像処理回路１５０に出力する。
Ｓ６２３において、画像処理回路１３０は、Ｓ６２０で処理された画像データを後段の画像処理回路１５０に送信する。

画像処理回路１５０は、以下の手順で処理を実行する。
Ｓ６３０において、画像処理回路１５０は、画像処理回路１５０自身で行うデータについて画像処理を行う。
Ｓ６３１において、画像処理回路１５０のＣＰＵ１６３は、画像処理回路１１０，１３０により画像処理済みの画像データを受信し、かつ画像処理回路１５０が分担する画像処理を完了して、それら画像データをいったんメモリ１６０に格納する。これにより画像処理回路１１０、１３０、１５０のそれぞれの画像処理が完了したことを検知する。
Ｓ６２２において、ＣＰＵ１６３は、メモリ１６０に格納されている各画像処理済みのデータを結合する。
Ｓ６３３において、ＣＰＵ１６３は、結合したデータを記録媒体１０３に記録するように指示する。このとき、処理を分担する画像処理回路により処理される画像の部分（例えばフレーム）は決まるので、処理を分担した画像処理回路に基づいて、その画像の部分の全体における位置づけ（たとえばフレームの順序）を決定できる。
以上が記録モードの処理の流れの説明である。Ｓ６１２〜Ｓ６１５、Ｓ６２０〜Ｓ６２３、Ｓ６３０〜Ｓ６３３の流れについては、タイミングチャートを用いて後述する。

＜撮像動作の例＞
次に、図１で示した撮像装置１００により動画を撮影し、記録する場合の動作を説明する。図１に示したとおり、本実施例は画像処理回路１１０、１３０、１５０の３つの画像処理回路を直列に接続した構成である。３つの画像処理回路での処理の分担例として、動画の記録時に動画のフレームを分担する例で説明する。例えば画像処理回路１１０で第１、第４フレームを、画像処理回路１３０で第２、第５フレームを、画像処理回路１５０で第３、第６フレームの画像処理をそれぞれ行なうこととする。図２はその場合の撮像装置１００の動作を説明するタイミングチャートである。

図２は縦軸が信号、横軸が時間であり、各信号の時間方向の流れを示している。ｓ１００に示すように、撮像部１０１から画像処理回路１１０へ画像データが出力される。図中のフレーム２０１からフレーム２０６は動画の第１フレームから第６フレームの未処理の画像データを示している。ここからは、画像処理回路１１０の処理を説明する。第１から第３フレームに絞って説明をする。第４から第６フレームは同様の流れになる。

画像処理回路１１０は、入力部１１１で第１の画像データ２０１（以降、単に第１フレーム２０１と呼ぶ。他のフレームも同様）から第３フレーム２０３を撮像部１０１から順次入力する。そして、選択部１１２に第１フレーム２０１から第３フレーム２０３を出力する。選択部１１２は、第１フレーム２０１から第３フレーム２０３を入力する。本実施例では、第１フレーム２０１を画像処理回路１１０で処理するので、選択部１１２は第１フレーム２０１を取り出して画像処理用信号ｓ１１３として出力する。第２フレーム２０２、第３フレーム２０３は後段の画像処理回路で処理を行うので、選択部１１２は、第２フレーム２０２、第３フレーム２０３の画像信号をオンフライ信号ｓ１１２として出力する。

ここで、選択部１１２は、撮像部１０１から画像データとは別に送られてくるタイミング信号を利用して、画像処理信号ｓ１１３とオンフライ信号１１２とを選択する。撮像部１０１から送られてくるタイミング信号をカウントすることでフレームの範囲を知ることが可能である。タイミング信号をカウントする仕組みを設け、予め所望のフレームの切れ目で経路選択部の出力先を切り替えるように設定を行えば、フレームの毎に出力先を切り替えることが出来る。

画像処理部１１３は、第１フレーム２０１を入力し、画像処理を行い、画像処理済みデータ２１１を画像処理済み信号ｓ１１４として出力する。ここで、画像処理は圧縮処理を含む。そのため、画像処理済み信号ｓ１１４のデータ量が圧縮された符号化済み画像データである。

多重部１１６は、選択部１１２から第２フレーム２０２、第３フレーム２０３をオンフライ信号ｓ１１２から入力し、多重信号ｓ１１８として出力部１１７に出力する。また、多重部１１６は、オンフライ信号ｓ１１２からの入力が無い期間に、メモリ制御部１１５に対し読み出し要求を行い、第１フレームの画像処理済みデータ２１１をメモリ読出信号ｓ１１６、ｓ１１７から入力し、多重信号ｓ１１８として出力部１１７に出力する。多重部１１６はオンフライ信号ｓ１１２からの入力がない期間に、メモリ１２０から読み出した画像処理済みデータ２１１を出力部１１７に出力する（網掛けフレームＡ参照）。

出力部１１７は後段の画像処理回路１３０に第１の出力信号ｓ１２０を出力する。第１から第３フレームについて説明したが、第４から第６フレームについても同様の手順を繰り返す。

次に、画像処理回路１３０の処理を説明する。先ほどと同様に第１フレーム２０１から第３フレーム２０３までを説明する。画像処理回路１３０は、入力部１３１で第２フレーム２０２、第３フレーム２０３および第１フレームの画像処理済みデータ２１１を入力する。そして、選択部１３２に入力したデータを出力する。選択部１３２は、入力部１３１から第２フレーム２０２、第３フレーム２０３および第１フレームの画像処理済みデータ２１１を入力する。本実施例では、第２フレーム２０２を画像処理回路１３０で処理するので、選択部１３２は第２フレーム２０２を取り出して、画像処理用信号ｓ１３３として出力する。また、第３フレーム２０３については、後段の画像処理回路１５０で処理を行う。そのため、選択部１３２は、第３フレーム２０３をオンフライ信号ｓ１３２として多重部１３６に出力する。また、選択部１３２は、前段の画像処理回路１１０での第１フレームの画像処理済みデータ２１１を取り出し、メモリ書込信号ｓ１３５としてメモリ制御部１３５に出力する。

画像処理部１３３は、第２フレーム２０２を入力し、画像処理を行う。そして、画像処理部１３３は、第２フレームの画像処理済みデータ２１２を画像処理済み信号ｓ１３４として出力する。

多重部１３６は、選択部１３２から第３フレーム２０３をオンフライ信号ｓ１３２として入力し、多重信号ｓ１３８として出力部１３７に出力する。また、多重部１３６は、オンフライ信号ｓ１３２の入力が無い期間に、メモリ制御部１３５に対し読み出し要求を行い、第１フレームおよび第２フレームそれぞれの画像処理済みデータ２１１、２１２をメモリ１４０から読み出して読み出し信号ｓ１３６、ｓ１３７を入力とし、多重信号ｓ１３８として出力部１３７に出力する。多重部１３６は、オンフライ信号ｓ１３２からの入力がない期間に、メモリ１４０から読み出した画像処理済みデータ２１１、２１２を出力部１３７に出力する。出力部１１７は後段の画像処理回路１５０に第２の出力信号ｓ１４０を出力する。第１から第３フレームについて説明したが、第４から第６フレームについても同様の手順を繰り返す。

次に、画像処理回路１５０の処理を説明する。先ほどと同様に第１から第３フレームまでを説明する。画像処理回路１５０は、入力部１５１で第３フレーム２０３および第１、第２の画像処理済みデータ２１１、２１２を入力する。そして、選択部１５２に入力したデータを出力する。選択部１５２は、入力部１５１から第３フレーム２０３および第１、第２フレームの画像処理済みデータ２１１、２１２を入力する。

本実施例では、第３フレーム２０３を画像処理回路１５０で処理するので、選択部１５２は、第３フレーム２０３を画像処理用信号ｓ１５３として出力する。また、選択部１５２は、前段までの画像処理回路１１０および１３０で処理済みの第１、第２フレームの画像データ２１１、２１２を取り出し、メモリ書込信号ｓ１５５としてメモリ制御部１５５へ出力する。

画像処理部１５３は、第３フレームの画像データ２０３を入力し、画像処理を行う。そして、画像処理部１５３は、画像処理済みデータ２１３を画像処理済み信号ｓ１５４として出力する。そして信号ｓ１５６により、メモリ１６０に第１フレーム２０１から第３フレーム２０３の画像処理済みデータ２１１，２１２，２１３が書き込まれる。第１から第３フレームについて説明したが、第４から第６フレームについても同様の手順を繰り返す。

以上の処理によってメモリ１６０に第１から第６フレームの画像処理済みデータ２１１から２１６が格納される。この画像処理済みデータを記録再生部１６１が順次読みだして記録媒体１０３に記録する。なお画像処理済みデータの読み出し及び媒体１０３への記録は、各画像処理回路で処理を分担する連続フレームの処理が終わった時点で行ってもよく、たとえば図２の例では第３フレームまでの処理が終わった時点で行ってよい。

ここで、撮像部１０１から出力される動画データのデータレートと各メモリのデータレートの関係、撮像部１０１からの動画データのデータレートと各画像処理回路の間の通信データレートの関係の２点について説明し、適用例を説明する。

撮像部１０１からの動画データのデータレートとメモリのデータレートの関係について説明する。撮像部１０１における撮像素子の画素数を水平５４００画素×垂直３８００画素、１画面当たりの画素数が約２０００万画素、１画素の量子化ビット数を１６、フレームレートを３０フレーム毎秒（ｆｐｓ）とする。その場合、撮像部１０１からの動画データのデータレートは、２０００万＊３０＊１６／８ ＝ １２００メガバイト（ＭＢ）毎秒になる。

次に、メモリに対する書き込み読み出しのデータレートに関して説明する。メモリ１２０、１４０、１６０がＤＤＲ−ＳＤＲＡＭで、周波数が３００メガヘルツ（ＭＨｚ）、ビット幅を１２８ビットとする。その場合、メモリのデータレートは、３００＊２＊１２８／８＝９６００ＭＢ／秒になる。

メモリは撮像部１０１からのデータ取り込み以外にも、画像処理の中間データの格納、読み出し等に使用される。そのため、撮像部１０１からのデータの取り込みに使用できる割合は１０％とする。メモリのキャプチャに使用できるデータレートは９６０ＭＢ／秒となる。

メモリのキャプチャに使用できる帯域（９６０ＭＢ／秒） ＜ 撮像部１０１からのデータレート（１２００ＭＢ／秒）となり、この場合、撮像部１０１からの動画データ全てを画像処理回路１１０、１３０、１５０の何れか一つで処理することは出来ない。

そこで、画像処理回路を複数設け、撮像部１０１からくるデータのうち、各画像処理回路が自身で処理するデータを取り出してメモリに格納し、後段の画像処理回路で処理するデータについてはオンフライ信号として送信する。

撮像部からの転送データレートと、各画像処理回路の間の通信のデータレートについて説明する。各画像処理回路の間の通信を、１レーンあたり５ギガビット／秒（Ｇｂｐｓ）、レーン数を８とした場合、通信のデータレートは、５ＧＢ／秒になる。近年用いられている高速シリアル通信においては、８ビット／１０ビット変換やパケットのオーバーヘッドがあり、実効データレートは、その６０％程度となる。そのため、通信のデータレートは、３ＧＢ／秒とする。この場合、撮像部１０１からのデータレート（１２００ＭＢ／秒）＜通信のデータレート（３ＧＢ／秒）となるため、特に問題は生じない。

別の例として、画像処理回路の間の通信を１レーンあたり２．５Ｇｂｐｓ、レーン数４とした場合、画像処理回路の間の通信のデータレートは、１．２５ＧＢ／秒になる。同様に実効データレートは、その６０％程度とし、７５０ＭＢ／秒とする。この場合、撮像部１０１からのデータレート（１２００ＭＢ／秒）＞通信のデータレート（７５０ＭＢ／秒）となる。

そこで、画像処理回路を複数設け、各画像処理回路が分担して処理を行い、伝送するデータ量を削減することにより、破たんすることなく処理することが可能になる。

以上説明したように、画像処理回路に、撮像素子もしくは前段の画像処理回路から入力したデータを後段の画像処理回路に出力する経路として、メモリを介さないオンフライの経路すなわち撮像部１０１からの実時間で転送される画像信号の経路と、一旦メモリに格納する経路とを備えた。なおオンフライとはいっても、全くメモリを介さないとは限らず、オンフライ信号の経路上に、そのデータレートよりも低いデータレートの通信路があれば、そのデータレートの差を吸収するためのバッファを設けることがある。

複数の画像処理回路をカスケード接続した構成で、後段の画像処理回路で画像処理を行うデータはメモリを介さない経路を通すことにより、後段の画像処理回路にデータが到達するまでの時間を短くすることが可能になる。それにより、後段の画像処理回路で処理を開始する遅延が少なくなり、処理能力の高い撮像装置となる。

［他の実施形態］
これまで説明した実施例に限らず、多種の変形が可能である。例えば、本実施例では、合流部でオンフライ信号とメモリ読み出し信号とを同じ片方向信号で時分割に多重する例で説明したが、これに限らない。例えば、各画像処理回路間を接続する片方向信号が２以上の複数レーンある場合に、オンフライ信号とメモリ読み出し信号をレーンごとに割り当てても良い。図３は各画像回路間の片方向信号がM+Nレーンある場合を示している。この場合、Mレーンをオンフライ信号、Nレーンをメモリ読み出し信号に割り当てるようにしても良い。すなわち時分割多重化に代えて空間分割多重化を採用してもよい。

また、別の変形例として、本実施例では選択部から多重部の間のオンフライ信号に処理ブロックの記載が無い例で示したが、これに限らない。例えば、オンフライ信号の後段の画像処理回路にまでに、画像データをメモリに置かない画像処理を実施しても良い。図４は画像処理回路１１０を変形した例であり、オンフライ信号の経路上に処理ブロック４０１が追加されている。この場合には画像処理部４０１による一定の遅延は生じる可能性があるものの、処理単位（たとえばフレーム）分のメモリへの書き込みおよび読み出のための遅延を被ることはなく、効果的に処理負荷を複数の画像処理回路に分散できる。そのような画像処理として、たとえば単純な量子化処理などがある。

また、別の変形例として、画像処理部で画像処理を実施した後にメモリに格納する処理の流れで説明したが、これに限らない。例えば、一旦メモリに格納した後に画像処理部で画像処理するようにしても良い。また例えば、画像処理部で処理した結果をメモリに置かなくても良い。

本実施例では、記録媒体１０３を画像処理回路１５０の記録再生部１６１と接続し、画像データを記録する。実施形態の撮像装置では、撮像素子から複数の画像処理回路を経由して最終段までデータが流れる。そのため、最終段である画像処理回路１５０に記録媒体を接続すると不要なデータ転送が無くすことが出来る。

本実施例では、表示部１０２を初段の画像処理回路１１０の表示処理部１２２と接続している。初段の画像処理回路に表示部を接続することにより表示遅延を小さくすることが可能である。

以上のように、本実施形態の撮像装置は、カスケード接続された複数の画像処理回路を有しており、個々の画像処理回路により、画像データの一部を分担して処理する。その際に、画像データは最上流に設けられた撮像部から直列的に配置された画像処理回路へと流され、画像データ受信した画像処理回路は、処理を分担する部分については取り込んで処理し、分担しない未処理画像データについては、下流の画像処理回路へと素通りさせる。また、処理済み画像データについては圧縮してそのサイズを縮小し、未処理画像データと多重化して下流の画像処理回路へと送信する。この処理を格段の画像処理回路において実行し、最終段の画像処理回路において、画像データ全体について画像処理が完了した処理済み画像データが蓄積される。

１１０，１３０，１５０ 画像処理回路；１２３，１４３，１６３ ＣＰＵ；１０１ 撮像部；１１２，１３２，１５２ 選択部、１１５、１３５，１５５ メモリ制御部；１１６，１３６，１５６ 多重部；１１７，１３７，１５７ 出力部

Claims (13)

1. 入力された画像データを、前記画像データの処理を行う複数の画像処理装置に応じた出力先に振り分ける振り分け手段と、
   前記振り分け手段により第１の出力先に振り分けられた画像データに対して所定の画像処理を施す画像処理手段と、
   前記振り分け手段により第２の出力先に振り分けられた画像データと、前記画像処理手段により画像処理が施された処理済み画像データとを、次段の画像処理装置への入力画像データとして出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 記憶手段を更に有し、
   前記記憶手段は、前記画像処理手段により前記画像処理が施された処理済み画像データと、前記振り分け手段により第３の出力先に振り分けられた画像データとを記憶し、
   前記出力手段は、前記第２の出力先に振り分けられた前記画像データと、前記記憶手段に記憶された前記処理済み画像データと、さらに前記記憶手段に記憶された前記第３の出力先に振り分けられた前記画像データとを出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記振り分け手段は、前記入力画像データのうち、前段の画像処理装置により処理されている処理済み画像データを、前記第３の出力先へと振り分けることを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の出力先に振り分けられた前記画像データと、前記記憶手段に記憶された前記処理済み画像データと、前記記憶手段に記憶された前記第３の出力先に振り分けられた前記画像データとを時分割多重化する多重化手段を更に有し、
   前記出力手段は前記多重化手段により多重化された画像データを出力することを特徴とする請求項３に記載の画像処理装置。
5. 前記出力手段は、前記第２の出力先に振り分けられた前記画像データと、前記記憶手段に記憶された前記処理済み画像データと、前記記憶手段に記憶された前記第３の出力先に振り分けられた前記画像データとを空間分割多重化して出力することを特徴とする請求項３に記載の画像処理装置。
6. 前記画像処理手段による画像処理は画像データの符号化処理を含み、前記記憶手段により記憶される画像データは符号化済み画像データであることを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記第２の出力先に振り分けられた画像データに対して画像処理を施す第２の画像処理手段をさらに有し、前記第２の画像処理手段による処理済み画像データが、前記第２の出力先に振り分けられた画像データとして前記出力手段により出力されることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記入力画像データを表示する表示手段を更に有することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記記憶手段に記憶された処理済み画像データを記録媒体に記録する手段を更に有することを特徴とする請求項２乃至６のいずれか一項に記載の画像処理装置。
10. 前記振り分け手段は、動作モードが表示モードであれば、前記入力画像データの全てを前記第１の出力先に振り分け、前記動作モードが記録モードであれば、前記入力画像データを前記第１の出力先と前記第２の出力先とに振り分けることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記入力画像データは動画像データであり、
    前記振り分け手段は、前記入力画像データを、画像データのフレームを単位として振り分けることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 撮像手段と、
    前記撮像手段から出力される画像データを入力画像データとする、カスケード接続された複数の請求項１乃至１１のいずれか一項に記載の画像処理装置と
    を有することを特徴とする撮像装置
13. 入力画像データのうち、処理の分担に応じた出力先に振り分ける振り分け工程と、
    前記振り分け工程により第１の出力先に振り分けられた画像データに対して所定の画像処理を施す画像処理工程と、
    前記振り分け工程により第２の出力先に振り分けられた画像データと、前記画像処理工程により画像処理が施された処理済み画像データとを、次段の画像処理装置への入力画像データとして出力する出力工程と
    を有することを特徴とする画像処理方法。

Images