JP2017220821A - 画像処理装置 - Google Patents

Abstract

【課題】複数の装置を有するシステムにおける遅延を効果的に低減することができる技術を提供する。【解決手段】本発明の画像処理装置は、第１画像処理が施される前の画像データである第１未処理画像データと、第１画像処理が施された後の画像データである第１処理済み画像データとを取得する取得手段と、第１未処理画像データと第１処理済み画像データとの一方を選択する第１選択手段と、第１選択手段によって選択された画像データに第２画像処理を施す処理手段と、第１選択手段によって選択された画像データに対応する画像データであり且つ第２画像処理が施される前の画像データである第２未処理画像データと、第１選択手段によって選択された画像データに対応する画像データであり且つ第２画像処理が施された後の画像データである第２処理済み画像データとの一方を選択する第２選択手段と、を有する。【選択図】図１

Description

本発明は、画像処理装置に関する。

高解像度を有する画像（被写体を表す画像；撮影画像）を撮影によって生成可能な撮影装置の普及により、フルハイビジョン以上の解像度を有する画像コンテンツの制作が活性化している。撮影装置の表示部（内部モニタ；電子ビューファインダー）で表示された画像の解像度は、一般的に低い。そのため、撮影画像の高解像度化に伴い、内部モニタを用いた画像確認が困難化している。そこで、撮影装置の外部装置である表示装置（外部モニタ）として高解像度の画像を表示可能な表示装置を用い、撮影画像を外部モニタで表示する方法で、撮影画像の画像確認が行われている。

ここで、撮影装置から出力される撮影画像データ（撮影画像の画像データ）のデータフォーマットがＲＡＷフォーマットである場合を考える。この場合には、外部モニタで撮影画像を表示するために、撮影画像データのデータフォーマットをＲＡＷフォーマットから表示用のデータフォーマットへ変換する必要がある。さらに、撮影装置と外部モニタとのそれぞれにおいて画像処理が個別に行われることがある。これらの画像処理（データフォーマットの変換、撮影装置での画像処理、及び、外部モニタでの画像処理）は、撮影画像の表示を遅らせる。撮影に対して表示が遅れると、撮影装置に対するユーザ操作が反映された撮影画像の表示が当該ユーザ操作に対して遅れる。そして、撮影やユーザ操作に対する表示の遅延は、ユーザの違和感を招く。そのため、撮影画像の画像確認においては、撮影に対する表示の遅延を極力抑えることが好ましい。特に、動きのある撮影画像の画像確認（フォーカスの確認など）において、撮影に対する表示の遅延を極力抑えることが好ましい。

１つの装置における遅延（画像データの伝送の遅延）を低減する技術は、例えば、特許文献１に記載されている。具体的には、特許文献１に開示の技術では、第１表示モードまたは第２表示モードが選択される。第１表示モードが選択された場合には、内部モニタに対応する解像度へ解像度を低減するフィルタ処理が撮影画像に施される。第２表示モードが選択された場合には、内部モニタに対応する解像度を有する画像が撮影画像から切り出される。

しかしながら、特許文献１に開示の技術を用いても、複数の装置を有するシステムにおける遅延（総合的な遅延）を効果的に低減することはできない。具体的には、特許文献１に開示の技術では、撮影装置での画像処理に起因した遅延（撮影装置における遅延）は低減されるが、外部モニタでの画像処理に起因した遅延（外部モニタにおける遅延）は低減されない。そのため、特許文献１に開示の技術では、撮影に対する内部モニタでの表示の遅延を低減することはできるが、撮影に対する外部モニタでの表示を効果的に低減することはできない。特許文献１に開示の技術では、撮影装置における遅延の時間と、外部モニタにおける遅延の時間とを合計した時間だけ、撮影に対する外部モニタでの表示が遅れてしまう。さらに、特許文献１に開示の技術では、遅延を低減する第２表示モードが選択された場合に、撮影画像の一部が切り出されて表示されるため、撮影画像の全体の把握が困難である。

特開２０１０−１２４１４６号公報

本発明は、複数の装置を有するシステムにおける遅延（画像データの伝送の遅延）を効果的に低減することができる技術を提供することを目的とする。

本発明の第１の態様は、
第１画像処理が施される前の画像データである第１未処理画像データと、前記第１画像処理が施された後の画像データである第１処理済み画像データとを取得する取得手段と、
前記第１未処理画像データと前記第１処理済み画像データとの一方を選択する第１選択手段と、
前記第１選択手段によって選択された画像データに第２画像処理を施す処理手段と、
前記第１選択手段によって選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施される前の画像データである第２未処理画像データと、前記第１選択手段によって選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施された後の画像データである第２処理済み画像データとの一方を選択する第２選択手段と、
を有することを特徴とする画像処理装置である。

本発明の第２の態様は、
第１画像処理が施される前の画像データである第１未処理画像データと、前記第１画像処理が施された後の画像データである第１処理済み画像データとを取得する取得ステップと、
前記第１未処理画像データと前記第１処理済み画像データとの一方を選択する第１選択ステップと、
前記第１選択ステップにおいて選択された画像データに第２画像処理を施す処理ステップと、
前記第１選択ステップにおいて選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施される前の画像データである第２未処理画像データと、前記第１選択ステップにおいて選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施された後の画像データである第２処理済み画像データとの一方を選択する第２選択ステップと、
を有することを特徴とする画像処理方法である。

本発明の第３の態様は、画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、複数の装置を有するシステムにおける遅延（画像データの伝送の遅延）を効果的に低減することができる。

実施例１に係る画像処理装置の構成例 実施例１に係る第１選択画像データの一例 実施例１に係る現像済み画像データの一例 実施例１に係る現像済み画像の配置の一例 実施例１に係る画像処理装置の処理フローの一例 実施例１に係る第１未処理画像データと第１処理済み画像データの一例 実施例１に係るＲ画像、Ｇｒ画像、Ｇｂ画像、及び、Ｂ画像の一例 実施例１に係る第２未処理画像データの一例 実施例２に係るシステムの構成例

＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係る画像処理装置１０の構成例を示すブロック図である。画像処理装置１０は、例えば、表示装置に設けられる。なお、画像処理装置１０は、表示装置とは別体の装置であってもよい。

図１に示すように、画像処理装置１０は、第１選択部１００、現像部１０１、表示制御部１０２、画像処理部１０３、第２選択部１０４、及び、制御部１０５を有する。なお、画像処理装置１０の上記複数の機能部のそれぞれは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれは、個別のハードウェアによって実現されてもよいし、そうでなくてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、画像処理装置１０が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、画像処理装置１０が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

画像処理装置１０には、第１未処理画像データと第１処理済み画像データとが入力される。第１未処理画像データは、第１画像処理が施される前の画像データであり、第１処理済み画像データは、第１画像処理が施された後の画像データである。本実施例では、画像処理装置１０への第１未処理画像データの入力と、画像処理装置１０への第１処理済み画像データの入力とが並列に行われる。画像処理装置１０への第１未処理画像データの入力に対し、画像処理装置１０への第１処理済み画像データの入力は、第１画像処理に対応する時間だけ遅れる。「第１画像処理に対応する時間」は、例えば、「第１画像処理に要する時間」である。

第１画像処理は特に限定されないが、例えば、第１画像処理は、画像の解像度を変換する解像度変換処理と、ノイズを低減するノイズ低減処理との少なくとも一方を含む。本実施例では、第１未処理画像データは、撮影画像データ（撮影によって生成された画像データ；撮影画像（被写体の画像）を表す画像データ）である。また、本実施例では、第１未処理画像データと第１処理済み画像データとのそれぞれは、ＲＡＷフォーマットを有する。

第１選択部１００は、第１未処理画像データと第１処理済み画像データとを取得し、第１未処理画像データと第１処理済み画像データとの一方を選択する。本実施例では、第１選択部１００による第１未処理画像データの取得と、第１選択部１００による第１処理済み画像データの取得とが並列に行われる。上述したように、画像処理装置１０への第１未処理画像データの入力に対し、画像処理装置１０への第１処理済み画像データの入力は、第１画像処理に対応する時間だけ遅れる。そのため、第１選択部１００による第１未処理画像データの取得に対し、第１選択部１００による第１処理済み画像データの取得は、第１画像処理に対応する時間だけ遅れる。また、本実施例では、第１選択部１００は、制御部１０５からの選択信号に応じて、第１未処理画像データと第１処理済み画像データとの一方を選択する。そして、第１選択部１００は、選択した画像データ（第１選択画像データ）を現像部１０１へ出力する。

現像部１０１は、第１選択画像データに現像処理を施すことにより、現像済み画像デー
タを生成する。そして、現像部１０１は、現像済み画像データを表示制御部１０２と画像処理部１０３へ出力する。本実施例では、複数の色成分にそれぞれ対応する複数の色成分画像データと、複数の色成分にそれぞれ対応する複数の階調値を各画素が有するカラー画像データとを含む複数の現像済み画像データが生成される。現像処理は、非ＲＡＷフォーマット（ＲＡＷフォーマットでないデータフォーマット）を有する画像データへ、ＲＡＷフォーマットを有する画像データを変換する処理である。ＲＡＷフォーマットを有する画像データがベイヤ配列の画像データである場合には、現像処理は「ディベイヤ処理」とも言える。

第１選択画像データがベイヤ配列の画像データである場合における現像処理の具体例を、図２，３を用いて説明する。図２は、第１選択画像データの一例を示す図である。図３は、現像済み画像データの一例を示す図である。

図２の第１選択画像データは、水平方向４０９６個×垂直方向２０４８個の位置にそれぞれ対応する４０９６×２０４８個の階調値を有する。図２の第１選択画像データは、例えば、水平方向４０９６個×垂直方向２０４８個の撮像センサ（撮像素子）を用いた撮影が行われた場合に得られる。図２において、水平方向２個×垂直方向２個の階調値は、赤色に対応する階調値（Ｒ値）、緑色に対応する２つの階調値（Ｇｒ値とＧｂ値）、及び、青色に対応する階調値（Ｂ値）であり、画像の１画素に対応する。図２の「Ｒ」はＲ値（またはＲ値を得る撮像センサ）を示し、「Ｇｒ」はＧｒ値（またはＧｒ値を得る撮像センサ）を示し、「Ｇｂ」はＧｂ値（またはＧｂ値を得る撮像センサ）を示し、「Ｂ」はＢ値（またはＢ値を得る撮像センサ）を示す。

まず、現像部１０１は、第１選択画像データから複数の色成分画像データを生成する。具体的には、現像部１０１は、第１選択画像データからＲ値、Ｇｒ値、Ｇｂ値、及び、Ｂ値を個別に抽出し、赤色に対応するＲ画像データ、緑色に対応するＧｒ画像データ、緑色に対応するＧｂ画像データ、及び、青色に対応するＢ画像データを生成する。Ｒ画像データは、各画素値がＲ値の画像データであり、Ｇｒ画像データは、各画素値がＧｒ値の画像データであり、Ｇｂ画像データは、各画素値がＧｂ値の画像データであり、Ｂ画像データは、各画素値がＢ値の画像データである。図３に示すように、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データのそれぞれは、水平方向２０４８個×垂直方向１０２４個の位置にそれぞれ対応する２０４８×１０２４個の画素値（階調値）を有する。Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データは、表示制御部１０２へ出力される。

次に、現像部１０１は、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データから、ＲＧＢ画像データを生成する。ＲＧＢ画像データはカラー画像データである。具体的には、ＲＧＢ画像データは、各画素値がＲＧＢ値（Ｒ値、緑色に対応する階調値であるＧ値、及び、Ｂ値の組み合わせ）の画像データである。Ｇ値として、例えば、Ｇｒ値、Ｇｂ値、または、Ｇｒ値とＧｂ値を合成することにより得られる合成値が使用される。合成値は、例えば、Ｇｒ値とＧｂ値の平均値である。Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データと同様に、ＲＧＢ画像データは、水平方向２０４８個×垂直方向１０２４個の位置にそれぞれ対応する２０４８×１０２４個の画素値を有する。ＲＧＢ画像データは、画像処理部１０３へ出力される。

本実施例では、ＲＧＢ画像データに先立って、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データが生成される。そして、本実施例では、現像部１０１によるＲ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データの出力に対し、現像部１０１によるＲＧＢ画像データの出力は、ＲＧＢ画像データを生成する処理に対応する時間だけ遅れる。ここで、「ＲＧＢ画像データを生成する処理」は、「Ｒ画像データ
、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データからＲＧＢ画像データを生成する処理」を意味する。

表示制御部１０２は、複数の現像済み画像データのうちの２つ以上の現像済み画像データに基づいて、第２未処理画像データを生成する。そして、表示制御部１０２は、第２未処理画像データを第２選択部１０４へ出力する。第２未処理画像データは、第１選択画像データに対応する画像データであり、後述する第２画像処理が施される前の画像データである。本実施例では、表示制御部１０２は、上記２つ以上の現像済み画像データから、当該２つ以上の現像済み画像データにそれぞれ対応する２つ以上の画像が並べられた画像データを、第２未処理画像データとして生成する。具体的には、表示制御部１０２は、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データから、Ｒ画像、Ｇｒ画像、Ｇｂ画像、及び、Ｂ画像が並べられた画像データを、第２未処理画像データとして生成する。Ｒ画像は、Ｒ画像データに基づく画像であり、Ｇｒ画像は、Ｇｒ画像データに基づく画像であり、Ｇｂ画像は、Ｇｂ画像データに基づく画像であり、Ｂ画像は、Ｂ画像データに基づく画像である。

図４は、Ｒ画像、Ｇｒ画像、Ｇｂ画像、及び、Ｂ画像の４つの画像（現像済み画像）の配置の一例を示す。図４の例では、表示装置の画面の領域を構成する４つの部分領域（分割領域）１１０〜１１３が設定されている。そして、４つの部分領域１１０〜１１３に上記４つの現像済み画像が等倍で表示される。例えば、部分領域１１０にＲ画像が表示され、部分領域１１１にＧｒ画像が表示され、部分領域１１２にＧｂ画像が表示され、部分領域１１３にＢ画像が表示される。４つの部分領域１１０〜１１３は、２行２列のマトリクス状に配置されている。そのため、Ｒ画像、Ｇｒ画像、Ｇｂ画像、及び、Ｂ画像も、２行２列のマトリクス状に配置される。表示制御部１０２は、制御部１０５からの表示パターン信号を取得し、取得した表示パターン信号から部分領域と現像済み画像との対応関係を判断し、判断した対応関係で各現像済み画像が配置されるように第２未処理画像データを生成する。なお、部分領域は分割領域に限られない。例えば、複数の部分領域として、互いに離れた複数の領域が使用されてもよい。部分領域と現像済み画像との対応関係は予め定められていてもよい。

画像処理部１０３は、第１選択画像データに第２画像処理を施す。本実施例では、画像処理部１０３は、第１選択画像データから得られた現像済み画像データに、第２画像処理を施す。具体的には、画像処理部１０３は、現像処理により生成されたＲＧＢ画像データに、第２画像処理を施す。それにより、第２処理済み画像データが生成される。第２処理済み画像データは、第１選択画像データに対応する画像データであり、第２画像処理が施された後の画像データである。画像処理部１０３は、第２処理済み画像データを第２選択部１０４へ出力する。

第２画像処理は特に限定されないが、例えば、第２画像処理は、解像度変換処理とノイズ低減処理との少なくとも一方を含む。第２画像処理に含まれる解像度変換処理では、例えば、画像の解像度が、表示装置（画面）の解像度と略同一の解像度へ変換される。「略同一」は「完全同一」を含む。画面の解像度は特に限定されないが、例えば、画面の解像度は、水平方向４０９６画素×垂直方向２０４８画素の解像度である。解像度変換処理では、例えば、線形補間、バイキュービック法、等の既存技術が使用される。

また、第１選択画像データ（第１未処理画像データと第１処理済み画像データのそれぞれ）は、静止画像データであってもよいし、動画像データであってもよい。従って、現像済み画像データであるＲＧＢ画像データは、静止画像データであってもよいし、動画像データであってもよい。第１選択画像データが動画像データである場合、すなわちＲＧＢ画像データが動画像データである場合には、第２画像処理において、複数のフレームにそれ
ぞれ対応する複数の画像データが使用されてもよい。

第２選択部１０４は、第２未処理画像データと第２処理済み画像データとを取得し、第２未処理画像データと第２処理済み画像データとの一方を選択する。本実施例では、第２選択部１０４による第２未処理画像データの取得と、第２選択部１０４による第２処理済み画像データの取得とが並列に行われる。上述したように、現像部１０１によるＲ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データの出力に対し、現像部１０１によるＲＧＢ画像データの出力は遅れる。また、第２画像処理（画像処理部１０３）には、第２未処理画像データを生成する処理（表示制御部１０２の処理）に要する時間よりも長い時間を要する。そのため、第２選択部１０４による第２未処理画像データの取得に対し、第２選択部１０４による第２処理済み画像データの取得は遅れる。また、本実施例では、第２選択部１０４は、制御部１０５からの選択信号に応じて、第２未処理画像データと第２処理済み画像データとの一方を選択する。そして、第２選択部１０４は、選択した画像データ（第２選択画像データ）を出力する。本実施例では、表示装置が有する不図示の表示部へ第２選択画像データが出力され、第２選択画像データに基づく画像が表示部によって表示される。なお、第２選択画像データは、表示部以外の機能部に出力されてもよい。例えば、第２選択画像データは記憶部へ出力されて記録されてもよい。第２選択画像データは、画像処理装置１０の外部装置（表示装置、記憶装置、等）へ出力されてもよい。

制御部１０５は、第１選択部１００の処理、表示制御部１０２の処理、及び、第２選択部１０４の処理を制御する。具体的には、制御部１０５は、選択信号を生成し、生成した選択信号を第１選択部１００と第２選択部１０４とへ出力する。選択信号は、選択対象の画像データに関する信号である。また、制御部１０５は、表示パターン信号を生成し、生成した表示パターン信号を表示制御部１０２へ出力する。表示パターン信号は、部分領域と現像済み画像との対応関係に関する信号である。

本実施例では、選択信号「０」が第１選択部１００へ出力された場合には、第１選択部１００は第１処理済み画像データを選択し、選択信号「１」が第１選択部１００へ出力された場合には、第１選択部１００は第１未処理画像データを選択する。選択信号「０」が第２選択部１０４へ出力された場合には、第２選択部１０４は第２処理済み画像データを選択し、選択信号「１」が第２選択部１０４へ出力された場合には、第２選択部１０４は第２未処理画像データを選択する。

そして、本実施例では、第１選択部１００に出力される選択信号は、第２選択部１００に出力される選択信号と同じである。そのため、本実施例では、第１選択部１００によって第１未処理画像データが選択された場合に、第２選択部１０４によって第２未処理画像データが選択される。そして、第１選択部１００によって第１処理済み画像データが選択された場合に、第２選択部１０４によって第２処理済み画像データが選択される。

本実施例では、ユーザ操作に応じて、選択信号と表示パターン信号とが生成される。例えば、ユーザは、画像データの伝送の遅延を低減したい場合に、選択信号「１」を生成するためのユーザ操作を行い、そうでない場合に、選択信号「０」を生成するためのユーザ操作を行う。具体的には、ユーザは、撮影画像の画像確認（フォーカスの確認など）を行う場合に、選択信号「１」を生成するためのユーザ操作を行い、そうでない場合に、選択信号「０」を生成するためのユーザ操作を行う。ここで、「ユーザ操作」は、「画像処理装置１０に対するユーザ操作」、「画像処理装置１０の外部装置（撮影装置など）に対するユーザ操作」、等を意味する。

画像処理装置１０の処理フローの一例について、図５を用いて説明する。図５は、画像
処理装置１０の処理フローの一例を示すフローチャートである。

まず、Ｓ１００にて、第１選択部１００は、制御部１０５からの選択信号の値が「０」であるか「１」であるかを判断する。選択信号の値が「１」である場合にはＳ１０１へ処理が進められ、選択信号の値が「０」である場合にはＳ１０２へ処理が進められる。図６は、第１未処理画像データと第１処理済み画像データの一例を示す。図６の符号１１４は第１未処理画像データを示し、符号１１５は第１処理済み画像データを示す。ここでは、第１未処理画像データ１１４と第１処理済み画像データ１１５とが第１選択部１００によって取得されたとする。

Ｓ１０１にて、第１選択部１００は、第１未処理画像データ１１４を第１選択画像データとして選択し、第１未処理画像データ１１４を現像部１０１へ出力する。Ｓ１０１の次に、Ｓ１０３へ処理が進められる。Ｓ１０２にて、第１選択部１００は、第１処理済み画像データ１１５を第１選択画像データとして選択し、第１処理済み画像データ１１５を現像部１０１へ出力する。Ｓ１０２の次に、Ｓ１０３へ処理が進められる。

Ｓ１０３にて、現像部１０１は、Ｓ１０１またはＳ１０２の処理により第１選択部１００から出力された選択画像データに現像処理を施す。それにより、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、Ｂ画像データ、及び、ＲＧＢ画像データが生成される。現像部１０１は、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データを、表示制御部１０２へ出力し、ＲＧＢ画像データを画像処理部１０３へ出力する。図７は、Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データの一例を示す。符号１１６はＲ画像データを示し、符号１１７はＧｒ画像データを示し、符号１１８はＧｂ画像データを示し、符号１１９はＢ画像データを示す。ここでは、Ｒ画像データ１１６、Ｇｒ画像データ１１７、Ｇｂ画像データ１１８、及び、Ｂ画像データ１１９が生成されたとする。そして、Ｒ画像データ１１６、Ｇｒ画像データ１１７、Ｇｂ画像データ１１８、及び、Ｂ画像データ１１９からＲＧＢ画像データが生成されたとする。

次に、Ｓ１０４にて、第２未処理画像データと第２処理済み画像データとが生成される。具体的には、表示制御部１０２は、制御部１０５からの表示パターン信号に基づいて、Ｒ画像データ１１６、Ｇｒ画像データ１１７、Ｇｂ画像データ１１８、及び、Ｂ画像データ１１９から、第２未処理画像データを生成する。そして、表示制御部１０２は、生成した第２未処理画像データを第２選択部１０４へ出力する。また、画像処理部１０３は、Ｓ１０３の処理により生成されたＲＧＢ画像データに、第２画像処理を施す。それにより、第２処理済み画像データが生成される。そして、画像処理部１０３は、生成した第２処理済み画像データを第２選択部１０４へ出力する。

図８は、第２未処理画像データの一例を示す。図８の第２未処理画像データでは、Ｒ画像データ１１６に基づくＲ画像が左上に配置されており、Ｇｒ画像データ１１７に基づくＧｒ画像が右上に配置されている。そして、Ｇｂ画像データ１１８に基づくＧｂ画像が左下に配置されており、Ｂ画像データ１１９に基づくＢ画像が右下に配置されている。ここでは、図８の第２未処理画像データが生成されたとする。

そして、Ｓ１０５にて、第２選択部１０４は、制御部１０５からの選択信号の値が「０」であるか「１」であるかを判断する。選択信号の値が「１」である場合にはＳ１０６へ処理が進められ、選択信号の値が「０」である場合にはＳ１０７へ処理が進められる。

Ｓ１０６にて、第２選択部１０４は、Ｓ１０４の処理により生成された第２未処理画像データを第２選択画像データとして選択し、選択した第２未処理画像データを出力する。Ｓ１０７にて、第２選択部１０４は、Ｓ１０４の処理により生成された第２処理済み画像
データを第２選択画像データとして選択し、選択した第２処理済み画像データを出力する。

以上述べたように、本実施例によれば、第１未処理画像データと第１処理済み画像データとの一方が第１選択画像データとして選択され、第１選択画像データに第２画像処理が施される。そして、第２未処理画像データと第２処理済み画像データとの一方が第２選択画像データとして選択されて出力される。それにより、複数の装置を有するシステムにおける遅延（画像データの伝送の遅延）を効果的に低減することができる。その結果、動きのある撮影画像の画像確認（フォーカスの確認など）において、上記遅延に起因した違和感（ユーザの違和感）を低減することができる。

例えば、第１未処理画像データが第１選択画像データとして選択されることにより、第１選択画像データの生成から第２選択画像データの出力までの処理時間を短縮することができ、上記遅延を低減することができる。また、第２未処理画像データが第２選択画像データとして選択されることによっても、第１選択画像データの生成から第２選択画像データの出力までの処理時間を短縮することができ、上記遅延を低減することができる。そして、第１未処理画像データが第１選択画像データとして選択され、且つ、第２未処理画像データが第２選択画像データとして選択されることにより、非常に小さい遅延で第２選択画像データが出力可能となる。

＜実施例２＞
以下、本発明の実施例２について説明する。以下では、実施例１と異なる点（構成および処理）について詳しく説明し、実施例１と同じ点についての説明は省略する。本実施例に係る画像処理装置は、実施例１に係る画像処理装置と同じものである。以下では、第１未処理画像データと第１処理済み画像データとを生成して出力する画像出力装置について詳しく説明する。画像出力装置は特に限定されないが、以下では、第１未処理画像データが撮影画像データであり、且つ、画像出力装置が撮影装置である例を説明する。

図９は、本実施例に係るシステムの構成例を示すブロック図である。図９において、実施例１と同じ装置、及び、実施例１と同じ機能部には、実施例１と同じ符号が付されている。図９のシステムは、画像処理装置１０と撮影装置２０を有する。

撮影装置２０は、撮像センサ群２００、第１変換部２０１、画像処理部２０２、及び、第２変換部２０３を有する。なお、撮影装置２０の上記複数の機能部のそれぞれは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれは、個別のハードウェアによって実現されてもよいし、そうでなくてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、撮影装置２０が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、撮影装置２０が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

撮像センサ群２００は、複数の撮像センサを有する。撮像センサとしては、例えば、ＣＭＯＳセンサが使用される。撮像センサ群２００は、撮影画像データであり且つＲＡＷフォーマットを有する第１未処理画像データを、撮影によって生成する。そして、撮像センサ群２００は、第１未処理画像データを、画像処理装置１０（第１選択部１００）と第１変換部２０１とへ出力する。

第１変換部２０１は、第１未処理画像データに現像処理（ディベイヤ処理）を施すこと
により、第１未処理画像データを、非ＲＡＷフォーマットを有する第３未処理画像データへ変換する。第３未処理画像データは、例えば、各画素値がＲＧＢ値の画像データ、各画素値がＹＣｂＣｒ値の画像データ、等である。第１変換部２０１は、第３未処理画像データを画像処理部２０２へ出力する。

画像処理部２０２は、第３未処理画像データに第１画像処理を施すことにより、第３処理済み画像データを生成する。そして、画像処理部２０２は、第３処理済み画像データを第２変換部２０３へ出力する。

第２変換部２０３は、データフォーマットを非ＲＡＷフォーマットからＲＡＷフォーマットへ変換する処理を第３処理済み画像データに施すことにより、ＲＡＷフォーマットを有する第１処理済み画像データを生成する。そして、第２変換部２０３は、第１処理済み画像データを画像処理装置１０（第１選択部１００）へ出力する。ＲＡＷフォーマットを有する第１処理済み画像データがベイヤ配列の画像データである場合には、データフォーマットを非ＲＡＷフォーマットからＲＡＷフォーマットへ変換する上記処理は「ベイヤ処理」とも言える。

撮影装置２０では、画質の向上、所定の解像度を有する画像データの取得、等のために、第１画像処理が行われる。しかしながら、第１未処理画像データがＲＡＷフォーマットを有する場合には、第１未処理画像データのデータフォーマットを非ＲＡＷフォーマットへ変換した後でなければ、第１未処理画像データに第１画像処理を施すことはできない。このような理由から、第１変換部２０１の処理が必要となる。そして、ＲＡＷフォーマットを有する第１処理済み画像データを画像処理装置１０へ出力するためには、第１画像処理が施された後の画像データのデータフォーマットをＲＡＷフォーマットへ変換する必要がある。このような理由から、第２変換部２０３の処理が必要となる。第１画像処理だけでなく、第１変換部２０１の処理、第２変換部２０３の処理、等も、遅延の増加をまねく。

本実施例では、高画質よりも低遅延を優先した処理フローの実現を可能とするために、ディベイヤ処理、第１画像処理、ベイヤ処理、等が施された後の画像データの他に、それらの処理が施される前の画像データが画像処理装置１０へ出力される。そして、画像処理装置１０において、実施例１と同様の処理が行われる。それにより、複数の装置を有するシステムにおける遅延を効果的に低減することができる。

なお、第１未処理画像データは撮影画像データに限られない。例えば、第１未処理画像データは、イラスト、ＣＧ（コンピュータグラフィクス）、等を表す画像データであってもよい。また、第１未処理画像データのデータフォーマットと、第１処理済み画像データのデータフォーマットとは特に限定されない。例えば、第１未処理画像データと第１処理済み画像データとの少なくとも一方が、非ＲＡＷフォーマットを有する画像データであってもよい。具体的には、上述した第３未処理画像データが、第１未処理画像データとして画像処理装置１０へ入力されてもよい。上述した第３処理済み画像データが、第１処理済み画像データとして画像処理装置１０へ入力されてもよい。その場合には、第２変換部２０３と現像部１０１は不要となる。

なお、第１選択部１００による第１未処理画像データの取得と、第１選択部１００による第１処理済み画像データの取得とは並列に行われなくてもよい。例えば、第１選択部１００が第１未処理画像データを選択する場合において、撮影装置２０（画像出力装置）が、第１未処理画像データのみを生成し、第１未処理画像データのみを画像処理装置１０に出力してもよい。そして、第１選択部１００が、第１未処理画像データのみを取得してもよい。同様に、第１選択部１００が第１処理済み画像データを選択する場合において、撮
影装置２０が、第１処理済み画像データを生成し、第１処理済み画像データのみを画像処理装置１０に出力してもよい。そして、第１選択部１００が、第１処理済み画像データのみを取得してもよい。これらにより、処理負荷を低減することができる。これらの処理は、例えば、第１選択部１００の選択対象に関する情報（選択信号など）を、撮影装置２０と画像処理装置１０の間で送受信することで実現可能となる。

同様に、第２選択部１０４による第２未処理画像データの取得と、第２選択部１０４による第２処理済み画像データの取得とは並列に行われなくてもよい。例えば、第２選択部１０４が第２未処理画像データを選択する場合において、第２未処理画像データのみが生成され、第２未処理画像データのみが第２選択部１０４によって取得されてもよい。同様に、第２選択部１０４が第２処理済み画像データを選択する場合において、第２処理済み画像データが生成され、第２処理済み画像データのみが第２選択部１０４によって取得されてもよい。これらにより、処理負荷を低減することができる。

なお、色成分画像データとカラー画像データは特に限定されない。例えば、シアン色に対応する画像データ、マゼンダ色に対応する画像データ、イエロー色に対応する画像データ、等が色成分画像データとして生成されてもよい。シアン色に対応する階調値、マゼンダ色に対応する階調値、イエロー色に対応する階調値、等を各画素値が有する画像データが、カラー画像データとして生成されてもよい。

なお、第１選択部１００の処理と、第２選択部１０４の処理との関係は特に限定されない。例えば、第１選択部１００によって第１未処理画像データが選択されたか否かに拘らず、第２選択部１０４によって第２未処理画像データが選択されてもよい。同様に、第１選択部１００によって第１処理済み画像データが選択されたか否かに拘らず、第２選択部１０４によって第２処理済み画像データが選択されてもよい。このような処理は、例えば、第１選択部１００へ出力される選択信号と、第２選択部１０４へ出力される選択信号とを個別に生成することにより実現できる。第１選択部１００の選択対象と、第２選択部１０４の選択対象とは、例えば、ユーザによって指定される。

なお、現像部１０１による色成分画像データの出力のタイミングと、現像部１０１によるカラー画像データの出力のタイミングとは特に限定されない。複数の色成分画像データ（Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、及び、Ｂ画像データ）からカラー画像データ（ＲＧＢ画像データ）を生成する処理に要する時間は短い。そのため、現像部１０１は、カラー画像データを生成した後に、色成分画像データとカラー画像データとを出力してもよい。現像部１０１は、カラー画像データを出力した後に色成分画像データを出力してもよい。

なお、第２未処理画像データにおいて、並べられた画像の数、並べられた画像の配置、等は特に限定されない。第２未処理画像データ、第２未処理画像データの生成に使用される画像データ、等も特に限定されない。例えば、複数の現像済み画像データ（Ｒ画像データ、Ｇｒ画像データ、Ｇｂ画像データ、Ｇ画像データ、Ｂ画像データ、ＲＧＢ画像データ、等）のいずれかが、第２未処理画像データとして使用されもよい。Ｇ画像データは、各画素値がＧ値の画像データである。第２未処理画像データにおいて、複数の画像が水平方向に並べられていてもよいし、複数の画像が垂直方向に並べられていてもよいし、複数の画像が斜め方向に並べられていてもよいし、複数の画像が円状に並べられていてもよい。第２未処理画像データにおいて、並べられた複数の画像は、カラー画像データによって表された画像を含んでいてもよい。例えば、部分領域１１０にＲ画像が表示され、部分領域１１１にＧ画像が表示され、部分領域１１２にＢ画像が表示され、部分領域１１３にＲＧＢ画像が表示されるように、第２未処理画像データが生成されてもよい。Ｇ画像は、Ｇ画像データに基づく画像であり、ＲＧＢ画像は、ＲＧＢ画像データに基づく画像データであ
る。１つの画像（Ｒ画像、Ｇｒ画像、Ｇｂ画像、Ｇ画像、Ｂ画像、ＲＧＢ画像、等）が画面の所定の位置に等倍で表示されるように、第２未処理画像データが生成されてもよい。所定の位置は、例えば、画面の中央である。第２未処理画像データの態様は、例えば、表示パターン信号を変更することで変更することができる。

なお、第２処理済み画像データは特に限定されない。例えば、複数の現像済み画像データのいずれかであり且つカラー画像データとは異なる画像データに第２画像処理を施すことにより、第２処理済み画像データが生成されてもよい。具体的には、Ｒ画像データに第２画像処理を施すことにより第２処理済み画像データが生成されてもよい。Ｇｒ画像データに第２画像処理を施すことにより第２処理済み画像データが生成されてもよいし、Ｇｂ画像データに第２画像処理を施すことにより第２処理済み画像データが生成されてもよい。Ｇ画像データに第２画像処理を施すことにより第２処理済み画像データが生成されてもよいし、Ｂ画像データに第２画像処理を施すことにより第２処理済み画像データが生成されてもよい。第２処理済み画像データの生成に使用される画像データは、例えば、ユーザ操作、装置の状態（動作モードなど）、等に応じて変更される。

なお、第２未処理画像データと第２処理済み画像データの取得にカラー画像データのみが使用される場合には、色成分画像データは生成されなくてもよい。同様に、第２未処理画像データと第２処理済み画像データの取得に色成分画像データのみが使用される場合には、カラー画像データは生成されなくてもよい。これらにより、処理負荷を低減することができる。

なお、現像部１０１の現像処理が行われない場合には、第１選択画像データが第２未処理画像データとして使用され、第１選択画像データに第２画像処理を施すことにより第２処理済み画像データが生成されてもよい。「現像部１０１の現像処理が行われない場合」は、例えば、「第３未処理画像データが第１未処理画像データとして画像処理装置１０へ入力され、且つ、第３処理済み画像データが第１処理済み画像データとして画像処理装置１０へ入力される場合」である。

なお、選択信号の生成方法と表示パターン信号の生成方法とは特に限定されない。例えば、装置の状態（動作モードなど）に応じて選択信号と表示パターン信号が生成されてもよい。具体的には、画像確認のための動作モードが設定されている場合に選択信号「１」が生成され、そうでない場合に選択信号「０」が生成されてもよい。選択信号と表示パターン信号の一方が装置の状態に応じて生成され、選択信号と表示パターン信号の他方がユーザ操作に応じて生成されてもよい。

なお、現像済み画像データの数は特に限定されない。現像済み画像データの数は１つであってもよい。また、現像済み画像データの種類は特に限定されない。例えば、各画素値がＲ値とＢ値のみを有する画像データが、現像画像データとして生成されてもよい。各画素値がＲ値とＢ値のみを有する画像データは、カラー画像データとして使用されてもよいし、色成分画像データとして使用されてもよい。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：画像処理装置 １００：第１選択部 １０１：現像部 １０２：表示制御部
１０３：画像処理部 １０４：第２選択部 １０５：制御部

Claims (14)

1. 第１画像処理が施される前の画像データである第１未処理画像データと、前記第１画像処理が施された後の画像データである第１処理済み画像データとを取得する取得手段と、
   前記第１未処理画像データと前記第１処理済み画像データとの一方を選択する第１選択手段と、
   前記第１選択手段によって選択された画像データに第２画像処理を施す処理手段と、
   前記第１選択手段によって選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施される前の画像データである第２未処理画像データと、前記第１選択手段によって選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施された後の画像データである第２処理済み画像データとの一方を選択する第２選択手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１未処理画像データと前記第１処理済み画像データのそれぞれは、ＲＡＷフォーマットを有し、
   前記処理手段は、
   前記第１選択手段によって選択された前記画像データに現像処理を施すことにより、現像済み画像データを生成する現像手段と、
   前記現像済み画像データに前記第２画像処理を施す画像処理手段と、
   を有する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記現像手段は、前記第１選択手段によって選択された前記画像データに前記現像処理を施すことにより、複数の現像済み画像データを生成し、
   前記画像処理手段は、前記複数の現像済み画像データのいずれかに前記第２画像処理を施す
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記現像手段は、前記第１選択手段によって選択された前記画像データに前記現像処理を施すことにより、複数の現像済み画像データを生成し、
   前記第２未処理画像データは、前記複数の現像済み画像データのうちの２つ以上の現像済み画像データに基づく画像データ、または、前記複数の現像済み画像データのいずれかである
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記処理手段は、
   前記２つ以上の現像済み画像データから、前記２つ以上の現像済み画像データにそれぞれ対応する２つ以上の画像が並べられた画像データを、前記第２未処理画像データとして生成する生成手段
   をさらに有する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の現像済み画像データは、複数の色成分にそれぞれ対応する複数の色成分画像データと、複数の色成分にそれぞれ対応する複数の階調値を各画素値が有するカラー画像データとを含む
   ことを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
7. 前記画像処理手段は、前記カラー画像データに前記第２画像処理を施す
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の色成分画像データは、各画素値がＲ値の画像データ、各画素値がＧｒ値の画像データ、各画素値がＧｂ値の画像データ、及び、各画素値がＢ値の画像データであり、
   前記カラー画像データは、各画素値がＲＧＢ値の画像データである
   ことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記第２画像処理は、解像度変換処理とノイズ低減処理の少なくとも一方を含む
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１選択手段によって選択された前記画像データは、動画像データであり、
    前記第２画像処理では、複数のフレームにそれぞれ対応する複数の画像データが使用される
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記第１選択手段によって前記第１未処理画像データが選択された場合に、前記第２選択手段は、前記第２未処理画像データを選択する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記第１選択手段によって前記第１処理済み画像データが選択された場合に、前記第２選択手段は、前記第２処理済み画像データを選択する
    ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 第１画像処理が施される前の画像データである第１未処理画像データと、前記第１画像処理が施された後の画像データである第１処理済み画像データとを取得する取得ステップと、
    前記第１未処理画像データと前記第１処理済み画像データとの一方を選択する第１選択ステップと、
    前記第１選択ステップにおいて選択された画像データに第２画像処理を施す処理ステップと、
    前記第１選択ステップにおいて選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施される前の画像データである第２未処理画像データと、前記第１選択ステップにおいて選択された前記画像データに対応する画像データであり且つ前記第２画像処理が施された後の画像データである第２処理済み画像データとの一方を選択する第２選択ステップと、
    を有することを特徴とする画像処理方法。
14. 請求項１３に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images