JP2007174689A - 画像処理装置 - Google Patents

Abstract

【課題】カラー画像を鏡面反射成分と拡散反射成分とに分離する画像処理装置を、簡易な構成によって、実現する。
【解決手段】画像処理装置７０１は、カラー画像を撮像し、鏡面反射成分と拡散反射成分とに分離して出力する。撮像したカラー画像から、複数の原色成分（ＲＧＢ）を分離し、原色成分Ｇのみについて、鏡面反射成分と拡散反射成分とに分離する。分離した鏡面反射成分および拡散反射成分を用いて、カラー画像の鏡面反射成分と拡散反射成分を得る。
【選択図】図３２

Description

本発明は、画像処理技術に関し、特に、例えば動画像データの高解像化などのために、カラー画像を鏡面反射成分と拡散反射成分とに分離する技術に関するものである。

デジタルビデオカメラ、デジタルスチルカメラなどデジタル画像機器の普及により、高解像度デジタル画像が様々な入出力機器において取り扱われることが、普通になっている。特に静止画では、民生用デジタルスチルカメラの撮像素子は５００万画素以上が普通となり、現在では１０００万画素を越える製品も登場しており、デジタル写真プリント用途に十分な高解像度化が達成されつつある。

しかしながら、今後のデジタル画像の用途としては、静止画での高解像度化がある程度達成されたため、動画データでの解像度拡大、特に映画のようにフレーム画像のそれぞれが静止画として通用する程度の高解像度動画データが、大きなニーズになってくると予想されている。画像高解像度化の応用先としては、カメラのような画像入力系の分野と、テレビのような画像表示系の分野の２つがあるが、本願は主として、画像入力系への応用に関するものである。

画像入力系において動画データの高解像度化という要求に答えるためには、以下のような問題がある。ＨＤ（High Definition）ＴＶ相当以上の高精細動画データにおいては、たとえ撮像素子の画素数が充分であっても、その画素数の多さゆえに30ｆｐｓ程度の動画データフレームレートでの全画素読み出しが非常に困難である。無理に高速読み出し処理した場合、機器の消費電力・発熱が巨大となる。したがって現状の技術では、動画データ全フレームの高解像度撮像は困難であって、動画データの数フレームに１枚しか高解像度画像が取得できないという問題がある。そこで画像撮像後に様々な画像処理技術を用いることが検討されてきた。

すなわち本分野の従来技術としては、時空間的に考えた場合、時間的には高解像度で空間的には低解像度の動画データから、時間的には低解像度で空間的に高解像度の画像を用いることによって、画像処理技術を利用して時間空間の両方の軸で高解像度の動画データを得るものがあった。

特許文献１では、撮影時に、低解像度の動画データと高解像度の静止画像から高解像度の動画データを作り出す技術が開示されている。この特許文献１の技術では、低解像度動画データの１フレームと高解像度静止画とを一定のサンプル時間毎に対応づけて、低解像度動画データを空間的に補間して高解像度化している。

特許文献２では次のような技術が開示されている。すなわち、シーンを撮像して低品位画像データを生成するとともに、シーンの一部を撮像して高品位画像データを生成する。そして、高品位画像データ及び低品位画像データを学習アルゴリズムにおける学習対として用いて、品位向上関数のパラメータを決定し、これを用いて、シーンの残りの部分の高品位画像を導出する。
特許第３２４０３３９号公報 特表２００５−５２２１０８号公報

しかしながら、従来の技術には、次のような問題があった。

動画データの高解像度化において、拡散反射成分と鏡面反射成分を分離独立した信号と考え、別個に高解像度化することが好ましい場合があり得る。このような場合、カラー画像を鏡面反射成分と拡散反射成分とに分離する簡易な入力系が要望される。

ここで例えば、カラー画像をレッド、グリーン、ブルーの３原色成分に分離し、それぞれについて偏光フィルタを用いて鏡面反射成分と拡散反射成分とに分離する構成を実現するものとする。この場合には、３原色成分への分離と、各原色成分の鏡面反射成分と拡散反射成分とへの分離とが必要になるので、プリズムなどの光学系が非常に複雑になる。また、各色毎に最低２個の撮像素子が必要になるので、合計６個の撮像素子を少なくとも画像処理装置に搭載しなければならない。よって、装置構成が大掛かりとなり、好ましくない。

また、カラー画像を鏡面反射成分と拡散反射成分とに分離する画像処理装置が、簡易な構成によって実現できた場合には、動画データの高解像度化だけでなく、通常の画像撮像など様々な用途に有効となる。

前記の問題に鑑み、本発明は、カラー画像を鏡面反射成分と拡散反射成分とに分離する画像処理装置を、簡易な構成によって、実現することを課題とする。

本発明では、カラー画像を撮像し、鏡面反射成分と拡散反射成分とに分離して出力する画像処理装置として、撮像したカラー画像から複数の原色成分を分離し、前記複数の原色成分のうちの１つのみについて鏡面反射成分と拡散反射成分とに分離し、この分離した鏡面反射成分および拡散反射成分を用いて、前記カラー画像の鏡面反射成分と拡散反射成分を得るものである。

本発明によると、撮像したカラー画像から分離した複数の原色成分のうち、１つの原色成分についてのみ、鏡面反射成分と拡散反射成分とへの分離を行う。このため、プリズムなどの光学系の構成が単純になる。また、２個の撮像素子が必要になるのは１色だけであり、その他の色については１個の撮像素子だけで済む。したがって、装置構成が簡易になる。

本発明によると、カラー画像を鏡面反射成分と拡散反射成分とに分離する画像処理装置を、簡易な構成によって、実現することができる。

本発明の第１態様では、カラー画像を撮像し、鏡面反射成分と拡散反射成分とに分離して出力する画像処理装置として、撮像したカラー画像から複数の原色成分を分離し、前記複数の原色成分のうちの１つのみについて鏡面反射成分と拡散反射成分とに分離し、この分離した鏡面反射成分および拡散反射成分を用いて、前記カラー画像の鏡面反射成分と拡散反射成分を得るものを提供する。

本発明の第２態様では、前記複数の原色成分は、レッド、グリーン、およびブルーであり、鏡面反射成分と拡散反射成分とに分離する前記１つの原色成分は、グリーンである第１態様の画像処理装置を提供する。

本発明の第３態様では、照明光の色成分比率を推定する照明光推定部を備え、前記１つの原色成分から分離した鏡面反射成分と、前記照明光推定部によって推定された照明光の色成分比率とを用いて、残りの原色成分における鏡面反射成分を算出し、前記残りの原色成分における拡散反射成分を、算出した鏡面反射成分を用いて、算出する第１態様の画像処理装置を提供する。

以下、本発明の実施の形態について、図面を参照して、詳細に説明する。

（第１の参考例）
図１および図２は本発明の第１の参考例に係る画像処理方法を示すフローチャートである。図１はシーンを撮影する場合の録画プロセスを示し、図２は録画した動画データを再生、表示する場合の高解像度化プロセスを示す。図１および図２のプロセスは、一般には、ビデオ撮影時と、撮影したビデオをディスプレイで観る再生表示時とにそれぞれ対応する。

図１の録画プロセスでは、まず時刻ｔにおける低解像度画像ＬＦ（ｔ）を取得して記録する（Ｓ１１）。またこれとともに、画像フレームの一部を占めるウインドウ領域において、高解像度画像ＨＷＦ（ｔ）を取得する（Ｓ１２）。この高解像度画像ＨＷＦ（ｔ）は以降の処理に用いるだけなので、動画データとして記録する必要は必ずしもない。そして、この解像度が異なる画像ＬＦ（ｔ），ＨＷＦ（ｔ）から、解像度変換ルールとしての高解像度化パラメータＰ（ｔ）を学習し記録する（Ｓ１３）。次に、ウインドウ領域の設定位置を他の位置へ移動する（Ｓ１４）。そして、録画が続行されていれば次の時刻ｔ＋１での処理に進み（Ｓ１６）、録画が完了すれば、プロセスを終了する（Ｓ１５）。

ステップＳ１３では、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）とについてそれぞれテクスチャ特徴量を求め、このテクスチャ特徴量同士の対応関係をパラメータ化する。このパラメータＰ（ｔ）のことを、本願明細書において、高解像度化パラメータと呼ぶ。その実体は、低解像度テクスチャＴＦＬを入力して高解像度テクスチャＴＦＨを出力する関数またはテーブル
ＴＦＨ＝Ｆｕｎｃｔｉｏｎ（ＴＦＬ，ｔ） …（式１）
に他ならない。この高解像度化パラメータを解像度変換ルールとして用いる。

図２の高解像度化プロセスにおいて、録画プロセスで記録された低解像度の動画データＬＦ（ｔ）および録画プロセスで学習された高解像度化パラメータＰ（ｔ）を取得する（Ｓ２１）。そして、動画データの１フレームを取得し（Ｓ２２）、当該フレームについて高解像度化パラメータを用いて高解像度化を行う（Ｓ２３）。全フレームについて完了したときはプロセスを終了し（Ｓ２４）、そうでないときは、次のフレームの処理に進む（Ｓ２５）。

ここで、ステップＳ２３では、当該フレームにおいて学習した高解像度化パラメータだけでなく、その前後の少なくとも１つのフレームにおいて学習した高解像度化パラメータも併せて用いて、高解像度化を行うのが好ましい。この理由は、当該フレームでは、画像の一部であるウインドウ領域のみにおいて高解像度化パラメータを学習しているに過ぎず、画像全体の高解像度化には必ずしも十分ではないためである。例えば、当該フレームの時刻ｔに対して時間Ｔだけの前後期間を含む期間の高解像度化パラメータＰ（ｔ’）を適用すればよい。すなわち、
ｔ−Ｔ≦ｔ’≦ｔ＋Ｔ …（式２）

図３は本参考例における録画プロセスおよび高解像度化プロセスの例を概念的に示す図である。図３では、低解像度動画データＬＦ（ｔ）の各フレームは８×８画素の画像からなり、画像全体を４分割した１個の領域をウインドウ領域ＷＤ１〜ＷＤ４としている。ウインドウ領域ＷＤ１〜ＷＤ４の設定位置はフレーム毎に変化しており、ここでは副走査方向（縦方向）に順に、上から下へ、そして下端から上端に戻るように移動している。もちろん、ウインドウ領域の形状や移動方法はこれに限定されるものではないが、説明の便宜上、簡単な例を挙げている。

そして、ウインドウ領域ＷＤ１〜ＷＤ４内では、ウインドウ領域外の領域よりも高解像度で撮像を行い、高解像度画像ＨＷＦ（ｔ）を得る。ここでは、ウインドウ領域内では、他領域に対して縦横２×２倍の画素密度によって撮像を行うものとする。なお、後述するように、ウインドウ領域内は高解像で撮像し、ウインドウ領域外は低解像度で撮像した、一画面中で画素密度が混在している動画データを取得するようにしてもかまわない。このような動画データを、本願明細書では、画素密度混在動画データと呼ぶ。

画素密度混在動画データを取得した場合、ウインドウ領域外では低解像度画像が記録されるが、ウインドウ領域内では高解像度画像しか記録されない。ただし、ウインドウ領域における低解像度画像は再度取得する必要はなく、高解像度画像に対して間引きまたは平均化などの画像フィルタ処理を行うことによって生成できる。なお、このモデル化は、光学系や撮像素子の開口形状を考慮することによって現実に近い形に高精度化することができる。例えば、高解像度画像に対してＰＳＦ(Point Spread Function)をガウス型関数との畳み込み演算として実施し、次にこれを２次元的に一定の幅を持つ撮像素子領域の範囲で積分する手法などが考えられる。

いま、時刻ｔに着目すると、画像を縦方向に４分割した各部分領域ＡＲ１〜ＡＲ４について、上から順に、時刻ｔ−２のウインドウ領域ＷＤ１、時刻ｔ−１のウインドウ領域ＷＤ２、時刻ｔのウインドウ領域ＷＤ３および時刻ｔ−３のウインドウ領域ＷＤ４が、それぞれ対応している。すなわち、時刻ｔでは、各部分領域ＡＲ１〜ＡＲ４に対応する高解像度化パラメータが、すでに、時刻ｔ−２，ｔ−１，ｔ，ｔ−３において学習済になっている。動画データのフレームレートを１／３０(sec)とすると、時刻ｔ−３から時刻ｔまでの時間経過は約１／１０(sec)程度に過ぎず、よほど瞬間的な画面変化が発生しない限り、各フレームにおいてほぼ同様の特徴量情報が取得される。このため、時刻ｔ−３から時刻ｔまでの高解像度化パラメータを適用することは有効である。

また、時刻ｔにおける低解像度画像の領域は、時刻ｔに加えて、
・時刻（ｔ−１）または時刻（ｔ＋３）
・時刻（ｔ−２）または時刻（ｔ＋２）
・時刻（ｔ−３）または時刻（ｔ＋１）
において、必ず高解像度にて取得されているという性質がある。このため、前後３フレームの高解像度化パラメータを適用することによって、その時間内に大きなシーン変化が無い限り、高解像度化は有効であるといえる。これは、上の（式１）においてＴ＝３とすることに相当する。

図３に示すように、各時刻において、高解像度化パラメータＰ（ｔ−３），Ｐ（ｔ−２），…が与えられたとする。高解像度化プロセスでは、低解像度動画データの各フレームについて、各部分領域に対して、その位置にウインドウ領域が対応しており、かつ、時刻ずれが少ないフレームにおける高解像度化パラメータを適用して、高解像度化を行えばよい。例えば、時刻ｔにおける画像ＬＦ（ｔ）の場合には、画像の上部から順に、部分領域ＡＲ１に対しては高解像度化パラメータＰ（ｔ−２）を、部分領域ＡＲ２に対しては高解像度化パラメータＰ（ｔ−１）を、部分領域ＡＲ３に対しては高解像度化パラメータＰ（ｔ）を、そして部分領域ＡＲ４に対しては高解像度化パラメータＰ（ｔ＋１）を、それぞれ適用すればよい。なお、例えば部分領域ＡＲ１に対しては、高解像度化パラメータＰ（ｔ＋２）を適用してもよいし、部分領域ＡＲ２に対しては、高解像度化パラメータＰ（ｔ＋３）を適用してもかまわない。

なお、図３では４分割の例を示したが、画像全体をｎ（ｎは２以上の整数）分割した１個の領域をウインドウ領域とし、ｎ個のフレームにわたって画像全体を占めるように、ウインドウ領域を移動させてもよい。また、これ以外でも、ウインドウ領域は、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させるのが好ましい。

図４は図１におけるステップＳ１３の処理の一例を示すフローチャートである。ここでは、画像をテクスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変換による多重解像度解析を用いて、高解像度化パラメータの学習を行うものとする。まず、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）の画像サイズを合わせるために、低解像度画像ＬＦ（ｔ）を補間拡大する（Ｓ１３１）。次に、後述する３段階のスケーリングによるウェーブレット変換を用いて、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）をウェーブレット変換する（Ｓ１３２）。最後に、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）のウェーブレット係数の対応関係を、画素位置ごとに、蓄積する（Ｓ１３３）。この対応関係が、高解像度化パラメータＰ（ｔ）となる。

図５は図２におけるステップＳ２３の処理の一例を示すフローチャートである。ここでは、ある期間における高解像度化パラメータＰ（ｔ’）を適用して、高解像度化を行う。まず、低解像度画像ＬＦ（ｔ）を補間拡大して画像サイズを高解像度画像ＨＷＦ（ｔ）に合わせる（Ｓ２３１）。次に、低解像度画像ＬＦ（ｔ）をウェーブレット変換し（Ｓ２３２）、高解像度化パラメータＰ（ｔ’）を用いてウェーブレット係数を置換する（Ｓ２３３）。そして、逆ウェーブレット変換を行い、高解像度画像に変換する（Ｓ２３４）。ステップＳ２３３において、図３で説明したように、画像上の部分領域に対して異なるフレーム時刻の高解像度化パラメータを用いてもよい。あるいは、ある期間における高解像度化パラメータを１つの集合に量子化し、これを高解像度化パラメータとして適用してもよい。

図６は図４のステップＳ１３２におけるウェーブレット変換の例を示す図である。図６において、第１段（スケール）では、入力画像ＩＮが、Ｘ、Ｙ方向のウェーブレット変換により、入力画像ＩＮと同一サイズの４成分画像Ｈ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１に分解される。第２段（スケール）では、分解した４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解される。このとき、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解だけが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ１Ｈ２，Ｈ２Ｈ１，Ｈ２Ｈ２以外の成分を分解し、同様にＬ２Ｌ２のみがＸ，Ｙ双方向へ分解され、他は１方向への分解が行われ、１２個の成分に分解される。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって作成することができる。

図６のようなウェーブレット変換の分解によって、図７に示すように、入力画像ＩＮは、各画素が１６次元の成分に分解されたことになる。これら１６成分を束ねたベクトルが、画素位置ＰＰにおけるテクスチャ特徴量ＴＦ１である。

以上のようにして、低解像度画像と高解像度画像とをそれぞれテクスチャ特徴量に変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成する。なお、この処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭強調」電子情報通信学会論文誌 Vol.J79A 1996/5 （１０３２−１０４０ページ）、などに詳しく説明されており、ここでは詳細な説明を省略する。この場合、ステップＳ１３におけるパラメータ化とは、分析コードブックおよび再生コードブックを作成することに相当する。ここから、（式１）によって示した高解像度化パラメータＰ（ｔ）が算出される。

本参考例では、撮影時に、画像の一部であるウインドウ領域のみにおいて高解像度画像を取得し、テクスチャなどの画像特徴量を用いて高解像度パラメータを生成する。このような処理にした利点は、以下のとおりである。

第１に、高解像度化パラメータは、別の動画データから事前学習によって求めておくのではなく、後で実際に高解像度化する動画データの被写体自身に関して学習できるため、高精度の画像処理が実現できることである。また高解像度化パラメータは時間の関数であるため、フレーム毎に学習することによって、画面内にいかなる特性をもつ被写体が出現しても瞬時に最適な高解像度化パラメータを取得でき、表示時に利用できる。このため、学習によって取得した高解像度化パラメータと実際に高解像度化を行う動画データとの特性の違いに起因する性能劣化が、原理的に存在しない。

第２に、高解像度化に利用するのは画像テクスチャなどの特徴量であるため、画面内の位置と直接的には無関係であり、ウインドウ領域をいかに移動しても、その影響を受けることはあまりない、ということである。したがって、ウインドウを適宜移動して画像全体をカバーすることにより、画面全域からの情報を十分に利用できる。

なお、図１に示す録画プロセスと図２に示す高解像度化プロセスは、典型的には、録画プロセス、高解像度化プロセスの順に実施されるが、例えば中継放送のように、カメラ撮影と伝送表示とが同時に実行される場合は、録画プロセスと高解像度化プロセスを時間的に並行して実施してもかまわない。

また、録画プロセスでは、低解像度動画データのみを記録して、これを高解像度化プロセスで高解像度化するものとしたが、これ以外でも例えば、図３に示したようないわゆる画素密度混在動画データを、そのまま録画しておき、これを高解像度化プロセスで高解像度化する、という態様にしてもかまわない。

（第２の参考例）
本発明の第２の参考例では、上述の第１の参考例をベースとして、具体的な装置構成を例にとって説明する。ここでは、上述した画素密度混在動画データを撮像可能に構成された画素密度混在撮像部を備えたビデオムービーカメラを用いて、録画プロセスを実行するものとする。画素密度混在撮像部は、後述するとおり、ＣＭＯＳ型撮像センサ等のＸＹアドレス型撮像素子を用いて構成される。

図８は本参考例に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図８の画像処理装置１０は、レンズ１０１、画素密度混在撮像部１０２、低解像度動画データの１フレームＬＦ（ｔ）を蓄積する低解像度フレームメモリ１０３、低解像度動画データＤＬＦを録画する低解像度動画記録部１０４、１フレーム内のウインドウ領域における高解像度画像ＨＷＦ（ｔ）を蓄積する高解像度ウインドウメモリ１０５、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を画像処理によって低解像度に変換する低解像度変換部１０６、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を用いて高解像度化パラメータＰ（ｔ）を学習する高解像度化パラメータ学習部１２０、高解像度化パラメータＤＰを記録する高解像度化パラメータ記録部１０９、全体制御部１１０および録画ボタン１１１を備えている。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）をテクスチャ特徴量に変換するテクスチャ変換部１０７、低解像度画像の画素サイズを補正した後、テクスチャに変換する画像サイズ補正・テクスチャ変換部１１２、およびテクスチャの対応関係を学習するテクスチャ学習部１０８を備えている。なお、ここでは、画素密度混在撮像部１０２はライン単位の読み出しを行うものとしているので、水平方向の画素間引きを行う間引き回路１１５が、画素密度混在撮像部１０２と低解像度フレームメモリ１０３との間に設けられている。

録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および低解像度動画記録部１０４に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、低解像度画像ＬＦ（ｔ）が低解像度フレームメモリ１０３内にフレームごとに蓄積される。そして低解像度動画記録部１０４は、低解像度フレームメモリ１０３に蓄積された低解像度画像ＬＦ（ｔ）を時間的に連続して動画データとし、さらに圧縮などの処理を行って、低解像度動画データＤＬＦとして蓄積メディアやネットワーク上に記録する。

全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。

なお、低解像度変換部１０６の出力は低解像度フレームメモリ１０３にも供給されている。これは、画素密度混在撮像部１０２は、ウインドウ領域内は高解像度画像のみを取得しており、低解像度画像を読み出していないので、低解像度画像ＬＦ（ｔ）において欠落したウインドウ領域の部分を補充するためである。

録画ボタン１１１の押下が解除されると、上述した動作は停止する。

図８の構成において、画素密度混在撮像部１０２から低解像度動画記録部１０４までは例えばハードウエアによって構成でき、また、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９は、ＣＰＵまたはＧＰＵ(Graphic Processing Unit)などを中心に構成することも可能である。

図９は画素密度混在撮像部１０２の構成例を示す概念図である。図９において、３板方式の通常のビデオムービーにおけるカラー画像撮像用の光学系が用いられている。３板方式では、ダイクロックプリズム１３１によって波長帯域がレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）に分離される。そして、各カラーバンドにそれぞれ、画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂが割り当てられる。信号処理回路１３３はこれら画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂからの出力を処理して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。このとき、後述する「飛び越しライン読み出し」がなされた低解像度の信号と、同じく後述する「プログレッシブ読み出し」がなされた高解像度の信号とに分離されて出力される。

動画データの記録には、このＹＣｒＣｂ形式が用いられる。一方、テクスチャ学習には、このＹＣｒＣｂ形式のまま輝度色差信号を全て用いてもよいし、輝度Ｙ信号のみを用いてもよい。ただし、高解像度化倍率が４×４を超える場合には、人視覚系の輝度成分と色成分の周波数応答特性比率から考えると、輝度Ｙのみの高解像度化では画質的に不十分であるため、色差ＣｒＣｂの両方を別個に高解像度化する必要がある。したがって、４×４以上の倍率の場合には、テクスチャ学習にはレッドＲ、グリーンＧ、ブルーＢの３信号成分を用いてもよい。図９の構成では、レット、グリーン、ブルー全てに画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂを割り当て、かつ、動画データ記録方式を従来の輝度色差空間に設定しているため、テクスチャ学習には、輝度Ｙと２種類の色差Ｃｒ，Ｃｂ信号を独立に用いるものとする。

図１０は画素密度混在撮像素子による読み出し画素位置の一例を示す図である。図１０において、ハッチが付された画素が読み出し対象画素である。なお、実用的撮像素子は２０００×３０００個程度の画素を有するが、ここでは簡単のため、１６×１６画素すなわち垂直（Ｖ方向）１６ライン、水平（Ｈ方向）１６ラインの２次元センサを例として描いている。（Ａ）〜（Ｄ）は時間的に連続する４個のフレームにそれぞれ対応している。

図１０から分かるように、２５６（＝１６×１６）個の画素は、全画素読み出しを行う範囲（高解像度画像を取得するウインドウ領域に相当）と、それ以外の飛び越し読み出しを行う範囲とに分離されている。ウインドウ領域は下から上に順に移動しており、（Ａ）から（Ｄ）までの４フレームを１周期として、ウインドウ領域の位置は同様の移動を繰り返す。

ウインドウ領域以外の低解像度画像の読み出しは、様々な方法が考えられるが、図１０では、画像全体を均等に１６分割した仮想的なブロックの概略中心を、低解像度画像の読み出し画素位置として設定している。この方法によって、水平Ｈ、垂直Ｖ方向それぞれに１／４に間引きされた低解像度画像が得られる。図１０では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（７，１１，１５）、（Ｂ）では（３，１１，１５）、（Ｃ）では（３，７，１５）、（Ｄ）では（３，７，１１）となっている。

このように、全ラインを読み出すウインドウ領域は、垂直方向に４ラインづつ規則的に移動させ、それ以外の場所では、垂直方向に３ラインを固定位置で読みだす。この方法により、同一画素を２回読み出すことなく、画素密度混在撮像を行うことができる。本参考例では、この読み出し方法を用いるものとする。

図１１は画素密度混在撮像素子による読み出し画素位置の他の例を示す図である。図１１の例では、低解像度画像の読み出し方法が図１０と異なっている。この方式では、ウインドウ領域における全ライン読み出しとは独立に、１／４に間引きされた低解像度画像を、フレーム毎に異なる位置で読み出すようにしている。これは、時空間的なサンプリングを均等化する効果をねらったものであり、一部の画素について読み出しが重複することも許している。図１１では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（１，５，９，１３）、（Ｂ）では（２，６，１０，１４）、（Ｃ）では（３，７，１１，１５）、（Ｄ）では（４，８，１２，１６）となっている。黒く塗りつぶされた画素は、重複読み出しが行われるものである。この方法では、飛び越し読み出しの画素だけで低解像度動画データを構成することが可能となる。このため、低解像度画像において欠落したウインドウ領域を補充するための、低解像度変換部１０６から低解像度フレームメモリ１０３への画素値の供給処理が、不要になるという利点がある。

＜画素密度混在撮像素子の構造＞
図１２は画素密度混在撮像素子の構造の一例を示す回路ブロック図である。図１２では、垂直１６ライン、水平１６ラインの２次元センサを例として示しており、図１１で示したような読み出し方法を実現するものとする。なお、以降の説明では、画面の一部を高解像度で読み出す処理を「プログレッシブ読み出し」、画面を低解像度画像で読み出す処理を「飛び越しライン読み出し」というように、ラインを基準とした用語を用いるものとする。

撮像素子は概略、入射光の光電変換を行う撮像単位画素２１１が２次元配置（アレイ配置）された撮像部２０１と、撮像単位画素２１１にそれぞれ対応して蓄積単位画素２２１が２次元配置されており、入射光に対して遮光部を備えた蓄積部２０２とを備えている。そして撮像部２０１と蓄積部２０２とは、撮像部２０１から蓄積部２０２へ信号電荷を移動する信号線ｐ２ｓｔｒによって接続されている。

撮像部２０１の周辺には、読み出しパルスをライン毎に順次シフトする読み出し用シフトレジスタ２０３、およびリセットパルスをライン毎に順次シフトするリセット用シフトレジスタ２０４が設けられている。読み出しパルスは読み出しパルス供給線ｒｄ−ｐを介して、リセットパルスはリセットパルス供給線ｒｓｔ−ｐを介して、撮像部２０１の各撮像単位画素２１１に送られる。読み出しパルスを受けた撮像単位画素２１１は信号電荷を出力し、リセットパルスを受けた撮像単位画素２１１は信号電荷をリセットする。

蓄積部２０２の周辺には、「飛び越しライン読み出し」に用いる読み出しパルスを出力する飛び越し走査用シフトレジスタ２０５、「プログレッシブ読み出し」に用いる読み出しパルスを出力するプログレッシブ走査用シフトレジスタ２０６、飛び越し走査用シフトレジスタ２０５およびプログレッシブ走査用シフトレジスタ２０６の出力のいずれかを選択して蓄積部２０２に供給するセレクタ２０７、および、撮像部２０１から蓄積部２０２に信号電荷を転送する際に用いる読み込み用シフトレジスタ２０８が設けられている。セレクタ２０７から出力される読み出しパルスは、読み出しパルス供給線ｒｄ−ｓを介して蓄積部２０２の各蓄積単位画素２２１に供給される。また、読み込み用シフトレジスタ２０８から出力された転送パルスは、転送パルス供給線ｔｒｎを介して蓄積部２０２の各蓄積単位画素２２１に供給される。

プログレッシブ走査用シフトレジスタ２０６は、全ライン読み出しの高解像度画像を毎フレーム部分的に読み出す（例えば、毎フレーム１／４画面づつ出力し、４フレームにて１画面を構成する）ためのパルスを、発生する。一方、飛び越し走査用シフトレジスタ２０５は、飛び越しライン読み出しの低解像度画像を毎フレーム１画面得るためのパルスを、発生する。飛び越し走査用シフトレジスタ２０５に関しては、別途図１５にて詳細を説明する。

その他、セレクトトランジスタ群２０９、水平シフトレジスタ２１０および出力アンプ２１１が設けられている。蓄積部２０２の各蓄積単位画素２２１に蓄積された信号電荷は、信号出力線ｓｉｇ−ｏｕｔを介して、水平シフトレジスタ２１０によって選択された順番にもとづき、セレクトトランジスタ群２０９および出力アンプ２１１を通じて、外部に出力される。

また、タイミング発生回路２１２は、読み出し用シフトレジスタ２０３、リセット用シフトレジスタ２０４、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み込み用シフトレジスタ２０８、水平シフトレジスタ２１０、およびリセットパルス供給線ｒｓｔ−ｓにパルスを供給する。ただし、タイミング発生回路２１２は、撮像素子とは別のチップに分割搭載されていてもかまわない。

信号線ｐ２ｓｔｒ、読み出し用シフトレジスタ２０３、読み出しパルス供給線ｒｄ−ｐ、読み込み用シフトレジスタ２０８、転送パルス供給線ｔｒｎによって、転送部が構成されている。また、信号出力線ｓｉｇ−ｏｕｔ、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み出しパルス供給線ｒｄ−ｓによって、出力部が構成されている。

図１３は撮像単位画素２１１の構成の一例を示す図である。図１３の構成は、オーソドックスな３トランジスタ構成である。すなわち、光によって信号電荷を発生するフォトダイオードＰＤ、ゲートが読み出しパルス供給線ｒｄ−ｐに接続されており、信号電荷を信号線ｐ２ｓｔｒに出力するための読み出し用トランジスタＴＲ１、ソースフォロアトランジスタＴＲ２、および、ゲートがリセットパルス供給線ｒｓｔ−ｐに接続されており、蓄積された信号電荷をリセットするリセット用トランジスタＴＲ３を備えている。

図１４は蓄積単位画素２２１の構成の一例を示す図である。図１４の構成は、４トランジスタと１キャパシタで構成されている。すなわち、ゲートが転送パルス供給線ｔｒｎと接続されたトランジスタＴＲ４、信号線ｐ２ｓｔｒおよびトランジスタＴＲ４を通じて撮像単位画素２１１から転送された信号電荷を蓄積するための蓄積容量Ｃ−ｓｔｒ、ゲートが読み出しパルス供給線ｒｄ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒに蓄積された信号電荷を信号出力線ｓｉｇ−ｏｕｔに読み出すためのトランジスタＴＲ５、ゲートがリセットパルス供給線ｒｓｔ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒをＧＮＤレベルにリセットするためのトランジスタＴＲ６、およびソースフォロアトランジスタＴＲ７を備えている。

図１５は飛び越し走査用シフトレジスタ２０５の構成の一例を示す図である。図１５において、飛び越し走査用シフトレジスタ２０５は、飛び越しライン指定レジスタ２５１、ライン群走査シフトレジスタ２５２、およびＤラッチ２５３などから構成されている。その動作の詳細は、後述する。

図１６は図１２〜図１５に示す画素密度混在撮像素子における撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。図１６では、連続する４フレーム期間の概略動作を示している（ただし、図示の都合上、第３フレームを省略している）。

第１フレームにおいて、撮像部２０１におけるラインＰＤＲ１の露光時間Ｔ１が終了すると、続く転送期間Ｔ１１において、ラインＰＤＲ１上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ１の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。続いてラインＰＤＲ２の露光時間Ｔ２が終了すると、続く転送期間Ｔ２１において、ラインＰＤＲ２上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ２の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。

このような読み出し・転送動作が、高速Ｖ転送期間Ｔｐ２ｓｔｒおいて、１６本のラインＰＤＲ１〜ＰＤＲ１６について、順次実行される。すなわち、露光時間中に各撮像単位画素２１１内のフォトダイオードＰＤにおいて光電変換された信号電荷は、高速Ｖ転送期間Ｔｐ２ｓｔｒにおいて、撮像部２０１から蓄積部２０２に転送され、蓄積される。

第１フレームにおいて蓄積部２０２に蓄積された信号電荷は、次の第２フレームの水平読み出し期間において、外部に読み出される。第２フレームでは、ラインＳＴＲ５〜ＳＴＲ８の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ２，ＳＴＲ６，ＳＴＲ１０，ＳＴＲ１４の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。

以降のフレームにおいても、同様の走査が行われる。第４フレームでは、ラインＳＴＲ１３〜ＳＴＲ１６の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ４，ＳＴＲ８，ＳＴＲ１２，ＳＴＲ１６の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。

なお、図１６では、各フレームにおいて、プログレッシブ読み出しを４ライン連続で行い、飛び越し読み出しを４ラインおきの４ラインについて行うものとしているが、読み出すライン数はこれに限られるものではなく、また、プログレッシブ読み出しと飛び越し読み出しとで読み出すライン数を同じにする必要もない。例えば、プログレッシブ読み出しをｎライン連続で行い、飛び越し読み出しをｍラインおきに行うようにしてもよい。また、簡単のため、例えば第２フレームでは、ラインＳＴＲ６について重複読み出しを行うものとしているが、重複させる必要は必ずしもない。

図１７は高速Ｖ転送期間Ｔｐ２ｓｔｒにおける動作を示すタイミングチャートである。図１７において、第１フレームのラインＰＤＲ１において、露光時間Ｔ１が終了すると、読み出しパルス供給線ｒｄ−ｐに読み出しパルスが供給される。この読み出しパルスは、図１３の撮像単位画素２１１におけるトランジスタＴＲ１のゲートに印加され、フォトダイオードＰＤの信号電荷に相当する信号電位はソースフォロアトランジスタＴＲ２を介して、信号線ｐ２ｓｔｒに出力される。ラインＳＴＲ１において、転送パルス供給線ｔｒｎに転送パルスが供給されると、この転送パルスは図１４の蓄積単位画素２２１におけるトランジスタＴＲ４のゲートに印加され、信号線ｐ２ｓｔｒからトランジスタＴＲ４を介して蓄積容量Ｃ−ｓｔｒに信号電荷が転送される。

読み出しパルスの供給後に、リセットパルス供給線ｒｓｔ−ｐにリセットパルスが供給される。このリセットパルスは図１３の撮像単位画素２１１におけるトランジスタＴＲ３のゲートに印加され、これにより、フォトダイオードＰＤがリセットされる。

このような動作により、撮像部２０１の各ラインＰＤＲ１〜ＰＤＲ１６における撮像単位画素２１１の信号電荷は、蓄積部２０２の対応するラインＳＴＲ１〜ＳＴＲ１６の蓄積単位画素２２１に、全て転送される。

図１８は水平読み出し期間および蓄積部リセット期間の動作を示すタイミングチャートである。図１８において、タイミング発生回路２１２からクロックＣＫが供給される。第１フレームの水平読み出し期間では、クロックＣＫから、選択信号ｓｅｌ−Ｈ／Ｌによって切り出されたシフトクロックＣＫ−Ｈが、プログレッシブ走査用シフトレジスタ２０６に与えられる。プログレッシブ走査用シフトレジスタ２０６は、このシフトクロックＣＫ−Ｈと、タイミング発生回路２１２から供給されたシフトデータＤａｔａ−Ｈ（図示せず）とを受けて、ラインＳＴＲ１〜ＳＴＲ４に向けて、読み出しパルスを出力する。第２フレームの水平読み出し期間では、プログレッシブ走査用シフトレジスタ２０６は、ラインＳＴＲ５〜ＳＴＲ８に向けて、読み出しパルスを出力する。

ここで図１５に示すように、飛び越し走査用シフトレジスタ２０５は、当該フレームにおける飛び越しラインを決定する飛び越しライン指定レジスタ２５１と、複数のラインを同位相で走査するためのライン群走査シフトレジスタ２５２とを備えている。まず、飛び越しライン指定レジスタ２５１は、タイミング発生回路２１２から供給されたクロックＣＫ−Ｌ１および飛び越しライン選択データＤａｔａ−Ｌ１を受けて、出力Ｌ１〜Ｌ１６のうち、当該フレームにおける飛び越し走査ラインに対応するものを“Ｈ”にする。第１フレームでは、Ｌ１，Ｌ５，Ｌ９、Ｌ１３が“Ｈ”になる。

次に、ライン群走査シフトレジスタ２５２は、タイミング発生回路２１２から供給されたデータシフト用クロックＣＫ−Ｌ２およびデータＤａｔａ−Ｌ２が与えられる。ここでは、データＤａｔａ−Ｌ２として、データラッチ用クロックＣＫ−Ｌ３の４サイクル分を１周期として、１サイクル期間（データシフト用クロックＣＫ−Ｌ２の４パルス分）は“Ｈ”、続く３サイクル期間は“Ｌ”となるデータが与えられるものとする。これにより、Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６は図１８のようになる。

図１９はセレクタ２０７の出力を示すタイミングチャートである。セレクタ２０７は、選択信号ｓｅｌ−Ｈ／Ｌが“Ｈ”のときはプログレッシブ走査用シフトレジスタ２０６の出力を選択し、“Ｌ”のときは飛び越し走査用シフトレジスタ２０５の出力を選択する。これにより、図１８に示した一連の動作の結果、各ラインＳＴＲ１〜ＳＴＲ１６に対して図１９に示すような出力が得られる。

ここで、飛び越しライン数を任意に変更するためには、タイミング発生回路２１２の出力であるデータＤａｔａ−Ｌ２、データシフト用クロックＣＫ−Ｌ２およびデータラッチ用クロックＣＫ−Ｌ３を変更すればよい。また、プログレッシブ走査の連続するライン数を任意に変更するためには、これもまたタイミング発生回路２１２の出力である選択信号ｓｅｌ−Ｈ／Ｌにおける“Ｈ”期間を変更すればよい。このように、飛び越しライン数やプログレッシブ走査の連続するライン数は回路構成によって一意に決定されるものではなく、本参考例では、自由に動作モードが設定でき、自由度のある駆動が可能となっている。

また、水平読み出し期間における１ラインの読み出しは、次のように行われる。水平シフトレジスタ２１０は、タイミング発生回路２１２から供給された、１水平期間の選択信号ＨＳＥＬと水平転送クロックＨｃｋを受け、これに応じて、セレクトトランジスタ群２０９における各トランジスタＣ１〜Ｃ１６にパルスを次々に供給する。この結果、ラインＳＴＲ１〜ＳＴＲ１６のうちセレクタ２０７の出力によって選択されたラインから、蓄積単位画素２２１の蓄積容量Ｃ−ｓｔｒに蓄えられていた信号電荷が、順次、出力アンプ２１１を介して外部信号処理回路（ここでは図示せず）に転送され、読み出しが完了する。

図８の構成にもどり、画素密度混在撮像部１０２からプログレッシブ読み出しされた画素値は、高解像度画像ＨＷＦ（ｔ）として高像度ウインドウメモリ１０５に一時的に蓄積される。また、画素密度混在撮像部１０２から飛び越しライン読み出しされた画素値は、間引き回路１１５によってＨ方向に１／４に間引きされた後、低解像度フレームメモリ１０３に１フレーム画面として一時的に蓄積される。この間引きは、図１０および図１１の例では、Ｈ方向の画素番号（２，６，１０，１４）のみの画素値を通過させ、他は読み捨てる動作によって、実現される。

ここで、図１０の読み出し動作の場合には、このままでは、１フレームのうち、ウインドウ領域における低解像度画像が欠落することになる。このため、低解像度変換部１０６が高解像度画像ＨＷＦ（ｔ）に対してサンプリング処理などの画像処理を行い、低解像度フレームメモリ１０３における当該位置に格納する。例えば図１０の例では、ウインドウ領域の下辺をＶ方向の原点基準にして、座標（Ｖ，Ｈ）＝（２，３）、（６，３）、（１０，３）、（１４，３）の位置にある特定画素のサンプリングを、行えばよい。

低解像度フレームメモリ１０３に蓄積された、縦横１／４×１／４に間引きされた低解像度画像ＬＦ（ｔ）は、逐次、フレーム毎に低解像度動画データ記録部１０４によって記録される。この際に、既存の動画データ圧縮方式を適用することは任意である。

高解像度ウインドウメモリ１０５に蓄積された高解像度画像ＨＷＦ（ｔ）の輝度成分は、テクスチャ変換部１０７に入力され、ウェーブレット変換などの多重解像度変換によって、輝度画像のテクスチャ特徴量に変換される。一方、低解像度変換部１０６から出力された低解像度画像の輝度成分は、画像サイズ補正・テクスチャ変換部１１２に入力される。画像サイズ補正・テクスチャ変換部１１２では、低解像度画像を一旦、高解像度画像と同じ画素数に戻した上で、ウェーブレット変換などの多重解像度変換を実施し、輝度画像のテクスチャ特徴量に変換する。ここで画像サイズ補正の手法は任意であるが、バイリニア補間、バイキュービック補間などの手法を用いることができる。ここで用いた画像サイズ補正手法は、後で動画データ高解像表示の際に低解像度画像から高解像度化する場合の前処理として利用される。

図２０はテクスチャ変換処理を概念的に示す図である。図２０において、２００１はウインドウ領域における高解像度画像であり、ここでは正方形のウインドウ領域を想定している。２００２は高解像度画像２００１をウェーブレット変換して得た複数階層からなるウェーブレット係数画像である。また２００３は低解像度画像であり、２００４は画素サイズ補正により高解像度画像２００１と画素数を一致させた画像、２００５は画像２００４から得たウェーブレット係数画像である。画像２００１を鮮鋭化画像、画像２００４をボケ画像と呼ぶものとすると、２００６および２００７はそれぞれ、鮮鋭化画像２００１とボケ画像２００４での画素位置ＰＰにおける１６次元の成分を持つテクスチャ特徴量である。

学習（撮像）時には、テクスチャ特徴量２００６，２００７の関係を学習して、低解像度のテクスチャ特徴量２００７から高解像度のテクスチャ特徴量２００６への変換ルールを高解像度化パラメータとして得る。そして高解像度化においては、低解像度画像２００３を入力し、画素サイズ補正を行うことによってボケ画像２００４を得て、学習した高解像度化パラメータを適用することにより、高解像度画像２００１を得る。なお、ここでの説明では、学習した画像自身を用いて高解像度化を実施しているため理想的な高解像度化が実現されているが、実際には、未学習の画像が対象となることが多く、必ずしも理想的な高解像度画像にまで復元するわけではない。ところが本発明では、撮像時に一緒に、被写体の一部のウインドウ領域において高解像度化パラメータを学習するので、類似した被写体を予め学習して高解像度化パラメータを得る方法よりも、数段性能の高い高解像度化が実現できる。

テクスチャ学習部１０８は、テクスチャ変換部１０７および画像サイズ補正・テクスチャ変換部１１２から出力されたテクスチャ特徴量相互の関係を学習し、分析コードブックと再生コードブックを作成して高解像度化パラメータを生成する。この手法について、図２１を用いて説明する。

ここでは、ボケ画像と鮮鋭化画像はともに１００画素からなるものとする。ボケ画像と鮮鋭化画像について、それぞれ、画素位置ごとに、多重解像度ベクトルＵ１〜Ｕ１００、Ｖ１〜Ｖ１００に変換する。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したとき対応するＶを出力するように作成すればよい。ただし、実際には、各多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。

図２１の例では、ベクトルＵは２１０１と２１０２の２種に量子化され、ベクトルＶは２１０３と２１０４の２種に量子化されている。分析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合２１０３には代表ベクトルＺ１が、量子化集合２１０４には代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。本発明では、ここで述べたコードブックが時刻ｔの関数としてフレーム毎に計算され、高解像度化パラメータＰ（ｔ）となる。

次に、ベクトル番号から量子化インデックス（１または２）を出力する分析コードブックＩＧと、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＩＦとが生成される。このようにして生成した分析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。

以上のようにして求められた分析コードブックと再生コードブックは、高解像度パラメータ記録部１０９により、高解像度化パラメータＤＰとして蓄積される。

図２２は本参考例に係る画像表示部の構成を示す図である。図２２の構成は、図８のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２２の画像表示部３０は、動画入力部３０１、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５、全体制御部３０６およびディスプレイ３０７を備えている。画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって、高解像度化部３１０が構成されている。

まず、図８の画像処理装置１０によって記録された低解像度動画データＤＬＦおよび高解像度化パラメータＤＰが、ネットワーク経由または様々な媒体経由にて、画像表示部３０に入力される。全体制御部３０６は動画データ入力部３０１にコマンドを送り、コマンドを受けた動画データ入力部３０１は、例えば圧縮された低解像度動画データＤＬＦを伸張して読み出す。ここでは、通常のカラー動画データを想定しているので、ＹＣｒＣｂの輝度色差信号が生成されるものとする。読み出された画像は、本来の高解像度画像に比較して画素サイズが１／４×１／４の低解像度であるから、次に画像サイズ補正・テクスチャ変換部３０３が、画像サイズを縦横４倍に拡大してボケ画像を得て、次にカラー信号の輝度成分Ｙと色差ＣｒＣｂ独立にテクスチャ変換する。この動作は、図８の画像サイズ補正・テクスチャ変換部１１２と同様であり、説明は省略する。

次に、全体制御部３０６は高解像度化パラメータ入力部３０５にコマンドを送り、コマンドを受けた高解像度化パラメータ入力部３０５は、高解像度化パラメータＤＰを読み出してテクスチャ置換部３０３に入力する。テクスチャ置換部３０３は、高解像度化パラメータに記載された分析コードブックと再生コードブックを結合して用いることによって、ボケ画像のテクスチャを表現する多重解像度ベクトル（テクスチャ特徴量）を、鮮鋭画像のテクスチャを表現する多重解像度ベクトルに変換する。次に、テクスチャ逆変換部３０４は鮮鋭画像テクスチャ特徴量から高解像度化された輝度画像への変換を行う。そして、高解像度化された輝度Ｙ画像と元の色差ＣｒＣｂ画像とがディスプレイ３０７に入力されて、高解像度画像が動画データとして表示される。

なお、以上の説明は、カラー動画データをＹＣｒＣｂという輝度・色差成分に分離して扱い、各成文を独立に高解像度化する、という考え方に基づく。ただし本発明はこれに限られるものではなく、カラー動画データをＲＧＢ成分で扱い、全成分について独立に高解像度化する方法や、輝度成分しか持たないモノクロ画像を高解像度化する方法を用いてもよい。

また上述のように、本参考例では、低解像度の記録動画データから高解像度の動画データを生成表示可能であるので、カメラ撮影時に蓄積情報量が少なくて済み、消費電力の大きな高解像度動画データ用の超高速撮像素子が不要になる、という利点がある。このため、消費電力に制限のある超小型ビデオカメラなどへの応用が可能になる。この結果、超小型ビデオカメラで撮影した動画データを大画面ディスプレイに高画質拡大表示したり、見たい部分をさらに拡大する等の処理に対応できる、という大きな利点を有する。

（第３の参考例）
図２３は本発明の第３の参考例に係る画像処理装置であって、図８と同様に本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図８の構成との相違は、低解像度フレームメモリ１０３が省かれており、低解像度動画データＤＬＦを記録する低解像度動画記録部１０４の代わりに、画素密度混在圧縮動画データＤＭＣを記録する画素密度混在動画記録部４０１が設けられている点である。すなわち、第２の参考例では低解像度化された動画データを録画していたのに対して、本参考例では、画素密度混在撮像部１０２によって取得した画像をそのまま蓄積する。取得された画素密度混在動画データを、あえて低解像度化することなく有効に用いることによって、高解像度化の性能を向上させることを図っている。

録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および画素密度混在動画記録部４０１に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、画素密度混在動画データＦ（ｔ）を画素密度混在動画記録部４０１に送る。画素密度混在動画記録部４０１は画素密度混在動画データＦ（ｔ）を受け、後述する圧縮などの処理を行い、画素密度混在圧縮動画データＤＭＣとして蓄積メディアやネットワーク上に記録する。

全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。

図２４は画素密度混在圧縮動画データＤＭＣの画像フォーマットを示す図である。ここで説明する処理は、画素密度混在動画記録部４０１が実行する。画素密度混在撮像部１０２によって撮像された画素密度混在撮像動画データＦ（ｔ）では、１フレーム内に画素密度が異なる部分が存在するため、このままでは動画データとして効率的な圧縮ができない。そこで、まず、全体を低解像度化した動画データＬＦ（ｔ）を生成する。これは、第２の参考例などで述べたとおり、画像フィルタ処理によって行えばよい。次に、この低解像度動画データＬＦ（ｔ）を圧縮して、第１の圧縮データとしての低解像度の圧縮動画データＣＬＦ（ｔ）を生成する。これは、既存の動画圧縮手法を用いればよい。

次に、差分動画データＤＦ（ｔ）を生成する。
ＤＦ（ｔ）＝Ｆ（ｔ）−ＬＦ（ｔ） …（式３）
ここで、この差分動画データＤＦ（ｔ）は、高解像度画像を取得したウインドウ領域のみに差分値を持ち、その他の領域では差分値は０であるため、データを持つ面積が小さい。その上、高周波成分を非常に多く含んでいるため、量子化する際の圧縮効率が高くなる。そこで、差分動画データＤＦ（ｔ）を別途圧縮して、第２の圧縮データとしての差分圧縮動画データＣＤＦ（ｔ）を得る。２種類の圧縮動画データＣＬＦ（ｔ），ＣＤＦ（ｔ）をまとめて１つの画像フォーマットとし、これを画素密度混在圧縮データＤＭＣとして記録する。

図２５は本参考例に係る画像表示部の構成を示す図である。図２５の構成は、図２３のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービー付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２５において、図２２と共通の構成要素については同一の符号を付しており、ここでは説明を省略する。図２２と異なるのは、画素密度混在圧縮動画データＤＭＣを入力として用いる点であり、このため、入力された画素密度混在圧縮動画データＤＭＣを差分動画データＤＦ（ｔ）と低解像度動画データＬＦ（ｔ）とに分離するための圧縮動画データ分離部４０２を備えている。また、高解像度ウインドウ生成部４０３、高解像度成分合成部４０４、および合成比決定部４０５を備えている。

圧縮動画データ分離部４０２は、全体制御部３０６からコマンドを受けると、画素密度混在圧縮動画データＤＭＣを分離伸張し、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）を得る。低解像度動画データＬＦ（ｔ）は、図２２と同様に、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって処理され、高解像度画像ＨＦ（ｔ）に変換される。ただし、この高解像度画像ＨＦ（ｔ）は、あくまでも低解像度動画データＬＦ（ｔ）のみから生成されたものであり、これをそのままディスプレイ３０７に表示したのでは、画素密度混在撮像画像Ｆ（ｔ）を録画したことによる利点を利用していないことになる。

そこで、本来撮影された高解像度画像を用いるために、高解像度ウインドウ生成部４０３は、差分動画データＤＦ（ｔ）および低解像度動画データＬＦ（ｔ）を用いて元の画素密度混在撮像画像Ｆ（ｔ）を得て、ウインドウ領域における高解像度画像ＨＷＦ（ｔ）を出力する。そして高解像度成分合成部４０４は、高解像度画像ＨＦ（ｔ），ＨＷＦ（ｔ）を用いて、合成比決定部４０５によって決定された合成比ｍ（ｍ＝０〜１）を用いて重み付け合成を行い、ディスプレイ３０７に表示するための高解像度動画データＨＨＦ(ｔ)を出力する。この重み付け合成は、ウインドウ領域について行われ、ウインドウ領域以外の領域については、テクスチャ置換によって得られた高解像度画像ＨＦ（ｔ）がそのまま用いられる。
ＨＨＦ（ｔ）＝ｍ×ＨＷＦ（ｔ）＋（１−ｍ）×ＨＦ（ｔ） …（式４）

ただし全体制御部３０６は、合成比決定部４０５に合成比ｍを決定する信号を送ることにより、この合成比ｍを変化させることができる。これによって、重み付け合成を行ったウインドウ領域と、それ以外の領域とにおける画像の差を、違和感ないレベルまで低減することができる。

（第４の参考例）
第３の参考例では、高解像度化パラメータの学習は、録画時にビデオムービーカメラ内で実施されるものとした。これに対して本参考例では、高解像度化パラメータの学習を、録画時に実行せず、ネットワーク上のサーバまたは表示装置に実行させるものとする。これにより、カメラ側の処理負荷が軽減されるとともに、表示側において、録画された動画データから高解像度化パラメータを学習しつつ、自由自在な高解像度化が可能になる。

図２６は本参考例に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図２６では、図２３と共通の構成要素には同一の符号を付しており、ここではその説明を省略する。図２３の構成と対比すると、図２６の画像処理装置５１では、高解像度化パラメータを学習する構成が省かれており、ただ単に、画素密度混在撮像部１０２からの出力が画素密度混在圧縮動画データＤＭＣとして記録される。この動画データＤＭＣは、ハードディスクなどの媒体に記録される他、ネットワーク５０１経由で、後述する映像処理サーバ、または画像表示部に送出される。

図２７は本参考例に係る映像処理サーバの構成を示すブロック図である。図２７では、図２３および図２５と共通の構成要素には同一の符号を付しており、ここではその詳細な説明を省略する。図２７の映像処理サーバ５２は、画素密度混在圧縮動画データＤＭＣから高解像化パラメータＤＰを生成する。圧縮動画データ分離部４０２および高解像度ウインドウ生成部４０３によって、動画分離部４１０が構成されている。

図２７に示すように、圧縮動画データ分離部４０２は画素密度混在圧縮動画データＤＭＣを分離伸張し、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）を得る。高解像度ウインドウ生成部４０３は、低解像度動画データＬＦ（ｔ）および差分動画データＤＦ（ｔ）から元の画素密度混在撮像動画データＦ（ｔ）を得て、ウインドウ領域における高解像度画像ＨＷＦ（ｔ）を出力する。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）と低解像度動画データＬＦ（ｔ）とから、高解像度化パラメータＰ（ｔ）を得る。高解像度化パラメータ記録部１０９は、高解像度化パラメータＰ（ｔ）を高解像度化パラメータＤＰとして蓄積、またはネットワーク５０１上に送出する。

本参考例では、高解像度画像の表示は、第３の参考例と同様に、図２５のような構成によって実行されるため、ここでは説明は省略する。

なお、本参考例では、高解像度化パラメータの学習機能は、映像処理サーバにおいて実現されるものとした。このため、動画データの分離伸張機能を、表示部とは別に、映像処理サーバにも設ける必要があった。これに対して、図２７の映像処理サーバと図２５の画像表示部とを合体させたような構成を実現してもよい。これにより、動画データの分離伸張機能を、高解像度化パラメータの学習時と高解像度画像の表示時とにおいて共用することができる。

(第５の参考例)
図２８は本発明の第５の参考例に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図２８の構成は、第２の参考例に係る図８の構成を改良したものであり、図８と共通の構成要素には図８と同一の符号を付しており、ここではその詳細な説明を省略する。

本参考例では、高解像度画像を取得するウインドウ領域の位置を、単に時間経過とともにずらしていくのではなく、撮影する対象の被写体の動きに合わせて、被写体を追跡するように更新していく。これによって、高解像度化パラメータを、注目度の高い被写体の位置から外れない領域において、集中的に学習することができ、高解像度化の精度を向上させることができる。被写体候補の領域は、画像の周波数成分を解析することにより、検出することができる。例えば、空間高周波数成分を最も多く含む部分を、被写体候補領域として定義すればよい。

図２８の構成では、図８と対比すると、前フレーム低解像度フレームメモリ６０１と、低解像度動画データにおいて被写体候補領域の動きを検出し、検出した被写体候補領域の動きに応じてウインドウ領域の位置を移動させるウインドウ位置更新部１６０とが、追加されている。ウインドウ位置更新部１６０は、被写体候補検出部６０２、被写体動き検出部６０３およびウインドウ設定部６０４を備えている。

被写体候補検出部６０２は、前フレーム低解像度フレームメモリ６０１に蓄積された低解像度画像に対して、高周波数成分を保存する画像フィルタ処理を行い、高い周波数パワーを有する領域を被写体候補領域として検出する。被写体動き検出部６０３は、低解像度フレームメモリ１０３に蓄積された現在時刻ｔの低解像度画像と、前フレーム低解像度フレームメモリ６０１に蓄積された時刻ｔ−１の低解像度画像とを用いて、被写体候補検出部６０４によって検出された被写体候補領域について、ブロックマッチング処理によって、動きベクトルを検出する。ウインドウ設定部６０４は、被写体動き検出部６０３によって検出された動きベクトルに基づいて、ウインドウ領域を設定する。

図２９は被写体候補領域の検出処理を示す図である。図２９（Ａ）の入力画像に対して、エッジ検出処理とモザイク処理を実施した結果、周波数パワーの集中度合を濃度で描いた図２９（Ｂ）が得られる。図２９（Ｂ）から最も濃度が高い位置を含む領域をブロックとして選択し、ブロックの連結程度を加味して、図２９（Ｃ）のように被写体候補領域を選択する。この場合、被写体候補領域を含む領域として、図２９（Ｄ）のようにウインドウ領域を決定できる。なお、ここでは、ウインドウ領域を８×２ブロックからなる矩形に設定しているが、ウインドウ領域の形状は、画素密度混在撮像素子の構成に応じて、任意の形状に設定しうる。

求められた被写体候補領域について、連続するフレーム間のブロックマッチング手法により、動きベクトルを計算する。そして得られた動きベクトルに基づいて、次の時刻ｔ＋１におけるウインドウ領域を、位置をずらして設定する。このような処理によって、高解像度画像を取得するウインドウ領域は、注目度の高い被写体を追跡するように設定される。

図３０は本参考例におけるウインドウ領域の設定の一例を示す図である。図３０では、ウインドウ領域２９０３の形状は、図３と同様に横長の矩形としている。被写体２９０１は画面内で時間経過とともに移動しており、各フレームにおいて、被写体２９０１の動きを表す動きベクトル２９０２が検出されている。ウインドウ領域２９０３は、被写体の垂直（Ｖ）方向の動きに合わせて、時間経過とともに移動している。このウインドウ領域２９０３の動きは、図３で示したような走査順でもなければ、隣り合うフレーム間で連続していることもなく、任意である。なお、図１２の画素密度混在撮像部の構成では、プログレッシブ走査用シフトレジスタ２０６からの出力パルスを変化させることによって、ウインドウ領域を垂直Ｖ方向に任意に移動させることができる。さらに水平Ｈ方向については、不要な画素を読み捨てることによって、任意形状のウインドウ領域を設定することができる。

（本発明の実施形態）
図３１は本発明の実施形態に係る画像処理装置であって、本発明をビデオムービーカメラに応用した構成例を示すブロック図である。図３１の構成は、第２の参考例に係る図８の構成を改良したものであり、図８と共通の構成要素には図８と同一の符号を付しており、ここではその詳細な説明を省略する。

本実施形態では、低解像度動画データと高解像度化パラメータを、拡散反射成分と鏡面反射成分とに分けて、取得するようにしている。すなわち、低解像度動画記録部１０４は、拡散反射成分低解像度動画データＤＬＦ１および鏡面反射成分低解像度動画データＤＬＦ２を記録し、高解像度化パラメータ記録部１０９は、拡散反射成分高解像度化パラメータＤＰ１および鏡面反射成分高解像度化パラメータＤＰ２を記録する。また、図８の画素密度混在撮像部１０２に代えて、偏光フィルタ付き画素密度混在撮像部７０１が設けられている。

すなわち、本実施形態では、通常のカラーの３板でなく４個の撮像素子を用いて、被写体の鏡面反射成分と拡散反射成分とを分離して別個に記録し、別個に高解像度化し、最後に画像を合成する。被写体の物理反射光学特性は、表面の輝度から鏡面反射成分と拡散反射成分の分離を行うことによって取得することができ、この結果、被写体表面の粗さ特性と表面のアルベドなど材質固有の反射率特性が分離して得られるため、被写体の表面の質感を向上させる場合に非常に有効である。そこで、鏡面反射成分と拡散反射成分とについてそれぞれ高解像度化を実施することによって、被写体の表面質感をより向上させることが期待できる。

鏡面反射成分と拡散反射成分の分離には様々な方式があるが、ここでは照明に特別な条件をあたえることなく、カメラレンズ前に偏光板を設置し、その偏光軸をずらして撮影した２枚の画像だけから分離する手法を用いる。本手法に関しては、梅山伸二、「物体の見えからの拡散／鏡面反射成分の分離−偏光フィルタを介した多重観測と確率的独立性を用いて−」、画像の認識、理解シンポジウム（ＭＩＲＵ２００２）（Ｉ−４６９〜４７６ページ）などに詳しく説明されており、ここでは処理内容の詳細な説明を省略し、撮像部の構成のみについて述べる。

図３２は画像処理装置としての偏光フィルタ付き画素密度混在撮像部７０１の構成を示す図である。図３２に示すように、偏光フィルタ付き画素密度混在撮像部７０１は、４分割プリズム７１１、レッド用画素密度混在撮像素子７１２、ブルー用画素密度混在撮像素子７１３、第１の偏光板７１４、第１のグリーン用画素密度混在撮像素子７１５、第２の偏光板７１６、および第２のグリーン用画素密度混在撮像素子７１７、鏡面拡散反射成分分離部７１８および照明光推定部７１９を備えている。この構成では、非常にコントラストの高い鏡面反射成分を取得するため、ダイナミックレンジの広い画素密度混在撮像素子を用いることが望ましい。

４分割プリズム７１１の境界面には、多層膜干渉フィルタなどが挟み込まれて用いられている。入射光は、第１回目の境界反射でＧ（グリーン）光とＭ（マゼンタ）光に分離され、次に第２回目の反射でＭ光はＲ（レッド）光とＢ（ブルー）光に分離され、それぞれがレッド用画素密度混在撮像素子７１２、ブルー用画素密度混在撮像素子７１３に導かれる。一方、Ｇ光は、第２回目の反射で、第１の偏光板７１４を通り、第１のグリーン用画素密度混在撮像素子７１５に入るｇ１光と、第２の偏光板７１６を通り、第２のグリーン用画素密度混在撮像素子７１７に入るｇ２光とに分離される。第１の偏光板７１４と第２の偏光板７１６は、ともに偏光主軸成分だけを透過させるが、偏光軸が互いにずれており、これにより、第１のグリーン用画素密度混在撮像素子７１５と第２のグリーン用画素密度混在撮像素子７１７とでは、異なる画像が取得される。偏光板を透過したｇ１光、ｇ２光は、元のＧ光とは別の光である。

ｇ１光とｇ２光は、鏡面拡散反射成分分離部７１８において、元のＧ光の鏡面成分Ｇｓと拡散成分Ｇｄに変換される。ここで、ＧｓとＧｄは次の関係を満たす。
Ｇ＝Ｇｓ＋Ｇｄ …（式５）

一方、照明光推定部７１９は、一般のカメラに搭載されているＡＷＢ（オートホワイトバランス）機能などを用いて、被写体を照明する光に関する情報を取得する。２色性反射モデルが成立する被写体では、鏡面反射成分Ｇｓは照明光のＧ成分そのものであるから、照明光推定部７１９が照明の色成分（Ｒ，Ｇ，Ｂ）比率を、Ｇを１として（ＲIL、１、ＢIL）のように推定した場合、レッドＲおよびブルーＢの鏡面反射成分Ｒｓ、Ｂｓは、照明光のレッドＲ、ブルーＢ成分として次のように推定できる。
Ｒｓ＝ＲIL・Ｇｓ
Ｂｓ＝ＢIL・Ｇｓ …（式６）
これらを用いて、Ｒ光，Ｂ光についても、鏡面反射成分と拡散反射成分への分離が次のように可能となる。
Ｒ＝Ｒｓ＋Ｒｄ
Ｂ＝Ｂｓ＋Ｂｄ …（式７）

以上のようにＲＧＢ全てにつき拡散反射成分と鏡面反射成分が推定できるので、これらの反射成分を、通常のマトリクス演算によって、拡散反射成分輝度色差空間（Ｙｄ、Ｃｒｄ，Ｃｂｄ）と鏡面反射成分輝度色差空間（Ｙｓ，Ｃｒｓ，Ｃｂｓ）に変換することができる。

したがって、図３１の構成では、２種類の動画データすなわち、拡散反射成分低解像度動画データＤＬＦ１、鏡面反射成分低解像度動画データＤＬＦ２と、２種類の高解像度化パラメータすなわち、拡散反射成分高解像度化パラメータＤＰ１、鏡面反射成分高解像度化パラメータＤＰ２が得られる。

本来であれば、Ｙ信号を拡散反射成分Ｙｄと鏡面反射成分Ｙｓに分離する場合、ＲＧＢ原色信号それぞれを鏡面反射成分、拡散反射成分に分離して画素密度混在撮像する処理が必要になるため、合計６個の撮像素子が必要になる。ところが本実施形態では、照明光推定部７１９を用いることによって、撮像素子４個で実現することができる。

図３３は本実施形態に係る画像表示部の構成を示す図である。図３３の構成は、図３１のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。第２の参考例における図２２の構成との相違は、拡散反射成分と鏡面反射成分とについて別個に高解像度化を実現し、その後、拡散反射成分鏡面反射成分合成部７０２が、輝度、色差レベルで鏡面反射成分・拡散反射成分を合成する点である。なお、この合成は、テクスチャから逆変換された輝度色差ＹＣｒＣｂ空間、または原色ＲＧＢ空間のいずれで行ってもよい。動画入力部３０１ａ，３０１ｂは図２２の動画入力部３０１と同様に動作し、また、画像サイズ補正・テクスチャ変換部３０２ａ，３０２ｂ、テクスチャ置換部３０３ａ，３０３ｂ、テクスチャ逆変換部３０４ａ，３０４ｂ、高解像度化パラメータ入力部３０５ａ，３０５ｂはそれぞれ、図２２の画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５と同様に動作する。

本実施形態では、拡散反射成分と鏡面反射成分を分離独立した信号と考え、各々別個に高解像度化するので、上述の第２〜第５の参考例と組み合わせて実施することも可能である。また、拡散反射成分低解像度動画データＤＬＦ１および鏡面反射成分低解像度動画データＤＬＦ２を合わせて、単一の画像フォーマットとして蓄積することも可能である。

また本実施の形態では、拡散反射成分と鏡面反射成分の高解像度化の処理を同一方式にて行っているが、実際には同一手法で実施する必要はなく、別方式で扱うことも可能である。例えば、拡散反射成分については既存の補間拡大手法だけを用いる、などの方法も考えられる。

さらに、拡散反射成分と鏡面反射成分を両方とも高解像度化する必要は、必ずしもない。片方のみを高解像度化する場合、拡散反射成分と鏡面反射成分のいずれを選択するかは、対象とする被写体の特性や撮影時の光源環境、さらに高解像度化の目的等によって決めればよい。例えば、工芸品や特殊な表面加工を施した被写体に対して、表面凹凸感をより強調再現したい場合には鏡面反射成分を用い、それらの表面に書いてある印刷の文字などを忠実に再現したい場合は拡散反射成分を用いる、といった方法が考えられる。

図３４は本実施形態における高解像度化を模式的に示す図である。被写体は、表面に凹凸がある球体で文字「ＡＢＣ」が印刷されている物を想定する。図３４において、入力となる低解像度画像３３０１では、文字部に鏡面反射によるハイライト３３０７が入ってしまっている。これを鏡面反射成分３３０２と拡散反射成分３３０３に分離すると、鏡面反射成分３３０２では拡散反射である文字部は消えてしまい、一方、拡散反射成分３３０３ではハイライト部や表面凹凸部が消えてしまう。次に、鏡面反射成分３３０２を高解像度化すると、文字部は消えたまま表面の凹凸や鏡面反射成分が高解像度化された画像３３０４が生成される。また拡散反射成分３３０３を高解像度化すると、鏡面反射やハイライトは無くなり、文字部のみが高解像度化された画像３３０５が生成される。画像３３０４，３３０５から、出力として高解像度画像３３０６を生成することができる。この画像３３０６は、拡散反射成分と鏡面反射成を分離せず、そのまま高解像度化した場合に比較して多くの情報量を有しており、視覚的に良好な結果を得られる。

本発明は、カラー画像を鏡面反射成分と拡散反射成分とに分離する画像処理装置を簡易な構成によって実現することができるので、例えば、動画データの高解像度化において、拡散反射成分と鏡面反射成分を別個に高解像度化する場合に有効である。

本発明の第１の参考例に係る画像処理方法における録画プロセスを示すフローチャートである。 本発明の第１の参考例に係る画像処理方法における高解像度化プロセスを示すフローチャートである。 本発明の第１の参考例における録画プロセスおよび高解像度化プロセスの例を示す概念図である。 図１のステップＳ１３の処理の一例を示すフローチャートである。 図２のステップＳ２３の処理の一例を示すフローチャートである。 図４のステップＳ１３２におけるテクスチャ特徴量への変換手法の一例を示す図である。 変換後のテクスチャ特徴量を示す図である。 本発明の第２の参考例に係る画像処理装置の構成例を示す図である。 図８における画素密度混在撮像部の構成例を示す概念図である。 画素密度混在撮像素子による画素読み出し方法の一例を示す図である。 画素密度混在撮像素子による画素読み出し方法の一例を示す図である。 画素密度混在撮像素子の回路構成の例を示す図である。 図１２の画素密度混在撮像素子における撮像単位画素の回路構成例を示す図である。 図１２の画素密度混在撮像素子における蓄積単位画素の回路構成例を示す図である。 図１２の画素密度混在撮像素子における飛び越し走査用シフトレジスタの回路構成例を示す図である。 図１２〜図１５に示す画素密度混在撮影素子の撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。 図１６の高速Ｖ転送期間における動作を示すタイミングチャートである。 図１６の水平読み出し期間の動作を示すタイミングチャートである。 図１２のセレクタの出力を示すタイミングチャートである。 本発明の第２の参考例におけるテクスチャ変換処理を概念的に示す図である。 分析コードブックおよび再生コードブックの作成手法を示す図である。 本発明の第２の参考例に係る画像表示部の構成を示す図である。 本発明の第３の参考例に係る画像処理装置の構成を示す図である。 本発明の第３の参考例に係る画素密度混在圧縮動画データの画像フォーマットを示す図である。 本発明の第３の参考例に係る画像表示部の構成を示す図である。 本発明の第４の参考例に係る画像処理装置の構成例を示す図である。 本発明の第４の参考例に係る映像処理サーバの構成を示す図である。 本発明の第５の参考例に係る画像処理装置の構成を示す図である。 本発明の第５の参考例における被写体候補領域の検出処理を示す図である。 本発明の第５の参考例におけるウインドウ領域の設定の一例を示す図である。 本発明の実施形態に係る画像処理装置の構成を示す図である。 図３１における偏光フィルタ付き画素密度混在撮像部の構成を示す図である。 本発明の実施形態に係る画像表示部の構成を示す図である。 本発明の実施形態における高解像度化の効果を示す図である。

符号の説明

７０１ 偏光フィルタ付き画素密度混在撮像部（画像処理装置）
７１９ 照明光推定部

Claims (3)

1. カラー画像を撮像し、鏡面反射成分と拡散反射成分とに分離して出力する画像処理装置であって、
   撮像したカラー画像から、複数の原色成分を分離し、
   前記複数の原色成分のうちの１つのみについて、鏡面反射成分と拡散反射成分とに分離し、
   この分離した鏡面反射成分および拡散反射成分を用いて、前記カラー画像の鏡面反射成分と拡散反射成分を得る
   ことを特徴とする画像処理装置。
2. 請求項１において、
   前記複数の原色成分は、レッド、グリーン、およびブルーであり、
   鏡面反射成分と拡散反射成分とに分離する前記１つの原色成分は、グリーンである
   ことを特徴とする画像処理装置。
3. 請求項１において、
   照明光の色成分比率を推定する照明光推定部を備え、
   前記１つの原色成分から分離した鏡面反射成分と、前記照明光推定部によって推定された照明光の色成分比率とを用いて、残りの原色成分における鏡面反射成分を算出し、
   前記残りの原色成分における拡散反射成分を、算出した鏡面反射成分を用いて、算出する
   ことを特徴とする画像処理装置。