JP2020021991A - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】高解像度の動画像を再現可能な低解像度の動画像を送信することができる画像処理装置、画像処理装置の制御方法およびプログラムを提供する。【解決手段】画像処理装置は、送信部２９において、動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素を選択する選択手段２０、２１と、前記選択された画素のデータと前記選択された画素の位置を示す位置情報を送信する送信手段２２とを有する。【選択図】図２

Description

本発明は、画像処理装置、画像処理装置の制御方法およびプログラムに関するものである。

非圧縮にて動画像を伝送する伝送規格が定められ、伝送規格に沿った伝送路が使用されている。例えば、ＨＤＭＩ（登録商標）規格におけるＶ１．３およびＶ１．４規格は、伝送帯域が１０．２Ｇｂｐｓであり、４ｋ（３８４０×２１６０）解像度で３０Ｐ（３０Ｈｚのプログレッシブ）信号までの伝送ができる。これに対し、ＨＤＭＩ規格におけるＶ２．０規格では、伝送帯域が１８Ｇｂｐｓとなり、４ｋ（３８４０×２１６０）解像度で６０Ｐ（６０Ｈｚのプログレッシブ）信号までの伝送ができる。

ここで、さらに、４ｋを超える解像度または６０Ｐを超えるフレームレートを実現するには、伝送路の帯域をもっと上げる必要がある。しかしながら、既に６００ＭＨｚという高周波帯域での伝送になっているので、これを超える帯域の画像信号を送信および受信することができるＩＣを実現するのは難しくなっている。また、帯域が高いほど、送受信機間をつなぐ伝送路における信号品質を示すアイパターンを確保するのが難しくなっており、動画像の乱れが発生しやすくなってしまう。

そこで、伝送帯域を上げずに高解像度の動画像を伝送する方法が開示されている。たとえば、特許文献１では、４方向にシフトした低解像度画像を伝送し、通常は動画像として視聴し、静止画記録を行う時に、４枚の低解像度画像を組み合わせて、１枚の高解像度画像を得る。また、特許文献２では、低解像度の動画部分と高解像度の静止画部分に分けて送信し、受信側において、動画部分は拡大処理を行い、静止画部分は複数フレームから合成処理を行うことで、高解像度の動画像を得る。

特開２０１２−１７５６０４号公報 特開２０１０−１３０５４４号公報

しかし、特許文献１では、静止領域だけでなく動いている領域においても、４枚の画像から合成を行うので、動きブレと呼ばれる２〜４重にぶれたように見える妨害が発生するという課題がある。

特許文献２では、このような動きブレは発生しないが、静止領域と動いている領域を区別するための付加情報を伝送する必要がある。区分するブロックの大きさを大きくすると、静止画領域と動画領域が混在してしまうので、画質が劣化する。区分するブロックの大きさを十分に細かくすると、付加情報が増えてしまうので、高解像度の伝送帯域の複数分の１の伝送帯域で送ることはできなくなるという課題がある。

本発明の目的は、高解像度の動画像を再現可能な動画像を送信することができる画像処理装置、あるいは画像処理装置の制御方法およびプログラムを提供することである。

本発明の画像処理装置は、動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素を選択する選択手段と、前記選択された画素のデータと前記選択された画素の位置を示す位置情報を送信する送信手段とを有する。

本発明によれば、動画像と位置情報を送信することにより、高解像度の動画像を再現することができる。

画像処理装置の処理を示す説明図である。 画像処理装置のハードウェア構成例を示すブロック図である。 ブロックごとに動画、静止画または混在を指定する方法の説明図である。 画像処理装置のハードウェア構成例を示すブロック図である。 ＨＤ解像度のデジタル放送において４ｋ解像度の放送を行う説明図である。 放送側の詳細なブロック図である。 受信機側の詳細なブロック図である。 動画像出力機と投影装置のブロック図である。 動画像撮影装置の構成例を示すブロック図である。 画像処理装置の構成例を示すブロック図である。 画像録画装置の構成例を示すブロック図である。

（第１の実施形態）
図１と図２を用いて、本発明の第１実施形態を説明する。図１は、本発明の第１の実施形態による画像処理装置１の処理を説明するための図である。画像処理装置１は、送信部２と受信部３とを有する。画像処理装置１は、画像を構成する画素のうち、縦および横方向に２画素の計４画素ずつを画素セットとして処理を行う。画素セットは、左上画素（ＵＬ）、右上画素（ＵＲ）、左下画素（ＬＬ）、右下画素（ＬＲ）の４画素として構成されている。画素セットは、各色の隣接する複数の画素からなる画素グループである。画像は、フレーム０、フレーム１、フレーム２、フレーム３、フレーム４を有する。

図１では、送信部２がフレーム４を送信処理する場合を示す。送信部２は、フレーム４の４個の左上画素（ＵＬ）、右上画素（ＵＲ）、左下画素（ＬＬ）、右下画素（ＬＲ）の画素セットのうち、例として左上画素１５のデータを送信する。なお、送信部２は、フレーム４の開始時に、位置フラグ１９を送信する。この位置フラグ１９についての詳細は後述する。フレーム４における位置フラグ１９は、左上画素（ＵＬ）を示すものである。送信部２は、画像内の各画素セットの左上画素（ＵＬ）１５のデータのみを送信する。したがって、１フレーム当たりの送信画素数は、１フレームの画素数の４分の１であり、通信路の必要とする帯域は、１フレームの全画素を送信する場合の４分の１である。

送信部２は、４画素の画素セットのうちの左上画素（ＵＬ）１５のデータのみを送信する。したがって、送信部２は、１フレームの画像データを縦および横方向ともに２分の１の解像度の帯域で送信する。なお、画素セットの画素数と送信する画素数は、上記に限定されない。送信する画素数は、画素セットの画素数に対して、縦および横方向で異なる比率であってもよく、３分の１や４分の１とすることができる。整数分の１で無い場合は、あらかじめ縮小処理あるいは拡大処理を行うことによって整数倍とすればよい。

上記では、フレーム４の場合を説明した。次に、各フレームの場合を説明する。まず、送信部２は、フレーム０では、左上画素（ＵＬ）を示す位置フラグ１９と、フレーム０の各画素セットの左上画素（ＵＬ）１１のデータを送信する。次に、送信部２は、フレーム１では、右上画素（ＵＲ）を示す位置フラグ１９と、フレーム１の各画素セットの右上画素（ＵＲ）１２のデータを送信する。次に、送信部２は、フレーム２では、左下画素（ＬＬ）を示す位置フラグ１９と、フレーム２の各画素セットの左下画素（ＬＬ）１３のデータを送信する。次に、送信部２は、フレーム３では、右下画素（ＬＲ）を示す位置フラグ１９と、フレーム３の各画素セットの右下画素（ＬＲ）１４のデータを送信する。次に、送信部２は、フレーム４では、左上画素（ＵＬ）を示す位置フラグ１９と、フレーム４の各画素セットの左上画素（ＵＬ）１５のデータを送信する。以下、同様に、送信部２は、フレームごとに、画素セット内の４画素を順に送信する。

受信部３は、フレーム０の各画素セットの左上画素（ＵＬ）１１と、フレーム１の各画素セットの右上画素（ＵＲ）１２と、フレーム２の各画素セットの左下画素（ＬＬ）１３と、フレーム３の各画素セットの右下画素（ＬＲ）１４のデータをそれぞれ受信する。受信部３は、フレーム０の各画素セットの左上画素（ＵＬ）１１と、フレーム１の右上画素（ＵＲ）１２と、フレーム２の左下画素（ＬＬ）１３と、フレーム３の右下画素（ＬＲ）１４の画素セットのデータを記憶する。

受信部３は、フレーム４では、左上画素（ＵＬ）を示す位置フラグ１９と、フレーム４の各画素セットの左上画素（ＵＬ）１５のデータを受信する。受信部３は、受信したフレーム４の各画素セットの左上画素（ＵＬ）１５のデータと、過去に受信して記憶しているフレーム０の各画素セットの左上画素（ＵＬ）１１のデータとを比較し、両者のデータがほぼ同じであるか否かを判定する。ほぼ同じとは、例えば、ＲＧＢ画素値のすべてが数％以内の差であることを意味する。また上記の判定においては、ノイズの影響を無くすために、例えば、一画素のみ判定が異なる孤立点は除去する。

また、受信部３は、１フレームの画像を分割した領域ごとに、フレーム４の各画素セットの左上画素（ＵＬ）１５のデータと、フレーム０の各画素セットの左上画素（ＵＬ）１１のデータとを比較することが望ましい。領域は、例えば、縦横が５画素セット×５画素セットである。受信部３は、領域内の各画素セットの判定数の割合で、その領域を判定することが好ましい。

例えば、受信部３は、フレーム４の左上画素（ＵＬ）１５のデータと、フレーム０の左上画素（ＵＬ）１１のデータとの差分が第１の閾値以上であるか否かを判定する。画素データが２５６階調である場合、第１の閾値は、例えば１２である。受信部３は、上記の差分が１２未満であれば、対象領域が静止画領域であると判定し、上記の差分が１２以上であれば、対象領域が動画領域であると判定する。第１の閾値は、固定値ではなく可変値としておき、画像の種類（自然画、グラフィックス、アニメーション、映画など）によって、変更するのが好ましい。また、第１の閾値は、テレビ等の表示装置の表示モードによって変更してもよいし、フレームごとの画像におけるヒストグラムや動き量などの特徴量によって、変更できるようにしておくのが望ましい。

まず、受信部３がフレーム４の左上画素（ＵＬ）１５が静止画領域内にあると判定した場合を説明する。その場合、受信部３は、フレーム４の左上画素１５を画素セットの左上画素とし、フレーム１の右上画素１２を画素セット内の右上画素として、フレーム２の左下画素１３を画素セット内の左下画素とし、フレーム３の右上画素１４を画素セット内の右下画素とする。このようにすることで受信部３は、現在のフレームの１画素と過去のフレームの３画素からなる４画素の画素セットを、静止画部分として再現できる。

次に、受信部３がフレーム４の左上画素（ＵＬ）１５が動画領域内にあると判定した場合を説明する。受信部３は、対象画素セット内のフレーム４の左上画素１５以外の３画素１８のデータを、対象画素セットに隣接する画素セット内のフレーム４の左上画素１５のデータの画素補間により生成する。画素補間の方法については、例えば、周囲の４個の左上画素１５から補間する線形補間を用いるか、周囲の１６個の左上画素１５から補間するキュービック補間を用いることで、補間画素１８のデータを生成できる。あるいは、周囲の４個の左上画素１５から品位の良い補間結果が得られる区分線形補間を用いてもよい。あるいは、超解像と呼ばれる方法を用いても良く、超解像による補間方法としては、データベースを用いて補間するものや、空間周波数ごとに補間処理を変える方法がある。超解像を用いれば、動画部分においても、よい画質が得られるので好適である。このようにすることで受信部３は、現在のフレームの１画素と補間で得た３画素とからなる４画素の画素セットを、動画部分として再現できる。

なお、上記の説明では、受信部３は、対象領域が静止画領域と動画領域のどちらであるのかを判定したが、その判定値は中間値を含むようにすることが可能である。受信部３は、判定値を０．０から１．０までの値とし、その判定値によって、過去のフレームの画素データと補間の画素データから混合処理することにより、画素セットを再現してもよい。最後に、受信部３は、フレーム０の左上画素１１のデータの代わりに、フレーム４の左上画素１５のデータを記憶して、次のフレームの処理に備える。

上記では、フレーム４の場合の受信処理を説明したが、他のフレームの受信処理も同様である。フレーム５の場合、送信部２は、画素セットの中の右上画素を選択して送信し、受信部３は、フレーム５の右上画素データとフレーム１の右上画素データとの差分を第１の閾値と比較する。フレーム６の場合、送信部２は、画素セットの中の左下画素を選択して送信し、受信部３は、フレーム６の左下画素データとフレーム２の左下画素データとの差分を第１の閾値と比較する。フレーム７の場合、送信部２は、画素セットの中の右下画素を選択して送信し、受信部３は、フレーム７の右下画素データとフレーム３の右下画素データとの差分を第１の閾値と比較する。

このように、通信帯域は、１フレームの全画素データ量の４分の１である。受信部３は、静止画領域では過去のフレームの画素１２〜１４を用い、動画領域では現在のフレームの他の画素セットの画素１５から超解像拡大（補間）することで、ボケやブレのない高解像度の動画像を復元できる。例えば、送信部２は、ＦＨＤ帯域の通信路を用いて、ボケやブレのない４ｋの動画像を送信したり、４ｋ帯域の通信路を用いて、ボケやブレのない８ｋの動画像を送信することが可能になる。

図２は、本実施形態による画像処理装置１のハードウェア構成例を示すブロック図である。ただし、図２のブロックの少なくとも一部がソフトウェアによって実現されるようにしてもよい。画像処理装置１は、送信部２９と受信部３０とを有する。送信部２９は図１の送信部２に対応し、受信部３０は図１の受信部３に対応する。図２のハードウェア構成あるいはソフトウェアによって、図１で説明した処理が行われる。

送信部２９は、画素配列変換部２０と、部分選択処理部２１と、送信処理部２２とを有する。画素配列変換部２０は、ＲＧＢ信号、ＹＰｂＰｒ信号またはデュアルグリーン信号（詳細は後述する）の動画像データを入力し、動画像データの各フレームの画素配列を処理単位の画素セットの配列に変換する。画素セットは、例えば４画素である。部分選択処理部２１は、各画素セットから１画素を選択する。例えば、部分選択処理部２１は、フレーム０では左上画素１１を選択し、フレーム１では右上画素１２を選択し、フレーム２では左下画素１３を選択し、フレーム３では右下画素１４を選択する。送信処理部２２は、各フレームで選択する画素位置を示す位置フラグ１９と、選択した画素のデータを画素セットごとに送信する。

受信部３０は、受信処理部２３と、記憶部２４と、比較処理部２５と、補間処理部２６と、選択処理部２７と、合成処理部２８とを有する。受信処理部２３は、送信部２９が送信した位置フラグ１９と、各画素セットで選択した画素のデータをフレームごとに受信する。記憶部２４は、受信処理部２３が受信した画素データを記憶する。比較処理部２５は、現在のフレームの画素データおよび過去のフレームの画素データの差分と第１の閾値とを比較する。例えば、比較処理部２５は、フレーム４の左上画素１５のデータおよびフレーム０の左上画素１１のデータの差分と第１の閾値とを比較する。補間処理部２６は、現在のフレームの対象画素セットの周囲の画素セットの画素データから画素補間を行う。選択処理部２７は、比較処理部２５の判定結果によって、記憶部２４が記憶する過去のフレームの画素データ、または補間処理部１６の補間画素データを選択する。合成処理部２８は、受信処理部２３が受信した画素データと、選択処理部２７が選択した画素データとを合成して、画素セットを再現する。

次に、送信部２９における動作を説明する。画素配列変換部２０は、ライン状の画素配列から、縦横２画素ずつの４画素セットを一つの単位とする画素配列に変換する。ここで、もし最初からこのような４画素セットの画素配列になっている場合には、画素配列変換部２０の処理は不要である。

部分選択処理部２１は、位置フラグ１９に基づいて、４画素セットから１画素のデータを選択する。位置フラグ１９は、フレームごとに異なる位置を示すようなフラグである。部分選択処理部２１は、位置フラグ１９を外部から入力してもよいし、内部でカウンタを用いて位置フラグ１９を生成してもよい。部分選択処理部２１は、１フレームの全画素データの１／４の画素データを出力する。

送信処理部２２は、部分選択処理部２１で用いた位置フラグ１９を各フレームの先頭で送信し、その後、各フレームで部分選択処理部２１が選択した画素データを送信する。位置フラグ１９をどのようにフレーム内の情報とするかについては、後述する。

次に、受信部３０における動作を説明する。受信処理部２３は、位置フラグ１９と画素データを分離し、位置フラグ１９と画素データを、比較処理部２５と記憶部２４と補間処理部２６と合成処理部２８に出力する。

比較処理部２５は、受信処理部２３から入力した現在のフレームの対象画素セットの選択画素データと、それと同じ位置に対応する、記憶部２４から入力した過去のフレームの対象画素セットの選択画素データとの差分が第１の閾値以上であるか否かを判定する。比較処理部２５は、上記の差分が第１の閾値以上である場合には、対象画素セットが動画領域であると判定し、上記の差分が第１の閾値未満である場合には、対象画素セットが静止画領域であると判定する。さらに、比較処理部２５は、１フレーム画像を分割した領域ごとに、領域内の複数の画素セットの各々が動画領域と静止画領域のいずれであるのかの割合に応じて、各領域が動画領域と静止画領域のいずれであるのかを判定する。

補間処理部２６は、現在のフレームの対象画素セットの選択画素１５のデータと、その周囲の画素セットの選択画素１５のデータとを用いて画素補間し、画素セット内の受信していない３個の画素１８のデータを生成する。

選択処理部２７は、比較処理部２５により対象領域が静止画領域であると判定した場合には、記憶部２４に記憶されている対象領域内の画素セットで現在のフレームの選択画素１５以外の過去のフレームの３個の画素１２〜１４のデータを選択する。また、選択処理部２７は、比較処理部２５により対象領域が動画領域であると判定した場合には、補間処理部２６により補間された３個の画素１８のデータを選択する。

なお、比較処理部２５で、動画か静止画を１または０で決めずに、動画部分と静止画部分の割合の値（０〜１．０）を出力し、選択処理部２７で、記憶部２４からの３画素のデータと補間処理部からの３画素のデータを、画素ごとに混合処理しても良い。

合成処理部２８は、受信処理部２３が受信した現在のフレームの１個の画素１５のデータと、選択処理部２７が選択ないし混合した３個の画素データを合成し、１個の画素セットを作成する。例えば、合成処理部２８は、静止画領域では、現在のフレームの１個の画素１５のデータと、過去のフレームの３個の画素１２〜１４のデータとを合成し、１個の画素セットを再現する。また、合成処理部２８は、動画領域では、現在のフレームの１個の画素１５のデータと、補間された３個の画素１８のデータとを合成し、１個の画素セットを再現する。合成処理部２８は、１フレーム内の各画素セットを領域ごとに再現することにより、全体の動画像データをフレーム単位で再現し、通常の動画像データの順番に組み直して出力する。

次に、位置フラグ１９についての詳細を説明する。送信処理部２２は、フレームごとに、画素セット内で選択する画素の位置を示す位置フラグ１９を送信する。例えば、送信処理部２２は、データイネーブル（ＤＥ）の前の、使用していない画素データ部に以下のような順番で位置フラグ１９を送信する。なお、送信フラグ１９は、他の送信方法でもよい。また、位置フラグ１９は、必ず全てのフレームで送信する必要はなく、受信部３０は、位置フラグ１９がない場合は、前フレームまでの位置フラグ１９のパターンによって、現フレームの位置フラグを判断する。また、受信部３０は、規格等により位置フラグ１９の順番を決めている場合には、それに従えばよい。

次に、位置フラグ１９の一例を以下に挙げる。例えば、位置フラグ１９は、「合計画素数、横幅数、縦幅数、位置」の情報を有する。例えば、「合計画素数」は、画素セット内で送信する合計画素数であり、例えば４である。「横幅数」は、画素セットの横幅数であり、例えば２である。「縦幅数」は、画素セットの縦幅数であり、例えば２である。「位置」は、画素セット内で選択する画素の位置であり、１〜４の値である。画素位置と１〜４の値の関係は、送受信機で一致するように予め決めておく。

送信部２９は、合計画素数が４である場合、それと同じ数のフレーム数（４フレーム）を用いて、画素セット内のすべての位置の画素を送信することになる。４フレーム単位の位置フラグ１９は、以下の４種類となる。

選択画素がＵＬの時：位置フラグ１９は「４、２、２、１」
選択画素がＵＲの時：位置フラグ１９は「４、２、２、２」
選択画素がＬＬの時：位置フラグ１９は「４、２、２、３」
選択画素がＬＲの時：位置フラグ１９は「４、２、２、４」

送信部２９は、これらの４種類の位置フラグ１９を４フレームごとに繰り返し、画素データと一緒に送信する。また、位置フラグ１９の別の例として、各位置フラグ１９の前に、以下のようなキャラクタコードを付けてもよい。位置フラグ１９の前にキャラクタコードがついている方が、位置フラグ１９の可読性がよい利点がある。
Ｇ４＿Ｈ２＿Ｖ２＿Ｐ０＿

データイネーブル（ＤＥ）以降の画素データの枠で位置フラグ１９を送信する時は、その部分の画素データが損なわれるので、最初の数フレームのみ位置フラグ１９の全ビットを送信し、その後は位置フラグ１９の下位４ビットのみ送信してもよい。

データイネーブル（ＤＥ）以降に位置フラグ１９を送信する場合には、位置フラグ１９なのか画素データなのか不明であるので、画素データと区別するために、位置フラグ１９の前後に特殊番号を付ける。例えば、特殊番号＝「５Ａ」とすると、位置フラグ１９は、以下のようになる。

選択画素がＵＬの時：位置フラグ１９は「５、Ａ、４、２、２、１、５、Ａ」
選択画素がＵＲの時：位置フラグ１９は「５、Ａ、４、２、２、２、５、Ａ」
選択画素がＬＬの時：位置フラグ１９は「５、Ａ、４、２、２、３、５、Ａ」
選択画素がＬＲの時：位置フラグ１９は「５、Ａ、４、２、２、４、５、Ａ」

以上、４画素セット内の４画素の全てを４フレームで送信する場合を説明したが、色画素の種類によって、解像度の異なる場合は、解像度の高い色のみに、本実施形態を適用することができる。４ｋ画像の送受信に主に使われている４２０形式では、ＹＰｂＰｒ信号のうち、Ｙ信号のみが４ｋ解像度を持ち、ＰｂＰｒ信号は縦および横方向に２分の１の解像度しか持たない。この場合は、Ｙ信号のみに本実施形態を適用すればよい。

あるいは、４画素セット内の２画素のみを２フレームで送信してもよい。４画素セット内の斜め方向の２つの画素のみを送信する場合は、画素セット内で送信する合計画素数が２となる。以下、送信部２９がＵＲとＬＬのデータのみを送信する場合の位置フラグ１９を示す。

選択画素がＵＲの時：位置フラグ１９は「２、２、２、３」
選択画素がＬＬの時：位置フラグ１９は「２、２、２、２」

送信部２９は、これらの２種類のＵＲとＬＬのデータをフレーム順に繰り返しながら伝送する。なお、ＵＲとＬＬの組み合わせでなく、ＵＬとＬＲの組み合わせでも同様である。受信部３０は、２フレームで４画素セット内の２画素のデータを、過去のフレームの画素データおよび補間により再現する。受信部３０は、４画素セット中の残る２画素のデータを補間によって生成し、４画素セットの画像信号を再現する。

このように、２画素のデータを２フレームで送信する形式は、８ｋ解像度表示のために使われているデュアルグリーン形式の画像信号を送受信するのに好都合である。デュアルグリーン形式とは、ＲＧＢ画素のうち、Ｇ画素のみは斜めにずらしたＧ１画素とＧ２画素の２つの画素として、Ｒ、Ｇ１、Ｇ２、Ｂ画素の４つの画素で表現する形式である。送信部がＲ、Ｇ１、Ｇ２、Ｂ画素のデータを４ｋの解像度で送信し、受信部が補間により８ｋ解像度に変換して、８ｋで表示するものである。このデュアルグリーン形式の課題は、通信路が４ｋ解像度の１．３３倍の帯域が必要なので、特殊な送受信機が必要になってしまうことである。本実施形態によれば、フレームごとに、Ｇ１画素とＧ２画素のうちＧ１画素のデータのみを送信するフレームと、Ｇ２画素のデータのみを送信するフレームを繰り返せば、通信帯域は４ｋ解像度と同じになる。

なお、本実施形態では、元画像の解像度と通信路の解像度が整数倍の場合を例示したが、整数倍以外も可能である。整数倍以外とする場合には、送信部２９の前段および受信部３０の後段に、スケーラーを追加することで実現できる。なお、受信部３０の後段に追加するスケーラーは、送信部２９の前段に追加するスケーラーに対して逆の特性をもつスケーラーにすることで、画質劣化を最小限に抑えながら、元の動画像を再現できる。このような形態については、第３の実施形態において詳述する。

以上のように、部分選択処理部２１は、動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループ（画素セット）の各々の中のフレームごとに異なる位置の一部の画素を選択する。部分選択処理部２１は、複数の画素グループの各々の中のすべての位置の画素をフレーム順に選択する。送信処理部２２は、部分選択処理部２１により選択された画素のデータと上記の選択された画素の位置を示す位置フラグ（位置情報）１９を送信する。

受信処理部２３は、上記の選択された画素のデータと位置フラグ１９とを受信する。比較処理部２５は、現在のフレームの受信した画素のデータと現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分を第１の閾値と比較する。選択処理部２７は、上記の差分が第１の閾値以上である場合には、現在のフレームの画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータを記憶部２４から入力して選択する。また、選択処理部２７は、上記の差分が第１の閾値未満である場合には、現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて補間された画素データを補間処理部２６から入力して選択する。選択処理部２７は、画素データ生成手段であり、上記の記憶部２４または補間処理部２６から入力した画素データを、現在のフレームの画素グループの中の受信していない画素のデータとして生成する。合成処理部２８は、現在のフレームの受信した画素のデータと、選択処理部２７により生成された画素のデータとを合成する。

本実施形態によれば、送信部２９は、入力画像の解像度に必要とされる帯域よりも狭い帯域の通信路を介して、動画像を送信することができる。入力画像は、通信路の帯域の複数倍の帯域が必要な動画像である。受信部３０は、動画ブレを低減し、高解像度の動画像データを生成することができる。例えば、送信部２９は、４ｋ解像度の６０Ｐの帯域の通信路に、８ｋ解像度の６０Ｐの動画像を送信することができる。

画像処理装置１は、静止画領域と動画領域を分けないで混在することを許す。送信部２９は、入力した高解像度の動画像の複数分の１の帯域の通信路を介して送信することができる。受信部３０は、動画領域と静止画領域を判別することにより、動きブレを低減し、高解像度の動画像を再現することができる。

（第２の実施形態）
第１の実施形態では、例えば、画像全体を静止画領域と動画領域の混在した領域として処理したが、画像を複数のブロックに分割してもよい。画像を静止画ブロックと動画ブロックと混在ブロックに分ければ、混在ブロックのみに対して、動画領域と静止画領域を判定すればよい。静止画ブロックは、静止画領域のみを有するブロックである。動画ブロックは、動画領域のみを有するブロックである。混在ブロックは、動画領域と静止画領域を有するブロックである。

次に、本発明の第２の実施形態として、画像を静止画ブロックと動画ブロックと混在ブロックに分けて処理を行う例を、図３および図４を用いて説明する。図３は、本発明の第２実施形態による画像処理装置１の処理を説明するための図であり、ブロックごとに動画ブロックか静止画ブロックか混在ブロックかを指定する方法を示す。画像３１は、送信部が送信する１フレーム分の画像である。領域３２は、画像３１内における静止領域である。領域３３は、画像３１内における動き領域である。動きフラグ３４は、１フレーム分の動きフラグである。動きフラグ３５は、１ブロックごとの動きフラグである。

送信部は、画像３１を複数のブロックに分割し、ブロックごとに動きフラグ３５を付ける。各ブロックの動きフラグ３５は、現フレームと前フレームとの差異（動き量）により判定する。この判定方法は、第１実施形態における判定方法と同様であるが、ブロック単位で行うところが異なる。

動きフラグ３５の値の例として、以下のようにする。
ブロック全体が静止画の時：動きフラグ３５は「００」
ブロック全体が動画の時：動きフラグ３５は「１１」
ブロック内に動画と静止画が混在する時：動きフラグ３５は「０１」

対象ブロックの動きフラグ３５が「００」の場合、対象ブロックは静止画ブロックである。対象ブロックの動きフラグ３５が「１１」の場合、対象ブロックは動画ブロックである。対象ブロックの動きフラグ３５が「０１」の場合、対象ブロックは混在ブロックである。

動きフラグ３５は、位置フラグ１９と同様に、データイネーブル（ＤＥ）の前の画素データ部あるいは別の部分を用いて、送信することができる。送信部は、縦ブロック数と、横ブロック数と、各ブロックの動きフラグ３５（ブロック数だけ）とを送信する。

受信部は、動きフラグ３５に応じて、異なる処理を行う。受信部は、動きフラグ３５が「００」である場合には、対象ブロックが静止画ブロックであるので、第１の実施形態と同様に、過去フレームの画素データを用いて、対象ブロックを再現する。また、受信部は、動きフラグ３５が「１１」である場合には、対象ブロックが動画ブロックであるので、第１の実施形態と同様に、画素補間により対象ブロックを再現する。

また、受信部は、動きフラグ３５が「０１」である場合には、対象ブロックが混在ブロックであるので、第１実施形態と同様の再現処理を行う。すなわち、受信部は、混在ブロック内を動画領域と静止画領域に分割し、処理を変える。受信部は、静止画領域では、受信していない画素のデータを、過去フレームの画素データを用いて再現し、動画領域では、受信していない画素のデータを、画素補間により再現する。

図４は、本発明の第２の実施形態による画像処理装置１のハードウェア構成例を示すブロック図である。ただし、図４のブロックの少なくとも一部がソフトウェアによって実現されるようにしてもよい。画像処理装置１は、送信部４１と受信部４２とを有する。

送信部４１は、部分選択処理部２１と、送信処理部２２と、動き検出部４３と、フレームメモリ４４とを有する。部分選択処理部２１と送信処理部２２は、図２のものと同様である。動き検出部４３は、動きフラグ３５を生成する。

受信部は、受信処理部２３と、記憶部２４と、補間処理部２６と、選択処理部２７と、合成処理部２８と、比較処理部４５とを有する。受信処理部２３と、記憶部２４と、補間処理部２６と、選択処理部２７と、合成処理部２８とは、図２のものと同様である。比較処理部４５は、動きフラグ３５を用いて比較を行う。

動き検出部４３は、動画像データの現在のフレームを入力する。フレームメモリ４４は、動画像データの前フレームを記憶する。動き検出部４３は、現在のフレームと前フレームとの差異（動き量）を基に、画像を分割した各ブロックが動画ブロックと静止画ブロックと混在ブロックのいずれであるかを判定する。

フレームメモリ４４は、一つ前のフレームを記憶する。動き検出部４３は、現在のフレームと前フレームとの間で、画素データを比較することで動き量を検出する。例えば、動き検出部４３は、各ブロック内の画素において、現在のフレームと前フレームとの間で画素値が変化している画素数の割合が第２の閾値以下の場合には、対象ブロックが静止画ブロックであると判定する。また、動き検出部４３は、各ブロック内の画素において、現在のフレームと前フレームとの間で画素値が変化している画素数の割合が第３の閾値以上の場合には、対象ブロックが動画ブロックであると判定する。また、動き検出部４３は、各ブロック内の画素において、現在のフレームと前フレームとの間で画素値が変化している画素数の割合が第２の閾値より多くかつ第３の閾値より少ない場合には、対象ブロックが混在ブロックであると判定する。例えば、第２の閾値は２０％であり、第３の閾値は６０％であり、第２および第３の閾値は、画像の種類に応じて、それぞれ、異なる値を設定することができる。

動き検出部４３は、各ブロックの判定結果に応じて、各ブロックの動きフラグ３５を生成する。静止画ブロックの場合には、動きフラグ３５は「００」である。動画ブロックの場合には、動きフラグ３５は「１１」である。混在ブロックの場合には、動きフラグ３５は「０１」である。送信処理部２２は、第１の実施形態と同様に、位置フラグ１９と、画素データを送信し、さらに、各ブロックの動きフラグ３５を送信する。

受信処理部２３は、位置フラグ１９と、画素データと、各ブロックの動きフラグ３５を受信する。比較処理部４５は、各ブロックの動きフラグ３５に応じて、各ブロックの種類を決定する。比較処理部４５は、対象ブロックの動きフラグ３５が「００」である場合には、対象ブロック内の画素のすべてが静止画領域であると判定する。比較処理部４５は、対象ブロックの動きフラグ３５が「１１」である場合には、対象ブロック内の画素のすべてが動画領域であると判定する。

比較処理部４５は、対象ブロックの動きフラグ３５が「０１」である場合には、第１の実施形態と同様の処理を行う。その場合、比較処理部４５は、現在のフレームの画素データと過去のフレームの画素データとの差分が第１の閾値以上であるか否かを判定し、対象ブロックの各画素が動画領域と静止画領域のいずれであるのかを判定する。記憶部２４と補間処理部２６と選択処理部２７と合成処理部２８の処理は、第１の実施形態と同様である。

このように、受信部４２は、混在ブロックのみに第１の実施形態と同じ処理を行うことになるので、受信部４２の処理量は少なくなる。この処理をハードウェアで行う場合には、回路量を削減できる。ソフトウェアで行う場合は、高速な処理が可能である。

第２の実施形態では、送信部４１が複雑な処理を行うが、受信部４２は、処理が軽減されるので、第３の実施形態で説明する放送用途などにおいては、テレビジョン側の処理が軽くなるので好適である。

以上のように、動き検出部４３は、フレームを構成する複数の領域の各々が静止画領域と動画領域と混在領域のいずれであるのかを示す動きフラグ（動き情報）３５を生成する動き情報生成手段である。送信処理部２２は、部分選択処理部２１により選択された画素のデータと、位置フラグ１９と、動きフラグ３５とを送信する。

受信処理部２３は、上記の選択された画素のデータと、位置フラグ１９と、動きフラグ３５とを受信する。選択処理部２７は、動きフラグ３５が混在領域であることを示す領域では、第１の実施形態と同じ処理を行う。また、選択処理部２７は、動きフラグ３５が静止画領域であることを示す領域では、現在のフレームの画素グループ（画素セット）の中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータを記憶部２４から入力して選択する。また、選択処理部２７は、動きフラグ３５が動画領域であることを示す領域では、現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて補間した画素データを入力して選択する。選択処理部２７は、記憶部２４または補間処理部２６から入力した画素データを、現在のフレームの画素グループの中の受信していない画素のデータとして生成する。

以上、第１および第２の実施形態として、帯域の狭い通信路を用いた場合の説明をしたが、通信路に限ることなく、放送装置や撮影装置や投影装置や記録装置などの、帯域が幅広い画像処理装置において使用することもできる。

（第３の実施形態）
本発明の第３の実施形態では、図５、図６、図７を用いて、放送波の帯域や圧縮率を上げることなく、高解像度の動画像を放送局が放送設備を用いて放送し、アンテナに接続した各テレビジョンが、受信した放送波から、高解像度の動画像を取り出す例を説明する。第３の実施形態では、送信部の画素を選択する手段、および、受信部の画素データを合成する手段は、第１の実施形態と同様である。本実施形態は、送信部と受信部の前後に手段を追加することによって、放送波に適用範囲を広げるものである。

なお、本実施形態では、放送波を通常の低解像度の既存のテレビジョンで再生する場合には、既存のテレビジョンに何ら手を加えることなく、低解像度画像が表示されるので、同じ放送波を用いて２種類の解像度のテレビジョンに対応できる。さらに、低解像度のテレビジョンにも若干の回路やソフトウェア処理を加えることにより、既存の低解像度のテレビジョンよりも高画質にて表示することが可能である。

図５は、本発明の第３の実施形態による画像処理装置１の構成例を示すブロック図であり、ＨＤ解像度のデジタル放送において４ｋ解像度の放送を行う場合を示す。画像処理装置１は、送信部５１と受信部５２とを有する。

なお、本実施形態の説明においては、日本の地上波デジタル放送の解像度である横１４４０×縦１０８０画素の画像信号を、１．５ｋ画像信号と呼び、横３８４０×縦２１６０画素の画像信号を、４ｋ画像信号と呼ぶ。

送信部５１は、１．５ｋ化部５３と、エンコード部５５とを有する。１．５ｋ化部５３は、４ｋ画像信号を１．５ｋ画像信号に変換し、メタデータ５４を生成する。エンコード部５５は、１．５ｋ画像信号をエンコードし、そのエンコードした１．５ｋ画像信号にメタデータ５４を加えて放送用信号を生成する。

受信部５２は、デコード部５６と、４ｋ化部５８とを有する。デコード部５６は、放送信号からメタデータ５７を取り出し、１．５ｋ画像信号をデコードする。４ｋ化部５８は、１．５ｋ画像信号を４ｋ画像信号に変換する。

まず、送信部５１について説明する。１．５ｋ化部５３は、入力した４ｋ画像信号を１．５ｋ画像信号に変換し、変換した時に用いたパラメータとフラグをメタデータ５４として生成する。エンコード部５５は、１．５ｋ画像信号に対してＭＰＥＧ２方式の圧縮をして、圧縮後の１．５ｋ画像信号に対してメタデータ５４を追加して、放送用信号を生成する。送信部５１は、放送用信号を、電波送信局により、放送波として送信する。

受信部５２は、放送波をアンテナで受信し、チューナ部によって選局し、放送用信号を取り出す。デコード部５６は、取り出された放送用信号からメタデータ５７を分離するとともに、ＭＰＥＧ２方式の伸長処理を行い、１．５ｋ画像信号を出力する。４ｋ化部５８は、メタデータ５７を参照し、１．５ｋ画像信号を４ｋ画像信号に変換し、後段の４ｋ対応の画像処理部に出力する。

受信部５２は、例えばＨＤ解像度のテレビ受像機であり、デコード部５６が出力する１．５ｋ画像信号を通常のＨＤ解像度の処理回路において、ＨＤ解像度に対する処理が行えばよい。また、受信部５２は、４ｋ画像信号に対して縮小処理を行い、２ｋ解像度（横１９２０×縦１０８０）の画像を生成することで、通常行われていた１．５ｋ画像信号からの拡大処理した画像よりも高品位な画像が得られる。

図６は、第３の実施形態による送信部５１の詳細な構成例を示すブロック図である。３ｋ化部６１は、４ｋ画像信号を３ｋ画像信号に変換する。３ｋ画像信号は、横２８８０×縦２１６０の画像信号である。空間フィルタ６２は、３ｋ画像信号の動画像の各フレームに対して空間フィルタ処理を行い、空間フィルタ処理した動画像を画素選択部６３に出力する。画素選択部６３は、図２の画素配列変換部２０と部分選択処理部２１と同様に、４画素セットから１画素を選択し、１．５ｋ画像信号を出力する。インタレース化および４２２化部６４は、１．５ｋ画像信号に対して、プログレッシブ形式からインタレース形式に変換し、４４４画像信号を４２２画像信号に変換する。ＩＰＢおよび領域決定部６５は、Ｉ／Ｐ／Ｂフレームと動き領域を決定する。ＤＣＴおよびＩＰＢエンコード部６６は、離散コサイン変換（ＤＣＴ）処理およびＩ／Ｐ／Ｂフレーム変換処理によりエンコード（圧縮）する。メタデータ６７は、空間フィルタ６２のフィルタ係数と、画素選択部６３の位置フラグ１９と、インタレースおよび４２２化部６４のインタレース形式の奇数偶数フラグ（奇数偶数情報）と、ＤＣＴおよびＩＰＢエンコード部６６のＤＣＴおよびＩＰＢフラグを含む。放送信号生成部６８は、圧縮した１．５ｋ画像信号とメタデータ６７を合わせて、放送信号を生成して送信する。

３ｋ部６１は、４ｋ画像信号（横３８４０×縦２１６０）を３ｋ画像信号（横２８８０×縦２１６０）に変換する。この変換は、横方向のみの縮小処理である。３ｋ化部６１は、適切なローパスフィルタ（ＬＰＦ）および画素補間処理によって、変換を行うことができる。

後に、受信部５２の４ｋ化部５８は、画像信号を４ｋ画像信号へ拡大する処理を行い、元の４ｋ画像信号の解像度に戻すことになる。なお、受信部５２の４ｋ化部５８は、４ｋ画像信号への拡大処理のときは、上記の縮小処理で用いた画素補間処理と相補的な特性をもつ画素補間処理による拡大処理や、上記のＬＰＦの逆の特性をもつシャープネスフィルタ処理を行う。これによって、画質の劣化を最小限に抑えることができる。

一例を示すと、以下のような縮小フィルタおよび相補的な関係をもつ拡大フィルタを組み合わせれば、画質の劣化は抑えられる。元の４画素の階調値が（Ａ１，Ａ２，Ａ３，Ａ４）であり、縮小後の３画素の階調値が（Ｂ１，Ｂ２，Ｂ３）であるとする。Ｂ１用係数〜Ｂ３用係数は、例えば以下のようにする。

Ｂ１用係数（１．０，０．０，０．０，０．０）
Ｂ２用係数（−０．５，１．０，１．０，−０．５）
Ｂ３用係数（０．０，０．０，０．０，１．０）
上記係数を（Ａ１，Ａ２，Ａ３，Ａ４）に積和演算して、（Ｂ１，Ｂ２，Ｂ３）が求まる。

ここで、元の４画素の中央に極端なエッジ部があったとすると、例えば、（Ａ１，Ａ２，Ａ３，Ａ４）＝（１．０，１．０，０．０，０．０）である。３ｋ化部６１は、４ｋ画像信号の（Ａ１，Ａ２，Ａ３，Ａ４）に対して、Ｂ１用係数とＢ２用係数とＢ３用係数を積和演算することにより、下記の縮小された３ｋ画像信号の（Ｂ１，Ｂ２，Ｂ３）を得る。

Ｂ１＝１．０×Ａ１
Ｂ２＝−０．５×Ａ１＋１．０×Ａ２＋１．０×Ａ３−０．５×Ａ４
Ｂ３＝１．０×Ａ４
その結果、（Ｂ１，Ｂ２，Ｂ３）＝（１．０，０．５，０．０）となる。

受信部５２の４ｋ化部５８は、４ｋ画像信号への拡大時には、以下のＣ１用係数〜Ｃ４用係数を用いる。ここで、縮小した３画素の階調値が（Ｂ１，Ｂ２，Ｂ３）であり、拡大後の４画素の階調値が（Ｃ１，Ｃ２，Ｃ３，Ｃ４）である。

Ｃ１用係数（１．０，０．０，０．０）
Ｃ２用係数（０．５，１．０，−０．５）
Ｃ３用係数（−０．５，１．０，０．５）
Ｃ４用係数（０．０，０．０，１．０）
上記係数を（Ｂ１，Ｂ２，Ｂ３）に積和演算して、（Ｃ１，Ｃ２，Ｃ３，Ｃ４）が求まる。

４ｋ化部５８は、（Ｂ１，Ｂ２，Ｂ３）に対して、Ｃ１用係数とＣ２用係数とＣ３用係数とＣ４用係数を積和演算することにより、下記の（Ｃ１，Ｃ２，Ｃ３，Ｃ４）を得る。
Ｃ１＝１．０×Ｂ１
Ｃ２＝０．５×Ｂ１＋１．０×Ｂ２−０．５×Ｂ３
Ｃ３＝−０．５×Ｂ１＋１．０×Ｂ２＋０．５×Ｂ３
Ｃ４＝１．０×Ｂ３

この式に、上で述べたＢ１、Ｂ２、Ｂ３の式を代入すれば、
Ｃ１＝Ａ１
Ｃ２＝Ａ２＋Ａ３−Ａ４
Ｃ３＝−Ａ１＋Ａ２＋Ａ３
Ｃ４＝Ａ４となるので、Ａ１＝Ａ２、Ａ３＝Ａ４の時、Ｃ１〜４はＡ１〜４と同じになる。もしＡ１とＡ２あるいはＡ３とＡ４の間に差分がある場合は、差分値だけエッジ強調されるが、劣化は最小限に抑えられている。
上記階調値の例では差分がないので、（Ｃ１，Ｃ２，Ｃ３，Ｃ４）＝（１．０，１．０，０．０，０．０）となる。

よって、上記のような相補的な係数による変換をすることによって、画質劣化の少ないスケール変換と逆スケール変換を行える。なお、縮小処理の前に、モアレの発生を防ぐためのＬＰＦ処理を設けることができる。ＬＰＦを設けると、画像がボケるので、ボケた画像を元の画質に戻すために、上記の拡大処理の後に、シャープネスフィルタを設けることができる。本実施形態では、シャープネスフィルタの特性をＬＰＦの逆の特性とすることにより、画質の劣化を最小限に防ぐことができる。

次に、空間フィルタ６２について説明する。空間フィルタ６２は、本実施形態の放送波を通常のＨＤのテレビ受像機で受信した際に、妨害が発生しないようにするための処理を行う。空間フィルタ６２は、ＵＬ，ＵＲ，ＬＬ，ＬＲの４画素の値を近づけるような、ローパスフィルタ（ＬＰＦ）を用いる。例えば、以下のように、自画素の係数を０．４とし、他の３画素の係数をそれぞれ０．２とするフィルタ係数を用いればよい。
係数（自画素，他画素，他画素，他画素）＝係数（０．４，０．２，０．２，０．２）

空間フィルタ６２は、各画素値に、このフィルタ係数をかけて、積和演算する。例えば、極端なエッジ部があり、以下のように、ＵＬおよびＵＲの階調値が最大階調値の１００％であり、ＬＬおよびＬＲの階調値が最大階調値の０％である。
階調（ＵＬ，ＵＲ，ＬＬ，ＬＲ）＝階調（１．０，１．０，０．０，０．０）

空間フィルタ６２がなく、画素選択部６３がこの４画素セットの中の１画素データを順番に選択する場合、選択する順番によって、フレームごとに１００％→０％→１００％→０％が繰り返されたり、１００％→１００％→０％→０％が繰り返される。この画像信号を通常のテレビジョン受像機で視聴すると、エッジがちらちら明滅するような妨害が見えてしまう。

この課題を解決するために、空間フィルタ６２を設ける。空間フィルタ６２は、上記の４画素セットのデータをフィルタリングすると、下記の４画素セットの階調値を出力する。
階調（ＵＬ，ＵＲ，ＬＬ，ＬＲ）＝階調（０．６，０．６，０．４，０．４）

フィルタリング後の画像信号を通常のテレビジョン受像機で視聴すると、６０％→４０％→６０％→４０％となり、明滅は十分に低減されており、妨害とは感じられなくなる。しかしながら、空間フィルタ６２が出力する３ｋ画像信号は、特にエッジ部がぼやけている。そのため、受信部５２は、空間フィルタ６２に対して逆の特性をもたせた逆空間フィルタ７８（図７）を用いて、ほぼ元に近い階調値に戻す処理を行う。そのために、送信部５１は、空間フィルタ６２のフィルタ係数をメタデータ６７の一部とする。なお、空間フィルタ６２のフィルタ係数を画像の特徴などによって変えず、いつも同じフィルタ係数を用いるのであれば、メタデータ６７として空間フィルタ６２のフィルタ係数を持たなくてもよい。

次に、受信部５２の逆空間フィルタ７８（図７）の例を説明する。例えば、逆空間フィルタ７８は、以下のフィルタ係数を有する。
係数（自画素，他画素，他画素，他画素）＝係数（４，−１，−１，−１）

逆空間フィルタ７８がこのフィルタ係数を用いれば、上記の６０％の階調値の画素は１００％の階調値の画素に戻り、上記の４０％の階調値の画素は０％の階調値の画素に戻る。

ところで、空間フィルタ６２のフィルタ係数は、似たような他の値の組でも、同様の効果が得られる。例えば、空間フィルタ６２のフィルタ係数は、以下の値を用いることができる。
係数（自画素，他画素，他画素，他画素）
＝係数（０．６２５，０．１２５，０．１２５，０．１２５）

空間フィルタ６２は、このフィルタ係数を用いると、下記の４画素セットの階調値を出力する。
階調（ＵＬ，ＵＲ，ＬＬ，ＬＲ）
＝階調（０．７５，０．７５，０．２５，０．２５）

この場合、逆特性の逆空間フィルタ７８は、下記のフィルタ係数を有する。
係数（自画素，他画素，他画素，他画素）
＝係数（２．５，−０．５，−０．５，−０．５）

逆空間フィルタ７８がこのフィルタ係数を用いれば、上記の７５％の階調値の画素は１００％の階調値の画素に戻り、上記の２５％の階調値の画素は０％の階調値の画素に戻る。なお、空間フィルタ６２と逆空間フィルタ７８のフィルタ係数については、完全に逆特性である必要はなく、逆特性に近い値を使用してもよい。逆特性に近い値であれば、それほど画質は劣化しない。

画素選択部６３の動作は、図２の画素配列変換部２０および部分選択処理部２１と同様の動作である。画素選択部６３は、縦２画素および横２画素の４画素セットから、フレームごとに異なる１画素のデータを選択する。この時、画素選択部６３は、フレームごとにどの位置の画素を選択したのかを示す位置フラグ１９をメタデータ６７の一部とする。また、画素選択部６３が図４の動き検出部４３とフレームメモリ４４と部分選択処理部２１を合わせたものと同様の動作をするものとすれば、動きフラグ３５も出力する。

次に、インタレースおよび４２２化部６４は、フレームごとに交互に奇数ラインまたは偶数ラインを間引き、インタレース化する、その時、インタレースおよび４２２化部６４は、残した方のラインを示す奇数偶数フラグをメタデータ６７の一部とする。そうすると、受信部５２のＩＰ変換および４４４化部７４（図７）は、フレームの奇数偶数情報を検知しなくてもよい。また、インタレースおよび４２２化部６４は、ＲＧＢ画素信号を輝度信号と色差信号に変換し、輝度信号と色差信号が同じ数だけの４４４画像信号にしてから、横方向に色差信号を間引き、４２２画像信号を生成する。

ＩＰＢフレームおよび領域決定処理ブロック６５は、画素選択部６３が出力する１．５ｋ画像信号を用いるより、空間フィルタ６２が出力する３ｋ画像信号を用いて動き領域を決定する方が好ましい。空間フィルタ６２が出力する３ｋ画像信号を用いることにより、１．５ｋ画像信号におけるエッジ部のちらつきの影響を受けない。ＩＰＢフレームおよび領域決定処理ブロック６５は、空間フィルタ６２が出力する３ｋ画像信号を用いて、Ｉ／Ｐ／Ｂフレームと動き領域を決定する。

ＤＣＴおよびＩＰＢエンコード部６６は、ＩＰＢおよび領域決定処理部６５におけるＩ／Ｐ／Ｂフレームおよび動き領域の決定に従い、インタレースおよび４２２化部６４が出力する画像信号に対して圧縮処理を行う。圧縮処理は、ＭＰＥＧ２方式におけるＩ／Ｐ／Ｂフレームへの分離と離散コサイン変換（ＤＣＴ）である。ＤＣＴおよびＩＰＢエンコード部６６は、ＤＣＴの各係数およびＩ／Ｐ／Ｂフレームを示すＩＰＢフラグを圧縮情報としてメタデータ６７の一部とする。

放送信号生成部６８は、圧縮した画像信号とメタデータ６７を組み合わせて放送信号を生成する。そして、放送信号生成部６８は、放送信号をチャンネルごとに変調し、放送用アンテナを用いて、地上デジタル放送として送信する。

ここまでは、日本における地上デジタル放送の場合を述べたが、衛星（ＢＳ）放送などでも同様に放送可能である。日本のＢＳ放送は、２ｋ放送（横１９２０×縦１０８０）なので、図６における３ｋ化部６１は不要となる。空間フィルタ部６２は、４ｋ画像信号を処理し、画素選択部６３は、４ｋ画像信号から２ｋ画像信号に変換し、その後段の処理部は２ｋ画像信号として処理を行う。

図７は、第３の実施形態による受信部５２の詳細な構成例を示すブロック図である。受信部５２は、図５の受信部５２に対応する。放送信号分離部７１は、送信部５１が送信した放送信号を受信および選局し、選局した放送信号からメタデータ７２と画像信号を分離する。メタデータ７２は、図６のメタデータ６７に対応する。

逆ＤＣＴおよびＩＰＢデコード部７３は、圧縮されている画像信号を伸長する。ＩＰ変換および４４４化部７４は、インタレース形式の画像信号をプログレッシブ形式の画像信号に変換（ＩＰ変換）し、４２２画像信号を４４４画像信号に変換する。

画素再現部７５は、対象フレームで受信しなかった画素データを再現する。フレームメモリ７６は、過去のフレームを記憶する。超解像補間処理部７７は、超解像処理などの画素補間処理を行う。逆空間フィルタ７８は、図６の空間フィルタ６２と逆の特性をもつ空間フィルタである。４ｋ化部７９は、３ｋ画像信号を４ｋ画像信号に変換する。

受信部５２は、地上波デジタルの放送信号から、４ｋ画像信号を復元する。放送信号分離ブロック７１は、アンテナで受信した放送波から、チューナによって放送信号を選局し、画像信号とメタデータ７２に分離する。この画像信号は、圧縮されている。

逆ＤＣＴおよびＩＰＢデコード部７３は、メタデータ７２内のＤＣＴの各係数およびＩＰＢフラグを用いて、上記の分離された画像信号に対して、逆離散コサイン変換を行い、Ｉ／Ｐ／Ｂフレームを組み合わせて、インタレースのフレームを生成し、伸長する。

次に、ＩＰ変換および４４４化部７４は、メタデータ７２内の奇数偶数フラグを用いて、インタレース形式の画像信号をプログレッシブ形式の画像信号に変換する。この時、ＩＰ変換および４４４化部７４は、前後フレームの画像信号を用いることで、良好なプログレッシブフレームが得られる。次に、ＩＰ変換および４４４化部７４は、４２２画像信号から色差信号を増やした４４４画像信号を、画素補間によって生成する。そして、ＩＰ変換および４４４化部７４は、輝度色差画像信号からＲＧＢ画像信号に、マトリクス積和演算によって変換する。なお、後段の処理部は、輝度色差画像信号のままで処理を行ってもよい。なお、ＩＰ変換および４４４化部７４の出力信号は、既存のＨＤテレビジョン受像機におけるものと同じなので、既存の回路を用いれば、ＨＤ解像度のディスプレイに表示することが可能であり、既存のテレビジョン受像機との互換性がある。

フレームメモリ７６は、図２の記憶部２４に対応する。超解像補間処理部７７は、図２の補間処理部２６に対応する。画素再現部７５は、メタデータ７２内の位置フラグ１９を用いて、図２の比較処理部２５と選択処理部２７と合成処理部２８と同様の処理を行い、ＩＰ変換および４４４化部７４が出力する１．５ｋ画像信号を３ｋ画像信号に変換する。画素再現部７５は、新しく入力した１画素データと、以前にフレームメモリ７６に記憶しておいた１画素データを比較、または周囲の画素も用いて比較する。画素再現部７５は、その比較の結果、４画素セットが静止画領域と判定されたら、他の３画素として、フレームメモリ７６に記憶しておいた過去の画素データを用いる。超解像補間処理部７７は、現在のフレームのとびとびの画素データから、その間の画素データを補間する。画素再現部７５は、４画素セットが動画領域と判定されたら、超解像補間処理部７７により補間された画素データを、受信していない３画素データとして生成する。

また、画素再現部７５は、図４の比較処理部４５および選択処理部２７と同様の動作を行ってもよい。その場合、画素再現部７５は、動きフラグ３５を入力して、動きフラグ３５および画素比較によって、比較処理および選択処理を行う。

逆空間フィルタ７８は、画素再現部７５が出力する３ｋ画像信号の動画像の各フレームに対して、空間フィルタ処理を行う。この際、逆空間フィルタ７８は、メタデータ７２内のフィルタ係数を用いて、図６の空間フィルタ６２と逆特性の空間フィルタ処理を行うことにより、空間フィルタ６２による影響のほとんどをなくし、ボケのない画質を得ることができる。

４ｋ化部７９は、３ｋ画像信号（横２８８０×縦２１６０）を４ｋ画像信号（横３８４０×縦２１６０）に変換し、４ｋ画像信号を得る。この変換は、横方向のみの拡大処理である。４ｋ化部７９は、一般的なスケーラーでもよいが、図６の３ｋ化部６１の縮小処理の相補的な拡大係数をもつ拡大処理と、３ｋ化部６１のＬＰＦの逆特性をもつシャープネスフィルタ処理を行えば、元の画質がほぼ保たれる。受信部５２は、この４ｋ画像信号を画像処理回路によって通常の高画質化処理を行い、４ｋディスプレイに表示する。

このようにして、送信部５１は、地上波デジタル放送やＢＳデジタル放送によって、４ｋ解像度の動画像を送信することができる。受信部５２は、４ｋ化部７９が４ｋ解像度のディスプレイに４ｋ画像信号を出力すれば、４ｋ解像度で受信した場合に近い高画質の画像が表示される。また、送信部５１は、ＩＰ変換および４４４化部７４が既存のＨＤ解像度のディスプレイに出力しても、図６の空間フィルタ６２によって、それほど妨害感を与えない画像を表示させることができる。また、受信部５２は、４ｋ化部７９が生成する４ｋ画像信号を縮小処理し、ＨＤ解像度のディスプレイに表示すれば、通常のＨＤ放送よりも高画質の画像を表示することができる。

本実施形態によれば、送信部５１は、ＨＤ解像度の放送設備および放送波を用いて、４ｋ解像度のテレビジョン放送を行うことができる。

（第４の実施形態）
本発明の第４の実施形態では、画像処理装置１を投影装置として適用する例を図８を用いて説明する。図８は、本発明の第４の実施形態による画像処理装置１の構成例を示すブロック図である。画像処理装置１は、投影装置であり、送信部８１と受信部８２とを有する。送信部８１は動画像出力部であり、受信部８２は投影部である。

まず、送信部８１の構成を説明する。セレクタ８３は、図２の画素配列変換部２０と部分選択処理部２１と同様に、位置フラグ１９を基に、４画素セットから１画素を選択し、部分画像信号を出力する。複数の４画素セットの各々は、同色の４個の画素のセットである。合成出力インタフェース８４は、図２の送信処理部２２と同様に、部分画素信号と位置フラグ１９を合成して出力する。

次に、受信部８２の構成を説明する。分離入力インタフェース８５は、合成出力インタフェース８４から合成信号を入力し、合成信号から部分画素信号と位置フラグ１９を分離する。画像処理部８６は、部分画素信号に対して通常の画像処理を行う。タイミングコントローラ８７は、画像処理部８６が出力する部分画像信号と位置フラグ１９を基に、光学変調器８９および光路変調器９０にデータを与えるとともに制御を行う。光源８８は、光を照射する。光学変調器８９は、液晶パネルやＤＬＰ素子などである。光路変調器９０は、光の向きを変える。

送信部８１は、受信部８２へ画像信号を送信する。送信部８１は、図２の送信部２９と同様の構成を有し、受信部８２の条件に合わせた送信を行う。送信部８１は、元画像信号として、高解像度の８ｋコンテンツや４ｋコンテンツを、ブルーレイディスク（４ｋ−ＢＤ）またはＨＤＤなどから入力する。セレクタ８３は、図２の画素配列変換部２０と部分選択処理部２１に対応し、元画像信号を縦横半分の４ｋ解像度又はＦＨＤ解像度の画像信号に変換する。合成出力インタフェース８４は、帯域の狭い通信路を通じて、受信部８２に送信する。この場合の帯域は、元画像信号の解像度の４分の１になる。なお、セレクタ８３は、縦横の両方が半分でなくても、縦または横のいずれかのみを半分にしてもよい。また、セレクタ８３は、４画素セットの斜め方向のみとしてもよい。これらの場合の帯域は、元画像信号の解像度の２分の１になる。また、セレクタ８３は、縦横のいずれかを３分の１や４分の１にしてもよい。この場合の帯域は、元画像信号の解像度の６分の１や８分の１になる。

セレクタ８３は、帯域の削減を行うために、図２の画素配列変換部２０と部分選択処理部２１と同様に、位置フラグ１９に応じて、例えば、４画素セットから１画素のデータを選択し、部分画像信号を出力する。この時、セレクタ８３は、後で投影用に光路変調しやすいように、円を描くような順番で画素データを選択することが望ましい。例えば、セレクタ８３は、ＵＬ、ＵＲ、ＬＲ、ＬＬの順番、またはその逆方向の順番で選択することが望ましい。どのような順番がよいかは、受信部８２の光路変調器９０の動作条件を鑑みて、あらかじめ設定しておく必要がある。

合成出力インタフェース８４は、各フレームの最初などに位置フラグ１９を送信し、その後に、セレクタ８３が出力する部分画像信号を送信する。合成出力インタフェース８４は、部分画像信号の後に位置フラグ１９を送信してもよいし、部分画像信号の中に位置フラグ１９を混入させてもよい。

分離入力インタフェース８５は、帯域の狭い通信路によって、合成出力インタフェース８４に接続されている。分離入力インタフェース８５は、合成出力インタフェース８４から位置フラグ１９と部分画像信号を受信し、位置フラグ１９と部分画像信号を分離する。

画像処理部８６は、通常の投影装置と同じ画像処理を行う。例えば、画像処理部８６は、画質を向上し、光学変調器８９の特性に合わせた処理を行う。タイミングコントローラ８７は、画像処理部８６が出力する部分画像信号を光学変調器８９に出力するとともに、光学変調器８９の各フレームの切り替えやラインを制御する。同時に、タイミングコントローラ８７は、光学変調器８９のフレームとタイミングを合わせて、位置フラグ１９に応じて、光路変調器９０を制御する。この時、タイミングコントローラ８７は、位置フラグ１９のＵＬ、ＵＲ、ＬＲ、ＬＬの順番に応じて、光路変調器９０に対して、投影位置が投影画素の０．５画素にあたる量だけわずかに、左上、右上、右下、左下のように動くように制御する。

光学変調器８９は、光源８８で照射した光を基に、タイミングコントローラ８７が出力する部分画像信号に応じた画像を投影する。光路変調器９０は、位置フラグ１９のＵＬ、ＵＲ、ＬＲ、ＬＬの順番に応じて、光学変調器８９が投影する画像の光路を変え、投影レンズによって画像を投影する。ここで、光路変調器９０を実現するには、バリアングルプリズムを用いてもよいし、ガラス板を光路に斜めに置いて、回転させてもよいし、その他の手段を用いてもよい。

このようにして、送信部８１は、狭い帯域の通信路を用い、高い解像度の元画像信号を画素の位置をずらしながら選択して送信する。受信部８２は、画素の位置をずらしながら投影することで、高解像度の動画像が投影される。

なお、ここでは、４画素セットの場合を例に説明したが、斜め方向にずらした２画素を画素セットとして処理することも可能である。その場合、光路変調器９０は、斜め方向に往復運動させて画素の投影位置をずらすことになる。

なお、受信部８２は、受信部８２が投影するのに都合のよい画素位置を、位置フラグ１９として送信部８１へ送信してもよい。送信部８１は、受信した位置フラグ１９に基づき、次のフレームの画素データを選択する。そうすれば、受信部８２における光路変調器９０の動作条件を、事前に送信部８１に設定しておかなくてもよいので、様々な動作条件の投影装置に対応することが可能である。

以上のように、タイミングコントローラ８７と光源８８と光学変調器８９と光路変調器は、投影手段であり、位置フラグ１９に応じて、画像処理部８６の出力画像の各画素の投影位置を変えて投影する。

本実施形態によれば、受信部８２は、低解像度の部分画像信号を受信し、対応解像度の低い光学変調器８９を用いて、高解像度の動画像を投影することができる。

（第５の実施形態）
次に、本発明の第５の実施形態として、画像処理装置１を撮影装置として適用する例を図９を用いて説明する。図９は、本発明の第５の実施形態による画像処理装置１の送信部９１の構成例を示すブロック図である。画像処理装置１は、送信部９１と、第１〜第４の実施形態のいずれかの受信部とを有する。送信部９１は、撮像装置である。

送信部９１の構成を説明する。レンズ光学系９２は、焦点を結ぶ。光路変調器９３は、光路をわずかにずらす。移動方向制御部９４は、光路変調器９３の移動方向を制御し、位置フラグ１９を現像画像処理部９６に出力する。撮像センサ９５は、光電変換により画像信号を生成する。現像画像処理部９６は、撮影センサ９５により生成された画像信号に対して、現像処理および画像処理を行う。録画装置９７は、現像画像処理部９６が出力する画像信号と位置フラグ１９を録画する。出力インタフェース９８は、現像画像処理部９６または録画装置９７が出力する画像信号と位置フラグ１９を受信部に出力する。

光路変調器９３は、レンズ光学系９２で焦点を結んだ撮影画像が、撮像センサ９５にあたる前に、撮影画像が撮像センサ９５にあたる位置を、フレームごとにわずかにずらす。ずらす順番は、光路変調器９３がスムーズに動けるように、円を描くような順番が望ましい。例えば、光路変調器９３は、ＵＬ、ＵＲ、ＬＲ、ＬＬの順番、またはその逆方向の順番でずらすことが望ましい。

撮像センサ９５は、光電変換により画像信号を生成する。現像画像処理部９６は、フレーム単位で、撮像センサ９５により生成された画像信号に対して、現像処理と画像処理を行う。これにより、フレームごとに画素位置がわずかに異なる連続した動画像が得られる。現像画像処理部９６は、この動画像に対して、フレームごとにずらした方向を示す位置フラグ１９をメタデータとして付加する。なお、最初の４フレームだけ位置フラグ１９を付加しておけば、後のフレームは、その繰り返しであると推定できる。また、フレームの開始位置から常に一通りの順番であると定義（規格化）しておけば、位置フラグは不要になる。

録画装置９７は、フレームごとに画素位置がわずかに異なる連続した動画像と位置フラグ１９を録画する。出力インタフェース９８は、現像画像処理部９６または録画装置９７が出力する動画像と位置フラグ１９を受信部に送信する。出力インタフェース９８の帯域は、狭い帯域しか必要としない。出力インタフェース９８は、図２の受信部３０等の第１〜第４の実施形態のいずれかの受信部に送信する。出力インタフェース９８が送信する動画像と位置フラグ１９は、図２の送信処理部２２が送信する動画像と位置フラグ１９と同様のものである。受信部は、第１〜第４の実施形態と同様に、４倍の解像度の動画像を生成することができる。

なお、光路変調器９３を削除し、撮像センサ９５をフレームごとに方向を変えながら、わずかに０．５画素ずつずらすことによっても、同様の撮影が行える。また、フレームごとに画素をずらさなくても、最初から画素をずらした位置に複数の撮像センサを置いてもよい。例えば、デュアルグリーン出力を持つ場合、ＲとＢの撮像センサは１つずつ配置し、Ｇの撮像センサは０．５画素だけ斜め方向にずらした位置に２つの撮像センサを置く。これらの２つのＧの撮像センサをＧ１センサおよびＧ２センサとすると、フレームごとに、Ｇ１センサとＧ２センサの出力を交互に出力することで、同様の撮影が行える。

以上のように、撮像センサ９５は、光電変換により複数フレームの動画像信号を生成する。移動方向制御部９４は、位置制御手段であり、撮像センサ９５に光像が結像する位置をフレームごとに変える。出力インタフェース９８は、撮像センサ９５が生成した動画像信号に基づく動画像と、上記の結像する位置を示す位置フラグ１９を図２の受信部３０等に送信する。例えば、受信部３０は、出力インタフェース９８から動画像と位置フラグ１９を受信し、第１の実施形態と同様の処理を行う。

本実施形態によれば、送信部９１は、対応解像度の低い撮像センサ９５を用いて、高解像度の動画像を撮影し送信することができる。

（第６の実施形態）
本発明の第６の実施形態の画像処理装置１を図１０を用いて説明する。図１０は、本発明の第６実施形態による画像処理装置１の構成例を示すブロック図である。

セレクタ１０１は、図２の画素配列変換部２０および部分選択処理部２１と同様に、位置フラグ１９に応じて、４画素セットから１画素のデータを選択し、部分画像信号を出力する。画像処理部１０２は、セレクタ１０１が出力する部分画像信号に対して画像処理を行う。遅延器１０３は、位置フラグ１９に対して、画像処理部１０２の処理時間と同じだけの遅延を行う。フレームメモリ１０４は、図２の記憶部２４に対応し、画像処理部１０２が出力する過去のフレームを記憶する。比較器１０５は、図２の比較処理部２５に対応し、画像処理部１０２が出力する現在のフレームの画素データと、フレームメモリ１０４に記憶されている過去のフレームの画素データとの差分が第１の閾値以上であるかを比較し、静止画領域と動画領域を判定する。超解像補間処理部１０６は、図２の補間処理部２６と同様に、画像処理部１０２が出力する現在のフレームの画素データに対して画素補間を行う。セレクタ１０７は、図２の選択処理部２７および合成処理部２７と同様に、比較器１０５の判定の結果に応じて、現在のフレームの画素データと、過去のフレームの画素データまたは画素補間の画素データを選択し、動画像信号を出力する。

画像処理装置１は、元画像の解像度が高いのに対して、画像処理部１０２が処理できる解像度が元画像の数分の１しかない場合の例を示す。ここで、元画像は、ＲＧＢ信号を例に説明するが、輝度色差信号あるいはデュアルグリーン信号などでもよい。

セレクタ１０１は、位置フラグ１９に応じて、４画素セットから１画素のデータを選択し、部分画像信号を出力する。なお、セレクタ１０１は、４画素セットに限定されず、２画素セットから１６画素セットまでの画素セットの中から１画素のデータを選択することができる。位置フラグ１９は、画素セットを一巡するように、選択する画素位置を示す。例えば、位置フラグ１９は、ＵＬ、ＵＲ、ＬＬ、ＬＲである。

セレクタ１０１の出力画像は、セレクタ１０１の入力画像に対して、解像度が４分の１に下がっている。画像処理部１０２は、セレクタ１０１が出力する低解像度の部分画像信号に対して、色補正処理、ガンマ補正処理、コントラスト処理、シャープネス処理などの、様々な高画質にするための処理を行う。

遅延器１０３は、画像処理部１０２が出力する部分画像信号に対して同期をとるために位置フラグ１９を遅延させる。画像処理部１０２は、画像処理の終わった部分画像信号を、遅延器１０３が出力する位置フラグ１９に応じて、フレームメモリ１０４の現在フレームの領域に記憶する。比較器１０５は、フレームメモリ１０４に記憶されている現在のフレームの画素データと、１フレーム前の同じ位置の画素データとの差分が第１の閾値以上であるか否かを比較する。比較器１０５は、周囲の５×５画素または９×９画素程度の領域で、平均値またはメディアン値をとって、上記の差分と第１の閾値を比較すればよい。比較器１０５は、上記の差分の絶対値が第１の閾値未満である場合には静止画領域であると判定し、上記の差分の絶対値が第１の閾値以上である場合には動画領域であると判定する。第１の閾値は、画像の種類によって変えることができる。

超解像補間処理部１０６は、現在フレームの対象画素データの周囲の数画素データを用いて、画素セット内の他の画素データを、画素補間処理を用いて求める。セレクタ１０７は、比較器１０５の判定の結果によって、現在のフレームの対象画素以外の３画素データとして、フレームメモリ１０４に記憶されている過去のフレームの画素データ、または超解像補間処理部１０６が出力する画素データを用いる。また、セレクタ１０７は、４画素セットの画像信号を、通常の画素の順番の画像信号に変換する。

本実施形態によれば、画像処理装置１は、対応解像度の低い画像処理部１０２を用いて、高解像度の動画像を処理することができる。

（第７の実施形態）
上記の実施形態では、送信部と受信部の動作が同時であったが、画像処理装置１は、送信部が送信した画像信号を録画することにより、録画可能時間が長い録画装置を実現できる。本発明の第７の実施形態として、画像処理装置１を録画装置として適用する例を図１１を用いて説明する。図１１は、本発明の第７実施形態による画像処理装置１の構成例を示すブロック図である。

画像処理装置１は、送信部２９と、録画部１１１と、受信部３０とを有する。送信部２９は図２の送信部２９と同じであり、受信部３０は図２の受信部３０と同じである。送信部２９は、高解像度の元画像信号を基に、低解像度の部分画像信号と位置フラグ１９を録画部１１１に送信する。録画部１１１は、低解像度の部分画像信号と位置フラグ１９を記録する。再生時には、録画部１１１は、低解像度の部分画像信号と位置フラグ１９を受信部３０に送信する。受信部３０は、低解像度の部分画像信号と位置フラグ１９を基に、高解像度の動画像を生成する。

録画部１１１は、低解像度の部分画像信号を記録するので、高解像度の元画像信号を記録する場合に比べ、録画容量を数分の一にすることができ、同じ容量の録画部であれば、数倍の録画時間の記録が可能である。なお、本実施形態に対して、第３の実施形態の送信部５１および受信部５２を用いることにより、さらに長時間の録画が可能になる。

本実施形態によれば、送信部２９は、高解像度の動画像を低解像度の部分画像信号に変換し、低解像度の部分画像信号を録画部１１１に少ない容量にて記録することができる。受信部３０は、録画部１１１に記録されている低解像度の部分画像信号を高解像度の動画像に変換して再生することができる。

（その他の実施形態）
上記で述べた各実施形態は、処理をハードウェア回路で行うだけでなく、ＭＰＵとメモリと各種インタフェースを組み合わせたソフトウェアを実行する装置において、実行してもよい。あるいは、ハードウェア処理とソフトウェア処理を組み合わせてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、各実施形態をあげて、本発明を実現する構成例を説明したが、本発明の趣旨を実現する構成が、上記実施形態に限るものではない。

２０ 画素配列変換部、２１ 部分選択処理部、２２ 送信処理部、２３ 受信処理部、２４ 記憶部、２５ 比較処理部、２６ 補間処理部、２７ 選択処理部、２８ 合成処理部、２９ 送信部、３０ 受信部

Claims (25)

1. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素を選択する選択手段と、
   前記選択された画素のデータと前記選択された画素の位置を示す位置情報を送信する送信手段と
   を有することを特徴とする画像処理装置。
2. 前記複数の画素グループの各々は、各色の隣接する複数の画素からなるグループであることを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記複数の画素グループの各々の中のすべての位置の画素をフレーム順に選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択された画素のデータと前記位置情報とを受信する受信手段と、
   現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
   前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と
   をさらに有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記フレームを構成する複数の領域の各々が静止画領域と動画領域と混在領域のいずれであるのかを示す動き情報を生成する動き情報生成手段をさらに有し、
   前記送信手段は、前記選択された画素のデータと、前記位置情報と、前記動き情報とを送信することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記選択された画素のデータと、前記位置情報と、前記動き情報とを受信する受信手段と、
   前記動き情報が混在領域であることを示す領域では、現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
   前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段とをさらに有し、
   前記画素データ生成手段は、
   前記動き情報が静止画領域であることを示す領域では、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成し、
   前記動き情報が動画領域であることを示す領域では、前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成することを特徴とする請求項５に記載の画像処理装置。
7. 動画像の各フレームをフィルタ処理し、前記フィルタ処理した動画像を前記選択手段に出力する第１のフィルタ手段をさらに有し、
   前記送信手段は、前記第１のフィルタ手段のフィルタ係数をさらに送信することを特徴とする請求項１〜３、５のいずれか１項に記載の画像処理装置。
8. 前記選択された画素のデータと、前記位置情報と、前記フィルタ係数とを受信する受信手段と、
   現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
   前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と、
   前記受信したフィルタ係数に応じて、前記合成手段により合成された動画像の各フレームをフィルタ処理する第２のフィルタ手段と
   をさらに有することを特徴とする請求項７に記載の画像処理装置。
9. 前記選択手段により選択された画素からなる画像を圧縮する圧縮手段をさらに有し、
   前記送信手段は、前記圧縮された画像と、前記位置情報と、前記圧縮手段の圧縮情報とを送信することを特徴とする請求項１〜３、５、７のいずれか１項に記載の画像処理装置。
10. 前記圧縮された画像と、前記位置情報と、前記圧縮情報とを受信する受信手段と、
    前記圧縮情報に応じて、前記圧縮された画像を伸長する伸長手段と、
    前記伸長の後の現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
    前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と
    をさらに有することを特徴とする請求項９に記載の画像処理装置。
11. 前記選択手段により選択された画素からなる画像をプログレッシブ形式からインタレース形式に変換する第１の変換手段をさらに有し、
    前記送信手段は、前記インタレース形式の画像と、前記位置情報と、前記インタレース形式の奇数偶数情報とを送信することを特徴とする請求項１〜３、５、７、９のいずれか１項に記載の画像処理装置。
12. 前記インタレース形式の画像と、前記位置情報と、前記インタレース形式の奇数偶数情報とを受信する受信手段と、
    前記インタレース形式の奇数偶数情報に応じて、前記インタレース形式の画像をプログレッシブ形式の画像に変換する第２の変換手段と、
    現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
    前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と
    をさらに有することを特徴とする請求項１１に記載の画像処理装置。
13. 前記選択された画素のデータと前記位置情報を受信する受信手段と、
    前記位置情報に応じて、前記選択された画素のデータに基づく画像の各画素の投影位置を変えて投影する投影手段と
    をさらに有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
14. 前記選択された画素のデータと前記位置情報を記録する記録手段をさらに有することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
15. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素のデータと、前記一部の画素の位置を示す位置情報を受信する受信手段と、
    現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
    前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と
    を有することを特徴とする画像処理装置。
16. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素のデータと、前記一部の画素の位置を示す位置情報を受信する受信手段と、
    前記位置情報に応じて、前記受信した画素のデータに基づく画像の各画素の投影位置を変えて投影する投影手段と
    を有することを特徴とする画像処理装置。
17. 撮像センサの光電変換により複数フレームの動画像信号を生成する撮像手段と、
    前記撮像センサに光像が結像する位置をフレームごとに変える位置制御手段と、
    前記動画像信号に基づく動画像と、前記結像する位置を示す位置情報を送信する送信手段と
    を有することを特徴とする画像処理装置。
18. 前記動画像信号に基づく動画像と、前記位置情報を受信する受信手段と、
    現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成手段と、
    前記現在のフレームの受信した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と
    をさらに有することを特徴とする請求項１７に記載の画像処理装置。
19. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素を選択する選択手段と、
    前記選択された画素のデータに基づく画像を処理する画像処理手段と、
    前記処理の後の現在のフレームの選択した画素のデータと前記現在のフレームの選択した画素のデータと同じ画素位置の過去のフレームの選択した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の選択した画素以外の画素と同じ画素位置の過去のフレームの選択した画素のデータ、または前記現在のフレームの選択した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の選択していない画素のデータを生成する画素データ生成手段と、
    前記現在のフレームの選択した画素のデータと、前記画素データ生成手段により生成された画素のデータとを合成する合成手段と
    を有することを特徴とする画像処理装置。
20. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素を選択する選択ステップと、
    前記選択された画素のデータと前記選択された画素の位置を示す位置情報を送信する送信ステップと
    を有することを特徴とする画像処理装置の制御方法。
21. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素のデータと、前記一部の画素の位置を示す位置情報を受信する受信ステップと、
    現在のフレームの受信した画素のデータと前記現在のフレームの受信した画素のデータと同じ画素位置の過去のフレームの受信した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の受信した画素以外の画素と同じ画素位置の過去のフレームの受信した画素のデータ、または前記現在のフレームの受信した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の受信していない画素のデータを生成する画素データ生成ステップと、
    前記現在のフレームの受信した画素のデータと、前記画素データ生成ステップで生成された画素のデータとを合成する合成ステップと
    を有することを特徴とする画像処理装置の制御方法。
22. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素のデータと、前記一部の画素の位置を示す位置情報を受信する受信ステップと、
    前記位置情報に応じて、前記受信した画素のデータに基づく画像の各画素の投影位置を変えて投影する投影ステップと
    を有することを特徴とする画像処理装置の制御方法。
23. 撮像センサの光電変換により複数フレームの動画像信号を生成する撮像ステップと、
    前記撮像センサに光像が結像する位置をフレームごとに変える位置制御ステップと、
    前記動画像信号に基づく動画像と、前記結像する位置を示す位置情報を送信する送信ステップと
    を有することを特徴とする画像処理装置の制御方法。
24. 動画像の各フレームを構成する、各々が隣接する複数の画素からなる複数の画素グループの各々の中のフレームごとに異なる位置の一部の画素を選択する選択ステップと、
    前記選択された画素のデータに基づく画像を処理する画像処理ステップと、
    前記処理の後の現在のフレームの選択した画素のデータと前記現在のフレームの選択した画素のデータと同じ画素位置の過去のフレームの選択した画素のデータとの差分に応じて、前記現在のフレームの前記画素グループの中の選択した画素以外の画素と同じ画素位置の過去のフレームの選択した画素のデータ、または前記現在のフレームの選択した複数の画素グループの各々の画素のデータを用いて、前記現在のフレームの前記画素グループの中の選択していない画素のデータを生成する画素データ生成ステップと、
    前記現在のフレームの選択した画素のデータと、前記画素データ生成ステップで生成された画素のデータとを合成する合成ステップと
    を有することを特徴とする画像処理装置の制御方法。
25. コンピュータを、請求項１〜１９のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images