JP2008311981A - 画像信号処理装置、画像信号処理方法、プログラム、カメラ装置、画像表示装置および画像信号出力装置 - Google Patents

Abstract

【課題】画像信号の種類に依らず常に最適画質が得られるように処理を行う。
【解決手段】画像データ読み出し部１０４、データ伸長部１０５、スケーリング部１０６、イフェクト部１０７は、画像信号取得部を構成する。画像信号Ｓpoは、動画、静止画の他、整数画素単位で動かした静止画等の画像信号を含む。制御部１０１は、ユーザ操作部１０２における操作等に基づいて、画像信号Ｓpoの分類情報を取得する。画像信号Ｓpoを、後段の画像信号処理部で処理して、出力画像信号を得る。折り返し防止フィルタ１０８，エンハンス部１１０、ＮＲ部１１１は、画像信号処理部を構成する。制御部１０１は、画像信号Ｓpoの分類情報に基づいて、画像信号処理部を構成する各部の処理を制御する。
【選択図】図１

Description

この発明は、画像信号処理装置、画像信号処理方法、プログラム、カメラ装置、画像表示装置および画像信号出力装置に関する。詳しくは、この発明は、処理対象の画像信号を、この画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報に基づいて処理を行うことにより、常に最適画質が得られるように画像信号の処理を行い得る画像信号処理装置等に係るものである。

従来、画像信号に対して、画質向上等の目的で、種々の処理を行うことが知られている。例えば、処理として、エンハンス処理、ノイズ低減処理、折り返し防止処理、動き適応Ｉ／Ｐ変換処理等がある。エンハンス処理は、画像の輪郭を強調するために、画像信号の高域成分を強調する処理である。ノイズ低減処理は、画像信号に含まれるノイズを抑圧する処理である。折り返し防止処理は、折り返し歪みの原因となる周波数成分をフィルタで取り除く処理である。Ｉ／Ｐ変換処理はインターレース信号をプログレッシブ信号に変化する処理である。

従来、画像信号に対する上述した処理を、当該画像信号の種類に応じて変えることが知られている。例えば、特許文献１には、動画であるか静止画であるかによって、エンハンス処理を変えることが記載されている。
特開２００６−２６０５２０号公報

上述の特許文献１には画像信号の種類を２種類（動画、静止画）としている。しかし、従来動画に分類されている画像信号の中には、最初から動画として撮像されて得られた画像信号の他に、静止画の画像信号に対して、動きを与える処理が施されて生成された画像信号もある。

この場合、動きを与える処理として、静止画の一部の読み出し位置を動かすこと、あるいは拡大縮小すること等が行われる。静止画の一部の読み出し位置を動かす場合に、整数画素／フレームで動かす場合とそれ以外では、サンプリングの折り返しの画面上での目立ち方が異なる。

静止画を撮像するカメラとして、画素数が１０００万画素を超えるものもある。一般に、静止画カメラは、動画カメラより解像度が高い。静止画の一部の読み出し位置を動かして得られる画像は、動画カメラによる画像よりも解像度が高く、被写体に対して止まっているノイズしかない。

以上から、特許文献１に記載されるように、動画、静止画の画像信号を２種類に分けただけでの信号処理では、尖鋭度の確保、ノイズの目立ち方、折り返し歪みの目立ち方の観点から、最適画質を狙えないということになる。

この発明の目的は、常に最適画質が得られるように画像信号処理を行うことにある。

この発明の概念は、
処理対象の画像信号を取得する画像信号取得部と、
上記画像信号取得部で取得される画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報を取得する分類情報取得部と、
上記画像信号取得部で取得される画像信号を、上記分類情報取得部で取得される分類情報に基づいて処理する画像信号処理部と
を備えることを特徴とする画像信号処理装置にある。

この発明においては、画像信号取得部により、処理対象の画像信号が取得される。例えば、画像信号取得部では、撮像部から得られる画像信号に基づいて、処理対象の画像信号が取得される。例えば、画像信号取得部は、入力端子により構成される。また、例えば、画像信号取得部は、記録媒体より動画または静止画の画像信号を読み出す画像データ読み出し部と、この画像データ読み出し部で読み出される静止画の画像信号に基づいて、整数画素単位で動かした静止画の画像信号または整数画素単位でない動きを持った静止画の画像信号を生成する画像信号生成部とを有する構成とされる。この場合、画像信号取得部では、動画、完全静止画、さらには整数画素単位で動かした静止画、または整数画素単位でない動きを持った静止画の画像信号を取得することが可能となる。

分類情報取得部により、画像信号取得部で取得される画像信号に対する分類情報が取得される。この分類情報は、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類におけるものとされる。例えば、分類情報取得部で取得される分類情報は、動画、完全静止画、整数画素単位で動かした静止画、および整数画素単位でない動きを持った静止画のいずれかとされる。

画像信号処理部により、画像信号取得部で取得される画像信号が、分類情報取得部で取得される分類情報に基づいて処理される。例えば、画像信号処理部は、折り返し防止フィルタを含み、分類情報取得部で取得される分類情報が整数画素単位で動かした静止画または完全静止画であるときの折り返し防止フィルタの帯域はその他のときよりも広帯域とされる。この場合、折り返し歪みは目立たず、従って折り返し防止フィルタの帯域を広帯域化することが可能となり、帯域制限による解像度低下を抑制できる。

また、例えば、画像信号取得部で取得される画像信号はインターレース信号であり、画像信号処理部は、インターレース信号をプログレッシブ信号に変換する動き適応Ｉ／Ｐ変換部を含み、分類情報取得部で取得される分類情報が整数画素単位で動かした静止画であるとき、動き適応Ｉ／Ｐ変換部は強制的にフィールド補間とされる。この場合、Ｉ／Ｐ変換部が間違ってライン補間を行って、解像度低下を招くことを回避できる。

また、例えば、画像信号処理部は、輪郭を強調するエンハンス部を含み、分類情報取得部で取得される分類情報が整数画素単位で動かした静止画であるとき、エンハンス部で強調される周波数帯はサンプリング周波数の１／２近傍の高い周波数帯とされる。この場合、画像信号の帯域が広く、動くノイズが少ないため、ノイズを目立たせることなく、精細感を高めることができる。

また、例えば、画像信号処理部は、ノイズ低減を行うノイズリダクション部を含み、分類情報取得部で取得される分類情報が動画以外であるとき、ノイズリダクション部におけるノイズ低減処理は停止されるか、あるいはノイズリダクション部における低減レベルが小さくされる。動画では画像内のオブジェクトに対して動くノイズがあるため、ノイズが目立つが、静止画を元に作られた画像はもともとノイズが少なく、あっても画像内のオブジェクトに対して動かないので、ノイズが目立たない。従って、動画以外ではノイズが目立たないのでノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制できる

このように、処理対象の画像信号を、この画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報に基づいて処理を行うものであり、画像信号の処理は、常に最適画質が得られるように、行われる。

この発明において、例えば、画像信号処理部で処理された画像信号を出力する画像信号出力部をさらに備えるようにされてもよい。また、この発明において、例えば、画像信号処理部で処理された画像信号による画像を表示する画像表示部をさらに備えるようにされてもよい。

この発明によれば、処理対象の画像信号を、この画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報に基づいて処理を行うものであり、常に最適画質が得られるように画像信号の処理を行うことができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号出力装置１００の構成例を示している。この画像信号出力装置１００は、動画、完全静止画、整数画素単位で動かした静止画（以下、「第１の動付与静止画」という）、および整数画素単位でない動きを持った静止画（以下、「第２の動付与静止画」という）という４つの種類の画像信号を、出力することを可能としている。この画像信号出力装置１００では、後述するように、各種類の画像信号に対して、それぞれ、最適画質が得られるように処理が行われる。なお、「完全静止画」、「第１の動付与静止画」、および「第２の動付与静止画」は、静止画群を構成している。

ここで、「動画」の画像信号は、カメラ装置で動画として撮像されて得られた画像信号である。この「動画」の画像信号による動画像（動画）では、ノイズは、同じ位置に止まっておらず動くので、目立つ。また、この動画の画像信号による動画像では、サンプリングの折り返し歪みによる線の周りのジャギ（ギザギザ）は、同じ位置に止まっておらず動くので、目立つ。

また、「完全静止画」の画像信号は、カメラ装置で静止画として撮像されて得られた画像信号である。この「完全静止画」の画像信号は、２００万画素より十分に多い画素数の撮像素子を用いて撮像されることが多い。また、この「完全静止画」の画像信号は、インターレース化して伝送されても、Ｉ／Ｐ変換は理想的に行われる。また、この「完全静止画」の画像信号は、印刷時に好ましい画質となるように、輪郭補正やノイズ抑圧が控えめとされている。また、この「完全静止画」の画像信号による静止画像（静止画）では、ノイズは同じ位置に止まっているので、目立たない。また、この「完全静止画」の画像信号による静止画像では、サンプリングの折り返し歪みによる、線の周りのジャギ（ギザギザ）は同じ位置に止まっているので目立たない。

また、「第１の動付与静止画」の画像信号は、静止画（完全静止画）の画像信号に基づいて生成される。例えば、「第１の動付与静止画」の画像信号は、静止画上に抽出領域を設定し、当該抽出領域を整数画素／フレームで動かしていったときの、各フレームの抽出領域に対応した画像信号により構成される。整数画素は、例えば、１画素または２画素である。

この「第１の動付与静止画」の画像信号は、サンプリングの折り返し歪みによる、線の周りのジャギ（ギザギザ）は、上述の「完全静止画」の場合と同様に目立たない。また、「第１の動付与静止画」の画像信号による画像では、上述の「完全静止画」の場合と同様にノイズは目立たない。また、「第１の動付与静止画」の画像信号は、インターレース化して伝送された場合、動き適応Ｉ／Ｐ変換部がライン補間になると垂直解像度が低下し、特に、折り返し歪みのある部分ではライン補間とフィールド補間とがばたつくことがある。

また、「第２の動付与静止画」の画像信号も、静止画（完全静止画）の画像信号に基づいて生成される。例えば、「第２の動付与静止画」の画像信号は、静止画上に抽出領域を設定し、当該抽出領域を整数画素／フレームで動かし、さらにズーム（拡大縮小）処理を組み合わせ、各フレームの所定領域に対応した画像信号により構成される。所定領域の平行移動にズームが組み合わされているので、整数画素単位以外の動きが入ってしまう。

この「第２の動付与静止画」の画像信号では、サンプリングの折り返し歪みによる、線の周りのジャギ（ギザギザ）は、上述の動画の場合と同様に目立つ。

画像信号出力装置１００は、制御部１０１と、ユーザ操作部１０２と、表示部１０３と、画像データ読み出し部１０４と、データ伸長部１０５と、スケーリング部１０６と、イフェクト部１０７と、折り返し防止フィルタ１０８と、リサンプル部１０９と、エンハンス部１１０と、ノイズリダクション部（ＮＲ部）１１１と、ＨＤＭＩ送信部１１２と、出力端子１１３とを有している。この画像信号出力装置１００は、例えば、パーソナルコンピュータで構成される。

制御部１０１は、画像信号出力装置１００の各部の動作を制御する。ユーザ操作部１０２および表示部１０３は、ユーザインタフェースを構成しており、制御部１０１に接続されている。ユーザ操作部１０２は、画像信号出力装置１００の図示しない筐体に配置されたキーまたはボタン、あるいは表示部１０３の表示面に配置されたタッチパネル等により構成されている。表示部１０３は、画像信号出力装置１００の図示しない筐体に配置されたＬＣＤ(Liquid Crystal Display)等の表示素子により構成されている。

画像データ読み出し部１０４は、記録媒体１２０から画像信号（画像ファイル）を読み出す。記録媒体１２０は、例えばメモリカード、光ディスク、磁気ディスク等のリムーバブルな記録媒体、あるいはハードディスク、半導体メモリ等である。この記録媒体１２０には、動画の画像信号、静止画（完全静止画）の画像信号が記録されている。画像データ読み出し部１０４は、記録媒体１２０が装着されるとき、当該記録媒体１２０からファイル管理情報を読み出し、制御部１０１に供給する。

制御部１０１は、当該管理情報に基づいて、記録媒体１２０に記録されている画像ファイルのファイル名を表示する表示信号を表示部１０３に供給し、当該表示部１０３にファイル名を表示する。ユーザは、ユーザ操作部１０２により、表示部１０３に表示されているファイル名を参照して、画像データ読み出し部１０４で読み出すべき画像ファイルを選択できる。

ここで、記録媒体１２０への画像信号の記録について説明する。例えば、記録媒体１２０には、図２に示すようなカメラ装置１５０により、動画の画像信号、静止画の画像信号が記録される。また、例えば、記録媒体１２０には、図３に示すようなパノラマ画作成装置１６０により、カメラ装置１５０で撮像された複数の静止画の画像信号をつなぎ合わせて得られた高解像度のパノラマ画用の画像信号が記録される。

図２に示すカメラ装置１５０について説明する。このカメラ装置１５０は、撮像部１５１と、撮像信号処理部１５２と、データ圧縮部１５３と、画像データ書き込み部１５４とを有している。撮像部１５１は、図示しない撮像レンズおよび撮像素子を有しており、被写体を撮像して、当該被写体に対応した撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。撮像信号処理部１５２は、撮像部１５１から出力される撮像信号（アナログ信号）のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像信号を出力する。

データ圧縮部１５３は、撮像信号処理部１５２から出力される画像信号に対して圧縮符号化処理を行う。例えば、画像信号が動画に係るものである場合には、ＭＰＥＧ(Moving Picture Expert Group)方式で圧縮符号化が行われる。また、例えば、画像信号が静止画に係るものである場合には、ＪＰＥＧ(Joint Photographic Experts Group)方式で圧縮符号化が行われる。画像データ書き込み部１５４は、データ圧縮部１５３で得られる圧縮符号化された画像信号（動画の画像信号、静止画の画像信号）を、画像ファイルとして記録媒体１２０に書き込む。

図２に示すカメラ装置１５０の動作を簡単に説明する。

撮像部１５１で被写体が、動画として、あるいは静止画として撮像される。この撮像部１５１から出力される撮像信号（アナログ信号）は撮像信号処理部１５２に供給される。撮像信号処理部１５２では、当該撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、Ａ／Ｄ変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像信号が生成される。

この画像信号はデータ圧縮部１５３に供給される。このデータ圧縮部１５３では、画像信号に対してＭＰＥＧ方式あるいはＪＰＥＧ方式の圧縮符号化処理が施され、圧縮符号化された画像信号が生成される。この画像信号は、画像データ書き込み部１５４に供給される。画像データ書き込み部１５４では画像信号を含む画像ファイルが生成される。そして、画像データ書き込み部１５４により、当該生成された画像ファイルが記録媒体１２０に書き込まれて保存される。

図３のパノラマ画作成装置１６０について説明する。このパノラマ画作成装置１６０は、画像データ読み出し部１６１と、データ伸長部１６２と、ステッチング部１６３と、データ圧縮部１６４と、画像データ書き込み部１６５とを有している。このパノラマ画作成装置１６０は、例えば、パーソナルコンピュータで構成される。

画像データ読み出し部１６１は、記録媒体１２０から、パノラマ画を構成すべき複数の静止画の画像信号（画像ファイル）を読み出す。ここで、パノラマ画としては、複数の静止画を横方向につなげたもの（横長のパノラマ画）と、複数の静止画を縦方向につなげたもの（縦長のパノラマ画）が考えられる。

データ伸長部１６２は、画像データ読み出し部１６１で読み出された複数の静止画の画像信号を復号化する。ステッチング部１６３は、データ伸長部１６２で復号化されて得られた複数の静止画の画像信号をつなぎ合わせて、高解像度のパノラマ画用の画像信号を生成する。

データ圧縮部１６４は、ステッチング部１６３で生成されるパノラマ画用の画像信号に対して、例えば、ＪＰＥＧ方式の圧縮符号化処理を行う。画像データ書き込み部１６５は、データ圧縮部１６４で得られる圧縮符号化された画像信号を、静止画の画像ファイルとして記録媒体１２０に書き込む。

図３に示すパノラマ画作成装置１６０の動作を簡単に説明する。

記録媒体１２０から、画像データ読み出し部１６１により、パノラマ画を構成すべき複数の静止画の画像信号（画像ファイル）が読み出される。この複数の静止画の画像信号は、データ伸長部１６２で復号化され、その後に、ステッチング部１６３に供給される。ステッチング部１６３では、複数の静止画の画像信号がつなぎ合わされ、高解像度のパノラマ画用の画像信号（静止画の画像信号）が生成される。

ステッチング部１６３で生成されるパノラマ画用の画像信号はデータ圧縮部１６４に供給される。このデータ圧縮部１６４では、画像信号に対してＪＰＥＧ方式の圧縮符号化処理が施され、圧縮符号化された画像信号が生成される。この画像信号は、画像データ書き込み部１６５に供給される。画像データ書き込み部１６５ではパノラマ画用の画像信号を含む画像ファイルが生成される。そして、画像データ書き込み部１６５により、当該生成された画像ファイルが記録媒体１２０に書き込まれて保存される。

図１に戻って、データ伸長部１０５は、画像データ読み出し部１０４で読み出された画像信号に対して復号化の処理を施す。この場合、読み出された画像信号がＭＰＥＧ方式で符号化されている動画の画像信号であるときは、ＭＰＥＧ方式の復号化処理が施される。また、読み出された画像信号がＪＰＥＧ方式で符号化されている静止画の画像信号であるときは、ＪＰＥＧ方式の復号化処理が施される。

スケーリング部１０６は、データ伸長部１０５で復号化されて得られた画像信号に対して、制御部１０１の制御のもと、必要に応じて、画像の拡大縮小処理（ズーム処理）を施す。例えば、ユーザ操作部１０２からユーザが上述の「第２の動付与静止画」の画像信号を出力することを選択したとき、当該画像信号を生成するためにスケーリング部１０６でズーム処理が行われる。

なお、このように「第２の動付与静止画」の画像信号を出力すること、および上述の「第１の動付与静止画」の画像信号を出力することが選択されるとき、上述の画像データ読み出し部１０４では、上述したパノラマ用の画像信号等の、高解像度な静止画の画像信号（画像ファイル）が、記録媒体１２０から読み出される。

イフェクト部１０７は、スケーリング部１０６でズーム処理が施された画像信号、あるいはデータ伸長部１０５で復号化され、スケーリング部１０６をそのまま通過した画像信号に対して、処理を行う。イフェクト部１０７は、例えば、ユーザ操作部１０２からユーザが上述の「第１の動付与静止画」あるいは「第２の動付与静止画」の画像信号を出力することを選択したとき、以下の処理を行う。

すなわち、イフェクト部１０７は、パノラマ画等の高解像度の静止画上に、例えば表示領域に対応した抽出領域を設定し、当該抽出領域を整数画素／フレームで動かしていき、各フレームにおいて当該抽出領域に対応した画像信号を抽出して出力する。例えば、整数画素は、「第１の動付与静止画」あるいは「第２の動付与静止画」の画像信号による画像の動きがスムーズになるように選定され、例えば、１画素または２画素とされる。

このイフェクト部１０７における処理例を、図４を用いて、さらに説明する。図４（ａ）は抽出領域ＥＡの一例を示している。この抽出領域ＥＡは、フルＨＤ解像度（1920×1080ドット）の表示領域に対応したものである。

図４（ｂ）は、縦方向が１０８０画素、横方向がＮ画素（Ｎ＞１９２０）の高解像度の静止画を示している。例えば、イフェクト部１０７では、図４（ｂ）に示すように、静止画上に抽出領域ＥＡが設定され、この抽出領域ＥＡが横方向にＳ画素／フレームの速度で移動され、各フレームにおいて当該抽出領域ＥＡに対応した画像信号が取り出され、出力画像信号とされる。

図４（ｃ）は、横方向が１９２０画素、縦方向がＭ画素（Ｍ＞１０８０）の高解像度の静止画を示している。例えば、イフェクト部１０７では、図４（ｃ）に示すように、静止画上に抽出領域ＥＡが設定され、この抽出領域ＥＡが縦方向にＳ画素／フレームの速度で移動され、各フレームにおいて当該抽出領域ＥＡに対応した画像信号が取り出され、出力画像信号とされる。

上述した画像データ読み出し部１０４、データ伸長部１０５、スケーリング部１０６およびイフェクト部１０７は、画像信号取得部を構成している。この画像信号取得部により、ユーザの選択操作に基づいて、「動画」、「完全静止画」、「第１の動付与静止画」、および「第２の動付与静止画」という４つの種類の画像信号のうちのいずれかが、選択的に得られる。

制御部１０１は、ユーザ操作部１０２からのユーザの選択に基づいて、記録媒体１２０から読み出すべき画像信号（画像ファイル）を制御し、また、スケーリング部１０６およびイフェクト部１０７の動作を制御し、上述の画像信号取得部で「動画」、「完全静止画」、「第１の動付与静止画」または「第２の動付与静止画」の画像信号が取得されるようにする。そのため、制御部１０１は、画像信号取得部で取得される（イフェクト部１０７から出力される）画像信号Ｓpoが「動画」、「完全静止画」、「第１の動付与静止画」、および「第２の動付与静止画」の４つの種類のうちのいずれであるかを示す分類情報を取得していることになる。この意味で、制御部１０１は、分類情報取得部を構成している。後述の画像信号処理部は、制御部１０１の制御のもと、イフェクト部１０７から出力される画像信号Ｓpoを、分類情報に基づいて処理する。

図１に戻って、折り返し防止フィルタ１０８は、サンプリングによる折り返し歪みを防止するために、イフェクト部１０７から出力される画像信号（イフェクト部１０７で処理が施された画像信号、あるいはデータ伸長部１０５で復号化され、スケーリング部１０６およびイフェクト部１０７をそのまま通過した画像信号）Ｓpoに対して、帯域制限を行う。

上述したように、「動画」の画像信号または「第２の動付与静止画」の画像信号による画像では折り返し歪みが目立つが、「完全静止画」または「第１の動付与静止画」の画像信号による画像では折り返し歪みは目立たない。そのため、折り返し防止フィルタ１０８のカットオフ周波数は、制御部１０１の制御のもと、以下のように制御される。

すなわち、画像信号Ｓpoが「動画」の画像信号または「第２の動付与静止画」の画像信号である場合、折り返し防止フィルタ１０８のカットオフ周波数は、図５の曲線ａに示すように、サンプリング周波数ｆsの１／２とされる。また、画像信号Ｓpoが「完全静止画」の画像信号または「第１の動付与静止画」の画像信号である場合、折り返し防止フィルタ１０８のカットオフ周波数は、図５の曲線ｂに示すように、サンプリング周波数ｆsの１／２より高くされ、解像度低下が抑制される。なお、このサンプリング周波数ｆsは、表示装置（ディスプレイ）におけるサンプリング周波数である。

このように、画像信号Ｓpoが「完全静止画」の画像信号および「第１の動付与静止画」の画像信号である場合、折り返し防止フィルタ１０８のカットオフ周波数が高くされることで、通過帯域内の減衰が少なく、ｆs／２より高い周波数成分を残すことができ、帯域制限による解像度低下を抑制できる。少ない次数のフィルタでも通過帯域内の減衰を少なくすることができる。

リサンプル部１０９は、折り返し防止フィルタ１０８から出力される画像信号に対して、画像信号の画素数を表示装置（ディスプレイ）の画素数に合わせるためのリサンプル処理を行う。例えば、表示装置（ディスプレイ）がフルＨＤ解像度（1920×1080ドット）の表示領域を持つ場合には、その表示領域の各画素のデータが得られるようにリサンプルを行う。なお、上述したイフェクト部１０７で、既に、表示領域に合わせた抽出領域で処理が行われている場合には、リサンプル部１０９におけるリサンプル処理は不要となる。

エンハンス部１１０は、リサンプル部１０９から出力される画像信号に対して、画像の輪郭を強調するための処理を行う。上述したように、「動画」の画像信号の場合、帯域が狭く、しかも動くノイズが多くノイズが目立つが、静止画群（「完全静止画」、「第１の動付与静止画」、「第２の動付与静止画」）の画像信号の場合、帯域が広く、しかも動くノイズが少なくノイズが目立たない。そのため、エンハンス部１１０のエンハンス特性は、制御部１０１の制御のもと、以下のように制御される。

すなわち、画像信号Ｓpoが静止画群の画像信号である場合、エンハンス部１１０のエンハンス特性は、図６の曲線ａに示すように、ｆs／２近傍の高い周波数帯を強調するものとされる。また、画像信号Ｓpoが「動画」の画像信号である場合、エンハンス部１１０のエンハンス特性は、図６の曲線ｂに示すように、静止画群の画像信号の場合と比べて、低めの周波数帯を強調するものとされる。

このように、画像信号Ｓpoが静止画群の画像信号である場合、エンハンス部１１０ではｆs／２近傍の高い周波数帯を強調するものとなるが、この画像信号の帯域は広く、しかもそれによる画像には動くノイズが少ないため、ノイズを目立たせることなく、精細感を高めることができる。

ＮＲ(noisereduction)部１１１は、エンハンス部１１０から出力される画像信号のノイズを低減する。このＮＲ部１１１は、従来周知の、３次元ノイズリダクション回路、あるいは２次元ノイズリダクション回路で構成される。このＮＲ部１１１は、制御部１０１の制御のもと、以下のように制御される。

すなわち、ＮＲ部１１１が３次元ノイズリダクション回路で構成される場合、画像信号Ｓpoが「動画」の画像信号であるときは、上述のように画像のノイズがフレーム毎に動き目立つので、当該３次元ノイズリダクション回路によるノイズ低減処理を行うが、画像信号Ｓpoが静止画群の画像信号であるときは、上述のように画像のノイズは動かず目立たないので、解像度の低下を防止するために、当該３次元ノイズリダクション回路によるノイズ低減処理を行わないようにされる。

また、ＮＲ部１１１が２次元ノイズリダクション回路で構成される場合、画像信号Ｓpoが「動画」の画像信号であるときは、上述のように画像のノイズが目立つので、当該２次元ノイズリダクション回路によるノイズ低減処理を行うが、画像信号Ｓpoが静止画群の画像信号であるときは、上述のように画像のノイズは目立たないので、当該２次元ノイズリダクション回路によるノイズ低減処理を行わないか、低減レベルを「動画」に比べて控えめにする。

このように、画像信号Ｓpoが静止画群の画像信号である場合、ＮＲ部１１１におけるノイズ低減処理は停止されるか、あるいはその低減レベルが小さくされるが、画像信号Ｓpoが静止画群の画像信号であるときは、上述のように画像のノイズは目立たないのでノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制できる。

上述した折り返し防止フィルタ１０８、リサンプル部１０９、エンハンス部１１０およびＮＲ部１１１は、画像信号処理部を構成している。

ＨＤＭＩ(High Definition Multimedia Interface)送信部１１２は、ＮＲ部１１１から出力される画像信号を、ＨＤＭＩに準拠した形式で出力端子１１３に出力する。なお、ＨＤＭＩ送信部１１２は、画像信号のブランキング期間に、当該画像信号が、「動画」、「完全静止画」、「第１の動付与静止画」、および「第２の動付与静止画」の４つの種類のうちのいずれであるかを示す分類情報を挿入する。

また、ＨＤＭＩ送信部１１２は、画像信号のブランキング期間、例えば当該ブランキング期間（データアイランド区間）に配置されるＡＶＩ InfoFrameパケットに、スキャン情報を挿入する。ここで、画像信号が静止画群の画像信号である場合には、画像の縁に不要画像が出ることはなく、アンダースキャンが指定される。なお、ここでのアンダースキャンとは、オーバースキャンして画像の外側部分を表示しないようにせず、全ての有効画素を表示する意味である。これに対して、画像信号が「動画」の画像信号である場合には、画像の縁に不要な画像が出る場合があり、オーバースキャンが指定される。

図１に示す画像信号出力装置１００の動作を説明する。

ユーザの選択操作に基づいて、記録媒体１２０から画像データ読み出し部１０４により、所定の画像信号が読み出される。この場合、ユーザが「動画」の画像信号を出力することを選択したとき、記録媒体１２０からは、対応する動画の画像信号（画像ファイル）が読み出される。また、ユーザが「完全静止画」の画像信号を出力することを選択したとき、記録媒体１２０からは、対応する静止画の画像信号が読み出される。また、ユーザが「第１の動付与静止画」あるいは「第２の動付与静止画」の画像信号を出力することを選択したとき、記録媒体１２０からは、当該「第１の動付与静止画」あるいは「第２の動付与静止画」の画像信号を得るための静止画の画像信号が読み出される。

画像データ読み出し部１０４で読み出された画像信号は、データ伸長部１０５で復号化された後、スケーリング部１０６およびイフェクト部１０７を通じて、処理対象の画像信号Ｓpoが得られる。この場合、ユーザが「動画」あるいは「完全静止画」の画像信号を出力することを選択したとき、データ伸長部１０５で復号化された画像信号（動画あるいは静止画の画像信号）は、スケーリング部１０６およびイフェクト部１０７で処理されることなく、イフェクト部１０７から画像信号Ｓpoとして出力される。

また、ユーザが「第１の動付与静止画」の画像信号を出力することを選択したとき、データ伸長部１０５で復号化された画像信号（静止画の画像信号）は、スケーリング部１０６を介してイフェクト部１０７に供給され、「第１の動付与静止画」の画像信号の生成処理が行われる。すなわち、イフェクト部１０７では、パノラマ画等の高解像度の静止画上に、例えば表示領域に対応した抽出領域を設定し、当該抽出領域を整数画素／フレームで動かしていき、各フレームにおいて当該抽出領域に対応した画像信号を抽出して出力することが行われる。これにより、イフェクト部１０７からは、処理対象の画像信号Ｓpoとして、「第１の動付与静止画」の画像信号が得られる。

また、ユーザが「第２の動付与静止画」の画像信号を出力することを選択したとき、データ伸長部１０５で復号化された画像信号（静止画の画像信号）は、スケーリング部１０６およびイフェクト部１０７の直列回路に供給され、「第２の動付与静止画」の画像信号の生成処理が行われる。すなわち、スケーリング部１０６では、画像の拡大縮小処理（ズーム処理）が行われる。また、イフェクト部１０７では、上述の「第１の動付与静止画」の画像信号を生成する場合と同様の処理が行われる。これにより、イフェクト部１０７からは、処理対象の画像信号Ｓpoとして、「第２の動付与静止画」の画像信号が得られる。

イフェクト部１０７から出力される画像信号Ｓpoは、後段の画像信号処理部に供給され、制御部１０１の制御の下、画像信号Ｓpoの種類に応じて処理される。すなわち、イフェクト部１０７から出力される画像信号Ｓpoは、折り返し防止フィルタ１０８に供給される。この折り返し防止フィルタ１０８では、サンプリングによる折り返し歪みを防止するために、画像信号Ｓpoの帯域が制限される。

この場合、画像信号Ｓpoが「動画」の画像信号および「第２の動付与静止画」の画像信号である場合、画像信号Ｓpoの帯域はサンプリング周波数ｆsの１／２以下に制限される（図５の曲線ａ参照）。これに対して、画像信号Ｓpoが「完全静止画」の画像信号および「第１の動付与静止画」の画像信号である場合、帯域が広く、しかも画像に折り返し歪みが目立たないことから、画像信号Ｓpoの帯域はサンプリング周波数ｆsの１／２より高い周波数で制限され、帯域制限による解像度低下が抑制される（図５の曲線ｂ参照）。

折り返し防止フィルタ１０８から出力される画像信号は、リサンプル部１０９に供給される。このリサンプル部１０９では、画像信号の画素数を表示装置（ディスプレイ）の画素数に合わせるためのリサンプル処理が行われる。このリサンプル部１０９から出力される画像信号は、エンハンス部１１０に供給される。このエンハンス部１１０では、リサンプル部１０９から出力される画像信号に対して、画像の輪郭を強調するための処理が行われる。

この場合、画像信号Ｓpoが静止画群の画像信号である場合、帯域が広く、しかも動くノイズが少なくノイズが目立たないことから、ｆs／２近傍の高い周波数帯が強調され、ノイズを目立たせることなく、精細感が高められる（図６の曲線ａ参照）。これに対して、画像信号Ｓpoが「動画」の画像信号である場合、帯域が狭く、しかも動くノイズが多くノイズが目立つことから、静止画群の画像信号の場合と比べて、低めの周波数帯が強調される（図６の曲線ｂ参照）。

エンハンス部１１０から出力される画像信号は、ＮＲ部１１１に供給される。このＮＲ部１１１では、画像信号のノイズを低減する処理が行われる。この場合、画像信号Ｓpoが静止画群の画像信号である場合、ノイズは目立たないのでノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制するために、ＮＲ部１１１におけるノイズ低減処理が停止され、あるいはその低減レベルが小さくされる。これに対して、画像信号Ｓpoが「動画」の画像信号である場合、動くノイズが多くノイズが目立つことから、ＮＲ部１１１におけるノイズ低減処理が有効とされる。

ＮＲ部１１１から出力される画像信号は、ＨＤＭＩ送信部１１２に供給される。このＨＤＭＩ送信部１１２では、ＮＲ部１１１から出力される画像信号が、フレーム毎に、ＨＤＭＩに準拠した形式とされて、出力端子１１３に出力される。この場合、画像信号のブランキング期間に、当該画像信号が、「動画」、「完全静止画」、「第１の動付与静止画」、および「第２の動付与静止画」の４つの種類のうちのいずれであるかを示す分類情報が挿入される。また、この場合、画像信号のブランキング期間に、スキャン情報（静止画群の画像信号である場合にはアンダースキャン、「動画」の画像信号である場合にはオーバースキャン）が挿入される。

なお、出力端子１１３に得られるＨＤＭＩに準拠した形式の画像信号は、例えば、ＨＤＭＩケーブルを介して、ＨＤＭＩ端子を持つディスプレイ等に供給される。

図７のフローチャートは、図１の画像信号出力装置１００における、制御部１０１の制御動作の一例を示している。制御部１０１は、上述したように取得した、画像信号Ｓpoの分類情報に基づいて、制御を行う。

制御部１０１は、ステップＳＴ１において、制御処理を開始し、その後に、ステップＳＴ２に移る。このステップＳＴ２において、制御部１０１は、画像信号Ｓpoが静止画群（「完全静止画」、「第１の動付与静止画」、「第２の動付与静止画」）の画像信号であるか否かを判断する。静止画群の画像信号であるとき、制御部１０１は、ステップＳＴ３において、アンダースキャンを指定する。すなわち、制御部１０１は、ＨＤＭＩ送信部１１２を制御し、画像信号のブランキング期間に挿入されるスキャン情報をアンダースキャンとする。これは、画像信号Ｓpoが静止画群の画像信号である場合には、画像の縁に不要画像が出ることがないからである。

次に、制御部１０１は、ステップＳＴ４において、エンハンス特性を静止画仕様にする。すなわち、制御部１０１は、エンハンス部１１０を制御し、エンハンス特性をｆs／２近傍の高い周波数帯が強調される特性とする（図６の曲線ａ参照）。これは、上述したように、画像信号Ｓpoが静止画群の画像信号である場合、帯域が広く、しかも動くノイズが少なくノイズが目立たないことから、ｆs／２近傍の高い周波数帯を強調することで、ノイズを目立たせることなく、精細感を高めることができるからである。

次に、制御部１０１は、ステップＳＴ５において、ＮＲ部１１１の動作を静止画仕様にする。すなわち、制御部１０１は、ＮＲ部１１１を制御し、ノイズ低減処理を停止するか、あるいはその低減レベルを小さくする。これは、上述したように、像信号Ｓpoが静止画群の画像信号である場合、ノイズは目立たず、ノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制するためである。

次に、制御部１０１は、ステップＳＴ６において、画像信号Ｓpoが「完全静止画」の画像信号であるか否かを判断する。「完全静止画」の画像信号であるとき、制御部１０１は、ステップＳＴ７において、折り返し防止フィルタ１０８のカットオフ周波数を高くする。すなわち、制御部１０１は、折り返し防止フィルタ１０８を制御し、カットオフ周波数をサンプリング周波数ｆsの１／２より高い周波数とする（図５の曲線ｂ参照）。これは、上述したように、像信号Ｓpoが「完全静止画」の画像信号である場合、帯域が広く、しかも画像に折り返し歪みが目立たなく、帯域制限による解像度低下を抑制するためである。

制御部１０１は、ステップＳＴ７の処理の後、ステップＳＴ８において、制御処理を終了する。

また、上述のステップＳＴ６で画像信号Ｓpoが「完全静止画」の画像信号でないとき、制御部１０１は、ステップＳＴ９において、画像信号Ｓpoが「第１の動付与静止画」の画像信号であるか否かを判断する。「第１の動付与静止画」の画像信号であるとき、制御部１０１は、ステップＳＴ７において、上述した「完全静止画」の画像信号であるときと同様に、折り返し防止フィルタ１０８のカットオフ周波数を高くする。これは、上述したように、像信号Ｓpoが「第１の動付与静止画」の画像信号である場合、「完全静止画」の画像信号であるときと同様に、帯域が広く、しかも画像に折り返し歪みが目立たなく、帯域制限による解像度低下を抑制するためである。

また、上述のステップＳＴ９で画像信号Ｓpoが「第１の動付与静止画」の画像信号でないとき、つまり、画像信号Ｓpoが「第２の動付与静止画」の画像信号であるとき、制御部１０１は、ステップＳＴ１０において、折り返し防止フィルタ１０８のカットオフ周波数を低くする。すなわち、制御部１０１は、折り返し防止フィルタ１０８を制御し、カットオフ周波数をサンプリング周波数ｆsの１／２の周波数とする（図５の曲線ａ参照）。これは、上述したように、画像信号Ｓpoが「第２の動付与静止画」の画像信号である場合、折り返し歪みが目立つので、折り返し歪みの発生を防止するためである。

制御部１０１は、ステップＳＴ１０の処理の後、ステップＳＴ８において、制御処理を終了する。

また、上述のステップＳＴ２で画像信号Ｓpoが静止画群の画像信号でないとき、つまり、画像信号Ｓpoが「動画」の画像信号であるとき、制御部１０１は、ステップＳＴ１１において、オーバースキャンを指定する。すなわち、制御部１０１は、ＨＤＭＩ送信部１１２を制御し、画像信号のブランキング期間に挿入されるスキャン情報をオーバースキャンとする。これは、画像信号Ｓpoが「動画」の画像信号である場合には、画像の縁に不要画像が出る場合があるからである。

次に、制御部１０１は、ステップＳＴ１２において、エンハンス特性を動画仕様とする。すなわち、制御部１０１は、エンハンス部１１０を制御し、エンハンス特性をｆs／２近傍の高い周波数帯よりも低い周波数帯が強調される特性とする（図６の曲線ｂ参照）。これは、上述したように、画像信号Ｓpoが「動画」の画像信号である場合、動くノイズが多くノイズが目立つので、当該ノイズを強調して画質が劣化するのを防止するためである。

次に、制御部１０１は、ステップＳＴ１３において、折り返し防止フィルタ１０８のカットオフ周波数を低くする。すなわち、制御部１０１は、折り返し防止フィルタ１０８を制御し、カットオフ周波数をサンプリング周波数ｆsの１／２の周波数とする（図５の曲線ａ参照）。これは、上述したように、画像信号Ｓpoが「動画」の画像信号である場合、折り返し歪みが目立つので、折り返し歪みの発生を防止するためである。

次に、制御部１０１は、ステップＳＴ１４において、ＮＲ部１１１の動作を動画仕様にする。すなわち、制御部１０１は、ＮＲ部１１１を制御し、ノイズ低減処理を有効とする。これは、上述したように、像信号Ｓpoが「動画」の画像信号である場合、動くノイズが多くノイズが目立つので、当該ノイズを良好に低減するためである。

制御部１０１は、ステップＳＴ１４の処理の後、ステップＳＴ８において、制御処理を終了する。

以上説明したように、図１に示す画像信号出力装置１００においては、画像信号Ｓpoの分類情報に基づき、制御部１０１の制御により、折り返し防止フィルタ１０８、エンハンス部１１０、ＮＲ部１１１の処理が制御されるものであり、画像信号Ｓpoの種類に依らずに、常に最適画質が得られるように、処理が行われる。

また、図１に示す画像信号出力装置１００においては、画像信号Ｓpoを「動画」、「完全静止画」、「第１の動付与静止画」および「第２の動付与静止画」の４種類に分類して処理するものであり、画像信号Ｓpoが「第１の動付与静止画」の画像信号、あるいは「第２の動付与静止画」の画像信号である場合にあっても、折り返し防止フィルタ１０８、エンハンス部１１０、ＮＲ部１１１では、最適画質が得られるように処理が行われる。

なお、図１に示す画像信号出力装置１００は、上述したようにパーソナルコンピュータで構成できる他、フォトプレーヤあるいはフォトストレージャとして構成でき、さらに、カメラ装置、テレビ受信機等の画像表示装置に含めることもできる。また、図１に示す画像信号出力装置１００においては、ＮＲ部１１１から出力される画像信号をＨＤＭＩ送信部１１２でＨＤＭＩに準拠した形式として出力端子１１３に出力するものを示したが、ＮＲ部１１１から出力される画像信号をＬＣＤ等で構成されるディスプレイに供給して、画像表示を行う構成も考えられる。

次に、この発明の他の実施の形態について説明する。図８は、他の実施の形態としての画像表示装置２００の構成例を示している。この画像表示装置２００では、上述した「動画」、「完全静止画」、「第１の動付与静止画」、および「第２の動付与静止画」という４つの種類の画像信号に対して、それぞれ、最適画質が得られるように処理が行われる。

画像表示装置２００は、制御部２０１と、ユーザ操作部２０２と、表示部２０３と、入力端子（ＨＤＭＩ端子）２０４と、ＨＤＭＩ受信部２０５と、ＮＲ部２０６と、Ｉ／Ｐ変換部２０７と、エンハンス部２０８と、表示部２０９とを有している。

制御部２０１は、画像表示装置２００の各部の動作を制御する。ユーザ操作部２０２および表示部２０３は、ユーザインタフェースを構成しており、制御部２０１に接続されている。ユーザ操作部２０２は、画像表示装置２００の図示しない筐体に配置されたキーまたはボタン、あるいはリモートコントロール装置等により構成されている。表示部２０３は、画像表示装置２００の図示しない筐体に配置されたＬＣＤ等の表示素子により構成されている。

ＨＤＭＩ受信部２０５は、入力端子２０４に入力されるＨＤＭＩに準拠した形式の画像信号に基づいて、処理対象の画像信号Ｓinを取得すると共に、ブランキング期間に挿入されていた当該画像信号Ｓinの分類情報を取得する。ここで、入力端子２０４およびＨＤＭＩ受信部２０５は、画像信号取得部と分類情報取得部とを構成している。この実施の形態において、ＨＤＭＩ受信部２０５で取得される画像信号Ｓinはインターレース信号であるとする。

また、この実施の形態において、画像信号Ｓinは「動画」、「完全静止画」、「第１の動付与静止画」、または「第２の動付与静止画」の画像信号であり、分類情報は当該画像信号Ｓinがいずれの種類の画像信号であるかを示す情報である。ＨＤＭＩ受信部２０５で取得される分類情報は、制御部２０１に供給される。後述の画像信号処理部は、制御部２０１の制御のもと、ＨＤＭＩ受信部２０５から出力される画像信号Ｓinを、分類情報に基づいて処理する。

ＮＲ部２０６は、ＨＤＭＩ受信部２０５から出力される画像信号Ｓinのノイズを低減する。このＮＲ部２０６は、従来周知の、３次元ノイズリダクション回路、あるいは２次元ノイズリダクション回路で構成される。このＮＲ部２０６は、制御部２０１の制御のもと、以下のように制御される。

すなわち、ＮＲ部２０６が３次元ノイズリダクション回路で構成される場合、画像信号Ｓinが「動画」の画像信号であるときは、上述のように画像のノイズがフレーム毎に動き目立つので、当該３次元ノイズリダクション回路によるノイズ低減処理を行うが、画像信号Ｓinが静止画群の画像信号であるときは、上述のように画像のノイズは動かず目立たないので、解像度の低下を防止するために、当該３次元ノイズリダクション回路によるノイズ低減処理を行わないようにされる。

また、ＮＲ部２０６が２次元ノイズリダクション回路で構成される場合、画像信号Ｓinが「動画」の画像信号であるときは、上述のように画像のノイズが目立つので、当該２次元ノイズリダクション回路によるノイズ低減処理を行うが、画像信号Ｓinが静止画群の画像信号であるときは、上述のように画像のノイズは目立たないので、当該２次元ノイズリダクション回路によるノイズ低減処理を行わないか、低減レベルを「動画」に比べて控えめにする。

このように、画像信号Ｓinが静止画群の画像信号である場合、ＮＲ部２０６におけるノイズ低減処理は停止されるか、あるいはその低減レベルが小さくされるが、画像信号Ｓinが静止画群の画像信号であるときは、上述のように画像のノイズは目立たないのでノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制できる。

Ｉ／Ｐ変換部２０７は、ＮＲ部２０６から出力される画像信号を、インターレース信号からプログレッシブ信号に変換する。このＩ／Ｐ変換部２０７は、詳細説明は省略するが、動き適応型の構成とされ、基本的には、動画部分についてはライン補間を行い、静止画部分についてはフィールド補間を行う。このＩ／Ｐ変換部２０７は、制御部２０１の制御のもと、以下のように制御される。

すなわち、画像信号Ｓinが「動画」および「第２の動付与静止画」の画像信号である場合、Ｉ／Ｐ変換部２０７は、動き適応の補間処理を行うようにされる。これに対して、画像信号Ｓinが「完全静止画」および「第１の動付与静止画」の画像信号である場合、Ｉ／Ｐ変換部２０７は、強制的に、フィールド補間による補間処理を行うようにされる。

このように、画像信号Ｓpoが「完全静止画」の画像信号および「第１の動付与静止画」の画像信号である場合、Ｉ／Ｐ変換部２０７では、強制的に、フィールド補間による補間処理が行われることで、間違ってライン補間を行って解像度低下を招くことを回避できる。

エンハンス部２０８は、Ｉ／Ｐ変換部２０７から出力される画像信号に対して、画像の輪郭を強調するための処理を行う。上述したように、「動画」の画像信号の場合、帯域が狭く、しかも動くノイズが多くノイズが目立つが、静止画群（「完全静止画」、「第１の動付与静止画」、「第２の動付与静止画」）の画像信号の場合、帯域が広く、しかも動くノイズが少なくノイズが目立たない。そのため、エンハンス部２０８のエンハンス特性は、制御部２０１の制御のもと、以下のように制御される。

すなわち、画像信号Ｓinが静止画群の画像信号である場合、エンハンス部２０８のエンハンス特性は、ｆs／２近傍の高い周波数帯を強調するものとされる(図６の曲線ａ参照)。また、画像信号Ｓinが「動画」の画像信号である場合、エンハンス部２０８のエンハンス特性は、静止画群の画像信号の場合と比べて、低めの周波数帯を強調するものとされる（図６の曲線ｂ参照）。

このように、画像信号Ｓinが静止画群の画像信号である場合、エンハンス部２０８ではｆs／２近傍の高い周波数帯を強調するものとなるが、この画像信号の帯域は広く、しかもそれによる画像には動くノイズが少ないため、ノイズを目立たせることなく、精細感を高めることができる。

上述したＮＲ部２０６、Ｉ／Ｐ変換部２０７およびエンハンス部２０８は、画像信号処理部を構成している。

表示部２０９は、エンハンス部２０８から出力される画像信号による画像を表示する。この表示部２０９は、例えば、ＬＣＤ,ＰＤＰ等の固定画素表示素子により構成されている。

図８に示す画像表示装置２００の動作を説明する。

入力端子２０４に、ＨＤＭＩに準拠した形式の画像信号が入力され、この画像信号はＨＤＭＩ受信部２０５に供給される。このＨＤＭＩ受信部２０５では、ＨＤＭＩに準拠した形式の画像信号から、処理対象の画像信号Ｓinが取得されると共に、この画像信号Ｓinの分類情報が取得される。分類情報は制御部２０１に供給される。

画像信号Ｓinは、ＮＲ部２０６に供給される。このＮＲ部２０６では、画像信号のノイズを低減する処理が行われる。この場合、画像信号Ｓinが静止画群の画像信号である場合、ノイズは目立たないのでノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制するために、ＮＲ部２０６におけるノイズ低減処理が停止され、あるいはその低減レベルが小さくされる。これに対して、画像信号Ｓinが「動画」の画像信号である場合、動くノイズが多くノイズが目立つことから、ＮＲ部２０６におけるノイズ低減処理が有効とされる。

ＮＲ部２０６から出力される画像信号（インターレース信号）は、Ｉ／Ｐ変換部２０７に供給される。このＩ／Ｐ変換部２０７では、画像信号は、インターレース信号からプログレッシブ信号に変換される。この場合、画像信号Ｓinが「動画」および「第２の動付与静止画」の画像信号である場合、動き適応の補間処理が行われる。これに対して、画像信号Ｓinが「完全静止画」および「第１の動付与静止画」の画像信号である場合、間違ってライン補間を行って解像度低下を招くことがないように、強制的にフィールド補間による補間処理が行われる。

Ｉ／Ｐ変換部２０７から出力される画像信号（プログレッシブ信号）は、エンハンス部２０８に供給される。このエンハンス部２０８では、画像信号に対して、画像の輪郭を強調するための処理が行われる。この場合、画像信号Ｓinが静止画群の画像信号である場合、帯域が広く、しかも動くノイズが少なくノイズが目立たないことから、ｆs／２近傍の高い周波数帯が強調され、ノイズを目立たせることなく、精細感が高められる（図６の曲線ａ参照）。これに対して、画像信号Ｓinが「動画」の画像信号である場合、帯域が狭く、しかも動くノイズが多くノイズが目立つことから、静止画群の画像信号の場合と比べて、低めの周波数帯が強調される（図６の曲線ｂ参照）。

エンハンス部２０８から出力される画像信号は表示部２０９に供給される。表示部２０９には、画像信号による画像が表示される。

図９のフローチャートは、図８の画像表示装置２００における、制御部２０１の制御動作の一例を示している。制御部２０１は、上述したようにＨＤＭＩ受信部２０５から供給される画像信号Ｓinの分類情報に基づいて、制御を行う。

制御部２０１は、ステップＳＴ２１において、制御処理を開始し、その後に、ステップＳＴ２２に移る。このステップＳＴ２２において、制御部２０１は、画像信号Ｓinが静止画群（「完全静止画」、「第１の動付与静止画」、「第２の動付与静止画」）の画像信号であるか否かを判断する。静止画群の画像信号であるとき、制御部２０１は、ステップＳＴ２３において、表示部２０９における表示をアンダースキャンにする。

次に、制御部２０１は、ステップＳＴ２４において、エンハンス特性を静止画仕様にする。すなわち、制御部２０１は、エンハンス部２０８を制御し、エンハンス特性をｆs／２近傍の高い周波数帯が強調される特性とする（図６の曲線ａ参照）。これは、上述したように、画像信号Ｓinが静止画群の画像信号である場合、帯域が広く、しかも動くノイズが少なくノイズが目立たないことから、ｆs／２近傍の高い周波数帯を強調することで、ノイズを目立たせることなく、精細感を高めることができるからである。

次に、制御部２０１は、ステップＳＴ２５において、ＮＲ部２０６の動作を静止画仕様にする。すなわち、制御部２０１は、ＮＲ部２０６を制御し、ノイズ低減処理を停止するか、あるいはその低減レベルを小さくする。これは、上述したように、像信号Ｓinが静止画群の画像信号である場合、ノイズは目立たず、ノイズ低減処理の必要性が少なく、ノイズ低減処理による画質低下を抑制するためである。

次に、制御部２０１は、ステップＳＴ２６において、画像信号Ｓinが、「完全静止画」または「第１の動付与静止画」の画像信号であるか否かを判断する。「完全静止画」または「第１の動付与静止画」の画像信号であるとき、制御部２０１は、ステップＳＴ２７において、Ｉ／Ｐ変換部２０７の補間処理を強制的にフィールド補間にする。これは、上述したように、間違ってライン補間を行って解像度低下を招くことを防止するためである。

制御部２０１は、ステップＳＴ２７の処理の後、ステップＳＴ２８において、制御処理を終了する。

また、上述のステップＳＴ２６で「完全静止画」または「第１の動付与静止画」の画像信号でないとき、つまり、「第２の動付与静止画」の画像信号であるとき、制御部２０１は、ステップＳＴ２９において、Ｉ／Ｐ変換部２０７の補間処理を動き適応にし、その後に、ステップＳＴ２８において、制御処理を終了する。

また、上述のステップＳＴ２２で静止画群の画像信号でないとき、つまり、「動画」の画像信号であるとき、制御部２０１は、ステップＳＴ３０において、表示部２０９における表示をオーバースキャンにする。そして、制御部２０１は、ステップＳＴ３１において、エンハンス特性を動画仕様とする。すなわち、制御部２０１は、エンハンス部２０８を制御し、エンハンス特性をｆs／２近傍の高い周波数帯よりも低い周波数帯が強調される特性とする（図６の曲線ｂ参照）。これは、上述したように、画像信号Ｓinが「動画」の画像信号である場合、動くノイズが多くノイズが目立つので、当該ノイズを強調して画質が劣化するのを防止するためである。

次に、制御部２０１は、ステップＳＴ３２において、ＮＲ部２０６の動作を動画仕様にする。すなわち、制御部２０１は、ＮＲ部２０６を制御し、ノイズ低減処理を有効とする。これは、上述したように、像信号Ｓinが「動画」の画像信号である場合、動くノイズが多くノイズが目立つので、当該ノイズを良好に低減するためである。

そして、制御部２０１は、ステップＳＴ３２の処理の後、ステップＳＴ２９において、Ｉ／Ｐ変換部２０７の補間処理を動き適応にし、その後に、ステップＳＴ２８において、制御処理を終了する。

以上説明したように、図８に示す画像表示装置２００においては、画像信号Ｓinの分類情報に基づき、制御部２０１の制御により、ＮＲ部２０６、Ｉ／Ｐ変換部２０７、エンハンス部２０８の処理が制御されるものであり、画像信号Ｓinの種類に依らずに、表示部２０９には、常に最適画質の画像が表示される。

なお、図９のフローチャートで示す制御部２０１の制御動作は、画像信号Ｓinの送り側で当該画像信号Ｓinの分類情報を送ることが前提である。しかし、ＨＤＭＩの規格には、現段階では分類情報は定義されていない。しかし、オーバースキャンのフラグは定義されているので、画像信号の送り側で、動画のみにオーバースキャンのフラグを送ることで、制御部２０１は当該オーバースキャンのフラグを利用して静止画群であるか否かの判断を行うことができる。

図１０のフローチャートは、オーバースキャンのフラグを用いた、制御部２０１の制御動作の一例を示している。この図１０において、図９と対応するステップには同一符号を付して示している。

制御部２０１は、ステップＳＴ２１において、制御処理を開始し、その後に、ステップＳＴ２２Ａに移る。このステップＳＴ２２Ａにおいて、制御部２０１は、アンダースキャンであるか否かを判断する。この場合、制御部２０１は、オーバースキャンのフラグがないときはアンダースキャンであると判断する。

アンダースキャンと判断するとき、画像信号Ｓinは静止画群の画像信号であるので、制御部２０１は、ステップＳＴ２３において、表示部２０９における表示をアンダースキャンにし、その後に、ステップＳＴ２４に移る。一方、オーバースキャンと判断するとき、画像信号Ｓinは動画の画像信号であるので、制御部２０１は、ステップＳＴ３０において、表示部２０９における表示をオーバースキャンにし、その後に、ステップＳＴ３１に移る。

上述のようにアンダースキャンと判断するとき、画像信号Ｓinが静止画群の画像信号であることは分かるが、「完全静止画」、「第１の動付与静止画」、「第２の動付与静止画」）のいずれの画像信号であるかは分からない。したがって、図１０のフローチャートに示す制御動作では、制御部２０１は、ステップＳＴ２５の処理の後、直ちに、ステップＳＴ２７に移る。
詳細説明は省略するが、図１０のフローチャートにおけるその他は、図９のフローチャートと同様である。

また、図８に示す画像表示装置２００においては、画像信号Ｓinを「動画」、「完全静止画」、「第１の動付与静止画」および「第２の動付与静止画」の４種類に分類して処理するものであり、画像信号Ｓinが「第１の動付与静止画」の画像信号、あるいは「第２の動付与静止画」の画像信号である場合にあっても、ＮＲ部２０６、Ｉ／Ｐ変換部２０７、エンハンス部２０８では、最適画質が得られるように処理が行われる。

なお、図８に示す画像表示装置２００において、ＨＤＭＩ受信部２０５で、例えば画像信号のブランキング期間から、上述したようにＮＲ部２０６、エンハンス部２０８で処理すべき処理が画像信号Ｓinに対して既に行われているか否かを示す情報を取得できるとき、制御部２０１は、当該情報に基づいて、ＮＲ部２０６、エンハンス部２０８の動作を制御し、画像信号Ｓinに対して重複した処理が行われないように制御するようにしてもよい。

この発明は、画像信号の種類に依らず常に最適画質が得られるように処理を行うものであり、動画、静止画、さらには整数画素単位で動かした静止画等、複数の種類の画像信号を取り扱う画像信号処理装置（画像信号出力装置、画像表示装置）に適用できる。

この発明の実施の形態としての画像信号出力装置の構成例を示すブロック図である。 記録媒体に動画、静止画の画像信号を記録するカメラ装置の構成例を示すブロック図である。 カメラ装置で撮像された複数の静止画の画像信号をつなぎ合わせて高解像度のパノラマ画用の画像信号を生成するパノラマ画作成装置の構成例を示すブロック図である。 「第１動付与静止画」あるいは「第２の動付与静止画」の画像信号を作成する際のイフェクト部の処理例を説明するための図である。 折り返し防止フィルタの特性を説明するための図である。 エンハンス特性を説明するための図である。 画像信号出力装置における、制御部の制御動作の一例を示すフローチャートである。 この発明の他の実施の形態としての画像表示装置の構成例を示すブロック図である。 画像表示装置における、制御部の制御動作の一例を示すフローチャートである。 画像表示装置における、制御部の制御動作の他の例を示すフローチャートである。

符号の説明

１００・・・画像信号出力装置、１０１・・・制御部、１０２・・・ユーザ操作部、１０３・・・表示部、１０４・・・画像データ読み出し部、１０５・・・データ伸長部、１０６・・・スケーリング部、１０７・・・イフェクト部、１０８・・・折り返し防止フィルタ、１０９・・・リサンプル部、１１０・・・エンハンス部、１１１・・・ノイズリダクション部、１１２・・・ＨＤＭＩ送信部、１１３・・・出力端子、１２０・・・記録媒体、１５０・・・カメラ装置、１５１・・・撮像部、１５２・・・撮像信号処理部、１５３・・・データ圧縮部、１５４・・・画像データ書き込み部、１６０・・・パノラマ画作成装置、１６１・・・画像データ読み出し部、１６２・・・データ伸長部、１６３・・・ステッチング部、１６４・・・データ圧縮部、１６５・・・画像データ書き込み部、２００・・・画像表示装置、２０１・・・制御部、２０２・・・ユーザ操作部、２０３・・・表示部、２０４・・・入力端子（ＨＤＭＩ端子）、２０５・・・ＨＤＭＩ受信部、２０６・・・ノイズ抑圧部、２０７・・・Ｉ／Ｐ変換部、２０８・・・エンハンス部、２０９・・・表示部

Claims (15)

1. 処理対象の画像信号を取得する画像信号取得部と、
   上記画像信号取得部で取得される画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報を取得する分類情報取得部と、
   上記画像信号取得部で取得される画像信号を、上記分類情報取得部で取得される分類情報に基づいて処理する画像信号処理部と
   を備えることを特徴とする画像信号処理装置。
2. 上記分類情報取得部で取得される分類情報は、動画、完全静止画、整数画素単位で動かした静止画、および整数画素単位でない動きを持った静止画のいずれかである
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 上記画像信号処理部は、折り返し防止フィルタを含み、
   上記分類情報取得部で取得される分類情報が上記整数画素単位で動かした静止画または完全静止画であるときの上記折り返し防止フィルタの帯域はその他のときよりも広帯域とされる
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 上記画像信号処理部は、輪郭を強調するエンハンス部を含み、
   上記分類情報取得部で取得される分類情報が上記整数画素単位で動かした静止画であるとき、上記エンハンス部で強調される周波数帯は、サンプリング周波数の１／２近傍の高い周波数帯とされる
   ことを特徴とする請求項１に記載の画像信号処理装置。
5. 上記画像信号処理部は、ノイズ低減を行うノイズリダクション部を含み、
   上記分類情報取得部で取得される分類情報が動画以外であるとき、上記ノイズリダクション部におけるノイズ低減処理は停止されるか、あるいは上記ノイズリダクション部における低減レベルが小さくされる
   ことを特徴とする請求項１に記載の画像信号処理装置。
6. 上記画像信号取得部で取得される画像信号はインターレース信号であり、
   上記画像信号処理部は、上記インターレース信号をプログレッシブ信号に変換する動き適応Ｉ／Ｐ変換部を含み、
   上記分類情報取得部で取得される分類情報が整数画素単位で動かした静止画であるとき、上記動き適応Ｉ／Ｐ変換部における補間は強制的にフィールド補間とされる
   ことを特徴とする請求項１に記載の画像信号処理装置。
7. 上記画像信号処理部で処理された画像信号を出力する画像信号出力部をさらに備える
   ことを特徴とする請求項１に記載の画像信号処理装置。
8. 上記画像信号処理部で処理された画像信号による画像を表示する画像表示部をさらに備える
   ことを特徴とする請求項１に記載の画像信号処理装置。
9. 上記画像信号取得部は、
   記録媒体より動画または静止画の画像信号を読み出す画像データ読み出し部と、
   上記画像データ読み出し部で読み出される上記静止画の画像信号に基づいて、上記整数画素単位で動かした静止画の画像信号または上記整数画素単位でない動きを持った静止画の画像信号を生成する画像信号生成部とを有する
   ことを特徴と請求項２に記載の画像信号処理装置。
10. 処理対象の画像信号を取得する画像信号取得ステップと、
    上記画像信号取得ステップで取得される画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報を取得する分類情報取得ステップと、
    上記画像信号取得ステップで取得される画像信号を、上記分類情報取得ステップで取得される分類情報に基づいて処理する画像信号処理ステップと
    を備えることを特徴とする画像信号処理方法。
11. コンピュータを、
    処理対象の画像信号を取得する画像信号取得手段と、
    上記画像信号取得手段で取得される画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報を取得する分類情報取得手段と、
    上記画像信号取得手段で取得される画像信号を、上記分類情報取得手段で取得される分類情報に基づいて処理する画像信号処理手段と
    して機能させるためのプログラム。
12. 被写体を撮像し、該被写体に対応した画像信号を得る撮像部と、
    上記撮像部で得られる画像信号を処理する画像信号処理装置とを有し、
    上記画像信号処理装置は、
    上記撮像部で得られる画像信号に基づいて、処理対象の画像信号を取得する画像信号取得部と、
    上記画像信号取得部で取得される画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報を取得する分類情報取得部と、
    上記画像信号取得部で取得される画像信号を、上記分類情報取得部で取得される分類情報に基づいて処理する画像信号処理部とを備える
    ことを特徴とするカメラ装置。
13. 画像信号処理装置と、
    上記画像信号処理装置で得られる画像信号による画像を表示する画像表示部とを有し、
    上記画像信号処理装置は、
    処理対象の画像信号を取得する画像信号取得部と、
    上記画像信号取得部で取得される画像信号に対する、少なくとも整数画素単位で動かした静止画を１つの種類として含む分類の分類情報を取得する分類情報取得部と、
    上記画像信号取得部で取得される画像信号を、上記分類情報取得部で取得される分類情報に基づいて処理する画像信号処理部と
    を備えることを特徴とする画像表示装置。
14. 表示領域の解像度よりも高い解像度の静止画の画像信号に基づいて、上記表示領域の整数画素単位で動かした静止画の画像信号を生成する画像信号生成部と、
    上記画像信号生成部で生成される画像信号を処理して出力する画像信号処理部とを備え、
    上記画像信号処理部は、折り返し防止フィルタを含み、
    上記折り返し防止フィルタの帯域は、動画および整数画素単位でない動きを持った静止画を扱う場合より広帯域とされる
    ことを特徴とする画像信号出力装置。
15. 表示領域の解像度よりも高い解像度の静止画の画像信号に基づいて、上記表示領域の整数画素単位で動かした静止画の画像信号を生成する画像信号生成部と、
    上記画像信号生成部で生成される画像信号を処理して出力する画像信号処理部とを備え、
    上記画像信号処理部は、輪郭を強調するエンハンス部を含み、
    上記エンハンス部で強調される周波数帯は、サンプリング周波数の１／２近傍の高い周波数帯とされる
    ことを特徴とする画像信号出力装置。

Images