JP2014096745A - 画像伝送システム - Google Patents

Abstract

【課題】 領域毎に画像の複雑さに応じて異なる縮小／拡大処理を行って、確実に折返し成分を除去し、再生画像の高画質化を図ることができる画像伝送システムを提供する。
【解決手段】 画像縮小処理装置１が、入力された画像を所定の領域に分割し、分割された各領域について画像の複雑さを評価し、領域毎に、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小し、画像拡大処理装置２が、縮小処理装置において折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理で画像を拡大し、折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理で画像を拡大し、折返し成分を残す拡大処理が行われた領域について折返し成分を除去する画像伝送システムとしている。
【選択図】 図３

Description

本発明は、画像伝送システムに係り、特に領域毎に複雑さに応じて異なる縮小／拡大処理を行って、再生画像の折り返し成分を適切に除去し、高画質化を図ることができる画像伝送システムに関する。

［先行技術の説明］
近年、画像サイズ拡大に伴ってデータ量が急激に増大しており、データ量を削減するための技術が進展している。
また、送信側において画像の空間方向に間引き処理（縮小処理）を施し、画像符号化などの圧縮処理を行い、受信側で復号化後に拡大を行うことで、伝送データ量を大きく削減する技術も登場している。

ここで、縮小処理に伴う折返し雑音について簡単に説明する。
映像データは、サンプリングによってデジタル化される際に、その連続性が失われ、離散値に変換される。
サンプリング周波数の１／２倍の周波数（ナイキスト周波数）以上の成分が残る場合、その成分は、ナイキスト周波数で折り返した波形の折返し雑音となり、再生映像の劣化を招く。
そのため、画像を縮小した際に生じる折り返し成分を、拡大時に適切に除去することによって再生画像の高画質化を図ることが考えられる。

［従来の画像縮小について：図１０］
従来の画像伝送システムの画像縮小について図１０を用いて説明する。図１０は、画像が複雑な領域と複雑ではない領域が混在している画面の例である。
従来の画像伝送システムにおいては、縮小の際に、一画面全体に同じ縮小処理を施している。
しかし、例えば、図１０に示すように、一画面内において画像のエッジ部の分布が大きく異なる場合がある。
図１０の例では、画面の左側は画像が複雑な領域となっており、右側は画像が複雑ではない領域である。

このように、一画面内において画像の複雑さに差がある場合には、画面全体に同一の縮小処理を施すと、拡大時に、各領域において適切に折返し成分を除去することが困難となり、折返し成分が除去できない領域が発生してしまうなど、高画質化を達成しえない場合が生じる。
一方で、縮小時に折返し成分を除去すると、原信号の高周波成分も除去されてしまうので、場合によっては高周波成分を残したほうが好ましい場合もある。

［関連技術］
尚、画像伝送システムに関する技術としては、再公表特許ＷＯ２００７／１０８４８７号公報「画像処理装置、画像処理方法、プログラムおよび半導体集積回路」（パナソニック株式会社、特許文献１）がある。
特許文献１には、超解像復元処理を行う画像処理装置において、フィルタ手段が、サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させると共に、ナイキスト周波数以上で、超解像復元処理された画像の解像度で表現可能な最高周波数以下の周波数成分の一部を通過させることが記載されている。

ＷＯ２００７／１０８４８７号公報

しかしながら、従来の画像伝送システムでは、一画面内に画像の複雑さが異なる領域が混在している場合でも、一画面全体に同じ縮小処理を行っているため、拡大時に適切に折返し成分を除去することができず、再生画像の高画質化を妨げる場合があるという問題点があった。

尚、特許文献１には、画像縮小処理装置で、領域毎に画像の複雑さに応じて異なる縮小フィルタを選択し、画像拡大処理装置では縮小時に対応したフィルタを用いて拡大することは記載されていない。

本発明は、上記実状に鑑みて為されたもので、領域毎に画像の複雑さに応じて異なる縮小／拡大処理を行って、確実に折返し成分を除去し、再生画像の高画質化を図ることができる画像伝送システムを提供することを目的とする。

上記従来例の問題点を解決するための本発明は、入力された画像を縮小して出力する画像縮小処理装置と、縮小された画像を入力して拡大する画像拡大処理装置とを備えた画像伝送システムであって、画像縮小処理装置が、入力された画像を所定の領域に分割し、分割された各領域について画像の複雑さを評価し、領域毎に、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小し、画像拡大処理装置が、縮小処理装置において折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理で画像を拡大し、折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理で画像を拡大し、折返し成分を残す拡大処理が行われた領域について折返し成分を除去することを特徴としている。

また、本発明は、上記画像伝送システムにおいて、画像縮小処理装置が、入力された画像を所定の領域に分割する第１の画像領域分割部と、第１の画像領域分割部で分割された各領域について画像の複雑さを示す評価値を算出する第１の評価値算出部と、領域毎に、第１の評価値算出部で算出された評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを選択する指示を通知し、画像が複雑でなければ折返し成分を残す縮小フィルタを選択する指示を通知するフィルタ選択部と、通知された縮小フィルタを用いて領域毎に画像を縮小する画像縮小部とを備え、画像拡大処理装置が、入力された画像を所定の領域に分割する第２の画像領域分割部と、第２の画像領域分割部で分割された各領域について、通知された指示に基づいて、縮小処理装置において折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理を選択する指示を通知し、折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理を選択する指示を通知する確認部と、第２の画像領域分割部で分割された領域毎に、確認部から通知された指示に従って該当する拡大処理により画像を拡大する画像拡大部と、折返し成分を残す拡大処理が行われた領域について折返し成分を除去する折返し処理部とを備えたことを特徴としている。

また、本発明は、上記画像伝送システムにおいて、画像縮小処理装置が、入力された画像を所定の領域に分割する第１の画像領域分割部と、第１の画像領域分割部で分割された各領域について画像の複雑さを示す評価値を算出する第１の評価値算出部と、領域毎に、第１の評価値算出部で算出された評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小する画像縮小部とを備え、画像拡大処理装置が、入力された画像を所定の領域に分割する第２の画像領域分割部と、第２の画像領域分割部で分割された各領域について画像の複雑さを示す第２の評価値を算出し、第２の評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない拡大処理を選択する指示を、画像が複雑でなければ折返し成分を残す拡大処理を選択する指示を通知する第２の評価値算出部と、第２の画像領域分割部で分割された領域毎に、第２の評価値算出部から通知された指示に従って該当する拡大処理により画像を拡大する画像拡大部と、折返し成分を残す拡大処理が行われた領域について折返し成分を除去する折返し処理部とを備えたことを特徴としている。

本発明によれば、入力された画像を縮小して出力する画像縮小処理装置と、縮小された画像を入力して拡大する画像拡大処理装置とを備えた画像伝送システムであって、画像縮小処理装置が、入力された画像を所定の領域に分割し、分割された各領域について画像の複雑さを評価し、領域毎に、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小し、画像拡大処理装置が、縮小処理装置において折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理で画像を拡大し、折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理で画像を拡大し、折返し成分を残す拡大処理が行われた領域について折返し成分を除去する画像伝送システムとしているので、画像が複雑な領域と複雑でない領域とが混在している画像であっても、複雑さに応じて適切に縮小／拡大を行って、確実に折返し成分を除去することができ、再生画像の画質を向上させることができる効果がある。

また、本発明によれば、画像縮小処理装置が、入力された画像を所定の領域に分割する第１の画像領域分割部と、第１の画像領域分割部で分割された各領域について画像の複雑さを示す評価値を算出する第１の評価値算出部と、領域毎に、第１の評価値算出部で算出された評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを選択する指示を通知し、画像が複雑でなければ折返し成分を残す縮小フィルタを選択する指示を通知するフィルタ選択部と、通知された縮小フィルタを用いて領域毎に画像を縮小する画像縮小部とを備え、画像拡大処理装置が、入力された画像を所定の領域に分割する第２の画像領域分割部と、第２の画像領域分割部で分割された各領域について、通知された指示に基づいて、縮小処理装置において折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理を選択する指示を通知し、折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理を選択する指示を通知する確認部と、第２の画像領域分割部で分割された領域毎に、確認部から通知された指示に従って該当する拡大処理により画像を拡大する画像拡大部と、折返し成分を残す拡大処理が行われた領域について折返し成分を除去する折返し処理部とを備えた上記画像伝送システムとしているので、画像拡大処理装置では、画像縮小処理装置から通知された指示に基づいて、縮小フィルタに対応した拡大処理を容易に特定することができ、画像拡大処理装置の処理を軽減することができる効果がある。

また、本発明によれば、上記画像伝送システムにおいて、画像縮小処理装置が、入力された画像を所定の領域に分割する第１の画像領域分割部と、第１の画像領域分割部で分割された各領域について画像の複雑さを示す評価値を算出する第１の評価値算出部と、領域毎に、第１の評価値算出部で算出された評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小する画像縮小部とを備え、画像拡大処理装置が、入力された画像を所定の領域に分割する第２の画像領域分割部と、第２の画像領域分割部で分割された各領域について画像の複雑さを示す第２の評価値を算出し、第２の評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない拡大処理を選択する指示を、画像が複雑でなければ折返し成分を残す拡大処理を選択する指示を通知する第２の評価値算出部と、第２の画像領域分割部で分割された領域毎に、第２の評価値算出部から通知された指示に従って該当する拡大処理により画像を拡大する画像拡大部と、折返し成分を残す拡大処理が行われた領域について折返し成分を除去する折返し処理部とを備えた上記画像伝送システムとしているので、画像縮小処理装置から、いずれの縮小フィルタを用いたのかを示す情報を送信しなくても、画像拡大処理装置では領域毎に適切な拡大処理を行うことができる効果がある。

本発明の実施の形態に係る画像伝送システムの概略を示す説明図である。 本システムにおける画像縮小処理装置１の処理構成ブロック図である。 本システムの画像縮小処理装置１における処理の概要を示すフローチャートである。 画像縮小処理装置１の評価値算出部１２における処理を示すフローチャートである。 評価値算出部１２における別の処理を示すフローチャートである。 本システムの画像拡大処理装置２の処理構成を示す処理ブロック図である。 画像拡大処理装置２における処理を示すフローチャート図である。 画像拡大処理装置の別の構成を示す処理ブロック図である。 別の画像拡大処理装置２′における処理を示すフローチャートである。 画像が複雑な領域と複雑ではない領域が混在している画面の例である。

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る画像伝送システムは、画像縮小時に、画像を特定の大きさの領域に分割し、領域毎の画像の複雑さを示す評価値を算出し、評価値と閾値とを比較して、評価値が閾値よりも大きければ、折返し成分が残らないように縮小するフィルタを選択し、評価値が閾値以下であれば折返し成分が残る縮小フィルタを選択して縮小し、画像拡大時に、縮小時で適用されたフィルタに応じた拡大処理を行って再生画像を生成するものであり、領域毎の画像の複雑さに基づいて適切に縮小フィルタを選択し、拡大時には縮小フィルタに応じた拡大処理を行うことにより、画像が複雑な領域と複雑でない領域が混在している画像であっても、折返し成分を含まない再生画像を生成し、再生画像を高画質化することができるものである。

［画像伝送システムの概略：図１］
本発明の実施の形態に係る画像伝送システムの概略について図１を用いて説明する。図１は、本発明の実施の形態に係る画像伝送システムの概略を示す説明図である。
図１に示すように、本発明の実施の形態に係る画像伝送システム（本システム）は、主として、画像入力部から入力された画像を縮小する画像縮小処理装置１と、伝送又は蓄積された縮小画像を拡大する画像拡大処理装置２とを備えている。拡大された画像は、表示部において表示される。

画像縮小処理装置１において、縮小された画像を伝送又は蓄積する前に、画像符号化などの画像圧縮処理を行ってもよい。
また、伝送あるいは蓄積の際に画像符号化などの処理を行った場合は、画像拡大処理装置２では、画像復号化を行った後、画像拡大の処理を行う。

尚、画像縮小処理装置１及び画像拡大処理装置２の各処理部を、回路等で構成してもよいし、一部をソフトウェアによって実現してもよい。

［画像縮小処理装置の構成：図２］
本システムにおける画像縮小処理装置１の構成について図２を用いて説明する。図２は、本システムにおける画像縮小処理装置１の処理構成ブロック図である。
図２に示すように、処理部として、画像縮小処理装置１は、画像領域分割部１１と、評価値算出部１２と、フィルタ選択部１３と、画像縮小部１４と、画像合成部１５と、フラグ出力部１６とを備えている。

各処理部について説明する。
画像領域分割部１１は、画像を蓄積するメモリを備えており、一旦メモリに蓄積された入力画像を所定のサイズの領域に分割して、領域毎に画像データを出力する。分割画像のサイズは適宜選択可能であるが、例えば、後段で画像符号化処理を行う場合には、画像符号化処理で用いられるマクロブロック（１６×１６画素）単位に分割してもよい。画像領域分割部１１は、請求項に記載した第１の画像領域分割部に相当する。

評価値算出部１２は、分割された各領域について、画像の複雑さを評価する評価値を算出する。評価値算出部１２は、請求項に記載した第１の評価値算出部に相当し、評価値算出部１２で算出される評価値は、第１の評価値に相当する。
本システムでは、領域内の個々の画素について、各画素の画素値（各コンポーネントの値、例えば輝度値と色差値など）と、基準となる何らかの比較画像の画素値との差分の大きさを求め、その総和を取る処理（ＳＡＤ：Sum of Absolute Difference）を行って、画像の複雑さの評価値を算出している。

具体的には、評価算出部１２は、基準として画素値の平均値を用いており、対象領域について、当該領域の全画素の画素値の平均値と、各画素の画素値との差分の絶対値を求め、当該領域の全画素の絶対値の総和を求める処理を行う。
本システムにおけるＳＡＤは、部分領域をＤ、ｘ、ｙを整数、ｐ（ｘ、ｙ）を座標（ｘ、ｙ）の画素の画素値、ｎを領域内の画素数とすると、式（１）にて示される。

フィルタ選択部１３は、各領域の評価値に基づいて、画像縮小処理で用いられるフィルタを選択する。
具体的には、フィルタ選択部１３は、予め設定された閾値を記憶しており、評価値が閾値よりも大きい場合（画像の複雑さが大きい場合）には、当該領域の画像縮小処理においては折返し成分を除去する縮小フィルタ（折返しなし縮小フィルタ）を選択し、評価値が閾値以下の場合（画像の複雑さが小さい場合）には、折返し成分が残るような縮小フィルタ（折返しあり縮小フィルタ）を選択して、どのフィルタを選択したのかを示すフィルタ選択情報を画像縮小部１４に通知する。フィルタ選択情報は、請求項におけるフィルタを選択する指示に相当する。
それと共に、フィルタ選択部１３は、フィルタ選択情報をフラグ出力部１６に通知する。
尚、画像縮小装置１では、予め実験的に複数の閾値を設定して縮小を行い、画質が良好になる閾値を選択するようにしている。

画像縮小部１４は、フィルタ選択部１３からのフィルタ選択情報に基づいて、選択されたフィルタを用いて領域毎に画像縮小の処理を行う。
上述したように、複雑な領域では折返し成分が残らず、複雑でない領域では折返し成分が残るような特性を備えた縮小フィルタを用いて縮小処理が行われる。

また、画像縮小部１４は、フィルタ選択情報に基づいて、フィルタに各種パラメータを設定することにより選択されたフィルタ特性を実現するようにしてもよいし、予め２種類のフィルタを用意しておき、フィルタ選択情報に基づいていずれかに切り替えるようにしてもよい。

画像合成部１５は、縮小された領域の画像データを、１枚の画像に合成して出力する。画像縮小処理の後段に画像符号化処理を実施する場合は、画像合成処理を行わず、画像縮小処理の出力を用いて画像符号化処理を行ってもよい。

フラグ出力部１６は、フィルタ選択部１３からの指示に従って、当該領域について、どのフィルタが用いられたのかを示すフラグ（フィルタ選択フラグ）を設定して、そのフラグ情報を出力する。フラグ情報は、領域を示す情報と対応付けられている。

フィルタが２種類の場合、つまり、各領域について画像が複雑か否かのいずれかに判定される場合には、１ビットのフィルタ選択フラグを用いて、どちらのフィルタが選択されたのかを示す。つまり、フラグ情報が「１（ＯＮ）」であるか「０（ＯＦＦ）」であるかによって、縮小フィルタを特定する。ここでは、フラグ情報が「１」の場合に折返しありのフィルタを示すものとする。
そして、フィルタ選択フラグのフラグ情報は、合成された画像データと共に出力され、伝送又は蓄積される。

［画像縮小処理装置における処理：図３］
次に、本システムの画像縮小処理装置１の処理について図３を用いて説明する。図３は、本システムの画像縮小処理装置１における処理の概要を示すフローチャートである。
図３に示すように、画像縮小処理装置１の制御部は、まず、入力されてメモリに蓄積された画像を、所定の領域に領域分割し、領域毎に出力する（１００）。

次に、画像縮小処理装置１は、各領域の複雑さを判定するために評価値を算出する（Ｓ１０２）。評価値の算出方法については後で具体的に説明する。

そして、画像縮小処理装置１は、評価値を閾値と比較して、評価値が閾値よりも小さいか否かを判断する（１０４）。
評価値が閾値よりも小さければ（Yesの場合）、画像処理装置１は、折返し成分が残る縮小フィルタを選択し（１０６）、処理１１０に移行する。
また、処理１０４で、評価値が閾値以上であれば、画像処理装置１は、折返し成分を除去する縮小フィルタを選択し（１０８）、処理１１０に移行する。

そして、画像縮小処理装置１は、領域毎に選択された縮小フィルタを用いて、対象領域の画像縮小を行う（１１０）。
そして、全ての領域について縮小が終わると、画像合成を行って（１１２）、合成された画像及び各領域で用いられたフィルタを特定するフラグ情報を出力する（１１４）。出力された画像及びフラグ情報は、伝送又は蓄積される。
このようにして画像縮小処理装置１の処理が行われる。

［評価値算出部１２における処理：図４］
次に、画像縮小処理装置１の評価値算出部１２における処理について図４を用いて説明する。図４は、画像縮小処理装置１の評価値算出部１２における処理を示すフローチャートである。
図４に示すように、評価値算出部１２は、領域に分割された画像について、まず領域内の全ての画素の画素値に基づいて、それらの平均値を算出し、メモリに記憶する（２００）。全画素の画素値の平均値を単に平均値と称するものとする。

次に、評価値算出部１２は、当該領域の１番目の画素について、当該画素の画素値と平均値との差分を算出し（２０２）、差分の絶対値を求める（２０４）。
この値は、当該画素の画素値が領域全体の平均からどの程度ずれている（離れている）か、ずれの大きさを示している。

そして、評価値算出部１２は、処理２０４で算出された差分の絶対値を、評価値に加算して記憶する（２０６）。尚、評価値は、処理開始時に「０」に初期化されている。
そして、評価値算出部１２は、領域内の全ての画素について処理が終わったかどうかを判断し（２０８）、終わっていない場合には（Noの場合）、処理２０２に移行して次の画素について同様の処理を行って評価値に加算していく。

処理２０８において、領域内の全ての画素について処理が終了した場合には（Yesの場合）、評価値算出部１２は、その時点でメモリに記憶されている評価値を当該領域の評価値としてフィルタ選択部に出力し（２１０）、処理を終わる。
このようにして評価値算出部１２の処理が行われ、全ての領域について評価値が算出される。
評価値が大きいほど、当該領域の画像の複雑さは大きくなる。

［評価値算出部１２における別の処理：図５］
次に、画像縮小装置１の評価値算出部１２における別の処理について図５を用いて説明する。図５は、評価値算出部１２における別の処理を示すフローチャートである。
別の処理では、評価値を閾値との大小判定に必要十分な大きさとして、保持ビット数を小さくすることができるようにしている。
図５に示すように、評価値算出部１２は、別の処理においても図４に示した処理と同様に、領域内の全画素の画素値の平均値を算出し（３００）、１つの画素の画素値と平均値との差分を算出し（３０２）、その絶対値を求める（３０４）。

そして、評価値算出部１２は、処理３０４で算出された絶対値を、予め設定された設定値と比較する（３０６）。
処理３０６において、絶対値が設定値よりも小さい場合には（Yesの場合）、処理３０４で算出された絶対値を評価値に加算して記憶し（３０８）、絶対値が設定値以上である場合には（Noの場合）、設定値を評価値に加算して記憶する（３１０）。評価値は、処理開始前に「０」に初期化されている。

そして、評価値算出部１２は、領域内の全ての画素について処理が終わったかどうかを判断し（３１２）、終わっていない場合には（Noの場合）、処理３０２に移行して次の画素について同様の処理を行って評価値に加算して記憶する。

また、処理３１２において、領域内の全ての画素について処理が終了した場合には（Yesの場合）、評価値算出部１２は、その時点で記憶されている評価値を当該領域の評価値としてフィルタ選択部１３に出力し（２１０）、処理を終わる。
このようにして、評価算出部１２における別の処理が行われる。
これにより、評価値が無意味に大きい価となるのを防ぐことができるものである。

［画像拡大処理装置２の構成：図６］
次に、本システムの画像拡大処理装置２の構成について図６を用いて説明する。図６は、本システムの画像拡大処理装置２の処理構成を示す処理ブロック図である。
図６に示すように、本システムの画像拡大処理装置２は、画像領域分割部２１と、フラグ確認部２２と、画像拡大部２３と、折返し処理部２４と、画像合成部２５とを備えている。
また、伝送又は蓄積されたデータから、画像データとフラグ情報とを分離する手段を備えている。
尚、画像領域分割部２１は、請求項に記載した第２の画像領域分割部に相当し、フラグ確認部２２は、確認部に相当している。

各処理部について説明する。
画像領域分割部２１は、入力された画像を所定の領域に分割する。領域のサイズは、縮小時と同じであり、例えば１６×１６画素のマクロブロックに分割して、領域毎に出力する。

フラグ確認部２２は、伝送又は蓄積されたデータから取り出されたフラグ情報を読み取り、縮小処理において用いられた縮小フィルタが折返しありだったか、折返しなしだったかを特定し、拡大に用いる処理を指示する拡大処理選択情報を、画像拡大部２３及び折返し処理部２４に出力する。
具体的には、フラグ確認部２２は、縮小処理において折返しありの縮小フィルタが用いられた領域は、折返し成分が残る拡大処理を指示する拡大処理選択情報を出力し、折返しなしの縮小フィルタが用いられた領域は、折返し成分が残らない拡大処理を指示する拡大処理選択情報を出力する。

画像拡大部２３は、領域に分割された画像を、フラグ確認部２２からの拡大処理選択情報で指定された処理で拡大する。
折返し処理部２４は、フラグ確認部２２からの拡大処理選択情報に従って、折返しありの拡大処理が選択された領域については、折返し成分を除去する処理を行い、折返しなしの拡大処理が選択された領域については、入力されたデータをそのまま出力する。

つまり、画像が複雑な領域では、画像拡大部２３で折返しなしの拡大処理を行い、折返し処理部２４では処理を行わない。
また、画像が複雑ではない領域では、画像拡大部２３で折返しありの拡大処理を行い、折返し成分を含む拡大画像を生成し、折返し処理部２４で折返し成分を除去する。

画像合成部２５は、領域毎に拡大された画像を合成して、一画面の画像を出力する。
これにより、本システムでは、拡大処理を行う際に、折返し成分の含まれる領域と含まれない領域とが混在していても、それぞれの領域について縮小時に選択された縮小フィルタに対応した拡大処理を行って、画質の良好な再生画像を得ることができるものである。

［画像拡大処理装置の処理：図７］
次に、画像拡大処理装置２における処理について図７を用いて説明する。図７は、画像拡大処理装置２における処理を示すフローチャート図である。
画像拡大処理装置２の制御部は、まず、伝送又は蓄積された画像及びフラグ情報を入力して（４００）、入力された画像を縮小時と同じ所定のサイズの領域に分割し（４０２）、当該領域に対応するフラグ情報を読み取り、フラグ情報がＯＮかＯＦＦかを判断する（４０４）。

そして、フラグがＯＮであった場合（Yesの場合）、画像拡大処理装置２は、折返し成分が残る（折り返しありの）拡大処理を行い（４０６）、その後折返し成分を除去する折返し処理を行い（４０８）、拡大された領域画像を出力する。

また、処理４０４において、フラグがＯＦＦであった場合（Noの場合）、画像拡大処理装置２は、折返し成分が残らない（折返しなしの）拡大処理を行い（４１０）、拡大された領域画像を出力する。

そして、全ての領域について拡大処理を終了すると、画像拡大処理装置２は、拡大された各領域の画像を合成して（４１２）、一画面の画像を出力する（４１４）。
このようにして、本システムの画像拡大処理装置２における処理が行われるものである。

［画像拡大処理装置の別の構成：図８］
画像拡大処理装置を、別の構成とすることも可能である。
次に、画像拡大処理装置の別の構成について図８を用いて説明する。図８は、画像拡大処理装置の別の構成を示す処理ブロック図である。
図８に示すように、別の構成の画像拡大処理装置（別の画像拡大処理装置）２′は、図６に示した画像拡大処理装置２と同様の部分として、画像領域分割部２１と、画像拡大部２３と、折返し処理部２４と、画像合成部２５とが設けられ、別の画像拡大処理装置の特徴部分として、評価値算出部２６を備えている。評価値算出部２６は、請求項に記載した第２の評価値算出部に相当する。
別の画像拡大処理装置２′では、フラグ確認部２２は設けられていない。

評価値算出部２６は、領域に分割された画像について、縮小時と同様に画像の複雑さを評価する。
具体的には、評価値算出部２６は、画像縮小処理装置１の評価値算出部１２における評価と同様に、領域毎にＳＡＤを算出し、算出された値を閾値と比較して、画像拡大時に用いられるフィルタを判定し、画像拡大部２３及び折返し処理部２４にフィルタを特定する指示を出力する。
ＳＡＤの算出は、式（１）によって行われ、上述したものと同様であるため、説明は省略する。

ここで、別の画像拡大処理装置２′では、縮小された画像について評価値を算出するため、ＳＡＤ自体の値が小さくなると考えられ、画像縮小処理装置１で縮小前に行われる評価値算出処理とは同一の評価値は得られないが、領域毎に縮小処理において用いられたフィルタを判定する目的としては十分使用可能である。
フィルタを判定する精度を向上させるために、適切な閾値を設定することが望ましい。

尚、別の画像拡大処理装置２′を用いる場合には、画像縮小処理装置１は、縮小処理において用いられたフィルタを特定するフラグを出力しなくてもよい。

［別の画像拡大処理装置２′における処理：図９］
別の画像拡大処理装置２′における処理について図９を用いて説明する。図９は、別の画像拡大処理装置２′における処理を示すフローチャートである。
図９に示すように、別の画像拡大処理装置２′では、伝送又は蓄積された画像を入力して（５００）、入力された画像を所定のサイズの領域に分割して出力し（５０２）、領域毎に評価値を算出する（５０４）。

そして、別の画像拡大処理装置２′は、算出された評価値を閾値と比較して、評価値が閾値未満であるかどうかを判断し（５０６）、評価値が閾値未満であれば（Yesの場合）、当該領域について折返しありの拡大を行い（５０８）、更に、折返し処理を行って折返し成分を除去する（５１０）。

また、処理５０６において、評価値が閾値以上であった場合には（Noの場合）、画像拡大処理装置２′は、当該領域について折返しなしの拡大を行う。
全ての領域について画像拡大が終わると、画像拡大処理装置２′は、処理５１４に移行して、拡大された各領域の画像を合成して（５１４）、出力する（５１６）。
このようにして、別の画像拡大処理装置２′の処理が行われるものである。

［実施の形態の効果］
本発明の実施の形態に係る画像伝送システムによれば、画像縮小処理装置１において、評価値算出部１２が、領域毎に画像の複雑さを評価する評価値を算出し、フィルタ選択部１３が、当該評価値が予め設定された閾値以上であれば、折返し成分が残らないよう縮小するフィルタ（折返しなしの縮小フィルタ）を選択し、評価値が閾値未満であれば、折返し成分が残る縮小フィルタ（折返しありの縮小フィルタ）を選択し、画像縮小部１４が、選択されたフィルタを用いて当該領域の画像を縮小し、画像合成部１５が縮小された画像を合成して出力すると共に、フラグ出力部１６が選択されたフィルタを示すフラグ情報を出力し、画像拡大処理装置２において、フラグ確認部２２が、受信したフラグ情報に基づいて領域毎に、縮小フィルタに対応して、折返しあり又は折返しなしの拡大処理を特定し、画像拡大部２３が、選択された拡大処理で領域の画像を拡大し、折返し処理部２４が、折返しありの拡大処理が施された領域のみに折返し成分の除去を行い、画像合成部２５が、拡大された領域の画像を合成して出力する画像伝送システムとしているので、画像が複雑な領域と複雑ではない領域とが混在している画像であっても、領域毎に適切な縮小フィルタを用いて縮小し、拡大側で縮小時に用いた縮小フィルタに対応した拡大処理を用いて拡大することにより、全ての領域において適切に折返し成分を除去することができ、再生画像の画質を向上させることができる効果がある。

また本発明の実施の形態に係る画像伝送システムによれば、画像拡大処理装置２′において、評価値算出部２６が、領域に分割された受信画像について、画像の複雑さを評価する評価値を算出して、評価値が閾値以上であれば、折返し成分が残らない拡大処理を行い、評価値が閾値未満であれば、折返し成分が残る拡大処理を行うようにしているので、画像縮小処理装置１で用いた縮小フィルタを特定するフラグを送信しなくてもよい。

本発明は、領域毎に複雑さに応じて異なる縮小処理を行うと共に、縮小処理に応じた拡大処理を行うことで、再生画像の折り返し成分を適切に除去し、高画質化を図ることができる画像伝送システムに適している。

１...画像縮小処理装置、 ２，２′...画像拡大処理装置、 １１，２１...画像領域分割部、 １２，２６...評価値算出部、 １３...フィルタ選択部、 １４...画像縮小部、 １５，２５...画像合成部、 １６...フラグ出力部、 ２２...フラグ確認部、 ２３...画像拡大部、 ２４...折返し処理部

Claims (3)

1. 入力された画像を縮小して出力する画像縮小処理装置と、前記縮小された画像を入力して拡大する画像拡大処理装置とを備えた画像伝送システムであって、
   前記画像縮小処理装置が、入力された画像を所定の領域に分割し、前記分割された各領域について画像の複雑さを評価し、前記領域毎に、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、前記画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小し、
   前記画像拡大処理装置が、前記縮小処理装置において前記折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理で画像を拡大し、前記折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理で画像を拡大し、前記折返し成分を残す拡大処理が行われた領域について折返し成分を除去することを特徴とする画像伝送システム。
2. 画像縮小処理装置が、入力された画像を所定の領域に分割する第１の画像領域分割部と、
   前記第１の画像領域分割部で分割された各領域について画像の複雑さを示す評価値を算出する第１の評価値算出部と、
   前記領域毎に、前記第１の評価値算出部で算出された評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを選択する指示を、前記画像が複雑でなければ折返し成分を残す縮小フィルタを選択する指示を通知するフィルタ選択部と、
   前記通知された縮小フィルタを用いて前記領域毎に画像を縮小する画像縮小部とを備え、
   画像拡大処理装置が、入力された画像を前記所定の領域に分割する第２の画像領域分割部と、
   前記第２の画像領域分割部で分割された各領域について、前記通知された指示に基づいて、前記縮小処理装置において前記折返し成分を残さない縮小フィルタが用いられた領域は、折返し成分を残さない拡大処理を選択する指示を通知し、前記折返し成分を残す縮小フィルタが用いられた領域は、折返し成分を残す拡大処理を選択する指示を通知する確認部と、
   前記第２の画像領域分割部で分割された領域毎に、前記確認部から通知された指示に従って該当する拡大処理により画像を拡大する画像拡大部と、
   前記折返し成分を残す拡大処理が行われた領域について折返し成分を除去する折返し処理部とを備えたことを特徴とする請求項１記載の画像伝送システム。
3. 画像縮小処理装置が、入力された画像を所定の領域に分割する第１の画像領域分割部と、
   前記第１の画像領域分割部で分割された各領域について画像の複雑さを示す評価値を算出する第１の評価値算出部と、
   前記領域毎に、前記第１の評価値算出部で算出された評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない縮小フィルタを用い、前記画像が複雑でなければ折返し成分を残す縮小フィルタを用いて画像を縮小する画像縮小部とを備え、
   画像拡大処理装置が、入力された画像を前記所定の領域に分割する第２の画像領域分割部と、
   前記第２の画像領域分割部で分割された各領域について画像の複雑さを示す第２の評価値を算出し、前記第２の評価値に基づいて、当該領域の画像が複雑であれば折返し成分を残さない拡大処理を選択する指示を通知し、前記画像が複雑でなければ折返し成分を残す拡大処理を選択する指示を通知する第２の評価値算出部と、
   前記第２の画像領域分割部で分割された領域毎に、前記第２の評価値算出部から通知された指示に従って該当する拡大処理により画像を拡大する画像拡大部と、
   前記折返し成分を残す拡大処理が行われた領域について折返し成分を除去する折返し処理部とを備えたことを特徴とする請求項１記載の画像伝送システム。

Images