JP2019524007A - 動画圧縮方法及び装置、並びにこれに対するコンピュータプログラム - Google Patents

Abstract

本発明は、動画又はイメージの形式によらず、原本動画に対して、画質の劣化を最小化し、且つ、コーデック又はイメージ形式をそのまま維持し、圧縮率が高く圧縮された動画を提供する動画又はイメージの圧縮方法に関し、本発明の一実施例による動画の圧縮方法は、動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別段階と、前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成するフレーム圧縮段階とを含む。

Description

本発明は、動画又はイメージの圧縮方法、装置、及びこれに対するコンピュータプログラムに関し、より詳しくは、動画又はイメージの形式によらず、原本動画に対して画質の劣化を最小化し、且つ、コーデック又はイメージ形式をそのまま維持し、圧縮率が高く圧縮された動画を提供する動画又はイメージの圧縮方法、装置、及びこれに対するコンピュータプログラムに関する。

現代は、コンピュータとコンピュータネットワークにより、コンピュータとコンピュータの間に、また、コンピュータと格納装置の間に膨大な量の情報が伝達されている。ローカルハードドライブやローカルフロッピー（登録商標）ドライブのようなローカル格納装置に、コンピュータがアクセスされると、膨大な量のデータが早くアクセスされる。しかし、広域通信網(WAN;Wide Area Network)、インターネット、又は無線通信チャンネル(セルラーフォンネットワークなど)を通じる遠隔格納位置からデータをアクセスするときは、データの伝達速度は、顕著に落ちる。そのため、容量の大きいファイルを伝達することは、多大な時間がかかる。さらに、容量の大きいファイルを格納するということは、コストが高く、かつ、限定された格納空間を要する。一般に、イメージは、イメージ内の画素(pixel)のそれぞれに対する情報を要するため、フォトグラフィックイメージ、又はそれに類似したグラフィックイメージは、容量の大きいファイルと見なされる。よって、フォトグラフィックイメージ、又はそれに類似したグラフィックイメージは、１Ｍバイト以上の格納空間が必要であり、伝送率の低い通信網を通じる場合、相当な伝送時間を要する。よって、近年、イメージを格納することに要する格納空間の量を減らし、伝送時間を減らすために、イメージを圧縮する多くのプロトコル(protocol)と標準が開発されてきた。

イメージ圧縮方式は、非可逆圧縮方式(lossy compression method)と可逆圧縮方式(lossless compression method)とに分けられ、このような圧縮方式は、空間的、時間的、確率的な重複性を除去することで、イメージを圧縮する。特に、非可逆圧縮方式は、ある程度原本データが損失されて劣化が発生するが、可逆圧縮方式は、原本イメージをデコーディング後、正確に再生することができる。

一方、通常の動画ファイルは、数十Ｍバイト以上の格納空間が必要であり、伝送率の低い通信網を通じる場合、相当な伝送時間を要する。よって、近年、動画を格納するに要する格納空間の量を減らし、伝送時間を減らすために、イメージを圧縮する多くのプロトコルと標準が開発されてきた。

大韓民国登録特許第10-1517019号‘ブロック特性を用いた適応イメージ圧縮方法及び、そのシステム’(2014.12.18.公開)

本発明の目的は、動画又はイメージの形式によらず、原本動画に対して画質の劣化を最小化し、且つ、コーデック又はイメージ形式をそのまま維持し、圧縮率の高く圧縮された動画を提供する動画又はイメージの圧縮方法、装置、及びこれに対するコンピュータプログラムを提供することである。

本発明は、前記のような課題を解決するため、１以上のプロセッサ、及び前記プロセッサで実行可能な命令を格納するメインメモリとを含むコンピュータ装置で行なわれる動画圧縮方法であって、動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別段階と、前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成するフレーム圧縮段階とを含むことを特徴とする。

前記フレーム圧縮段階は、前記圧縮対象フレームの処理対象イメージ領域を設定する処理対象イメージ領域設定段階と、前記処理対象イメージ領域の一部又は全体が変換された圧縮フレームを生成する圧縮フレーム生成段階とを含み、前記処理対象イメージ領域設定段階は、前記圧縮対象フレームが独立してエンコードされたフレームである場合は、前記圧縮対象フレームの全体を、前記処理対象イメージ領域に設定する。

また、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの一部を、前記処理対象イメージ領域に設定する。

前記処理対象イメージ領域設定段階は、既設定された基準により、前記圧縮対象フレームを複数のイメージブロックに区分し、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前記複数のイメージブロックの一部のイメージブロックを、前記処理対象イメージ領域に設定する。

前記処理対象イメージ領域設定段階は、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前フレーム、後フレーム、及び複数の前フレームが累積されたフレームの１以上と比較して、前記圧縮対象フレームの部分で変化がある部分を、前記処理対象イメージ領域に設定する。

前記圧縮フレーム生成段階は、第１の圧縮フレーム生成段階を含み、前記第１の圧縮フレーム生成段階は、前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、前記細部領域の前記複雑度が既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含む。

また、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記圧縮フレームを生成する。

前記第１の圧縮フレーム生成段階は、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームに対して、非可逆圧縮を行ったフレームから、前記圧縮フレームを生成する。

前記第１のイメージ処理は、ブラー処理である。

前記圧縮フレーム生成段階は、第２の圧縮フレーム生成段階を含み、前記第２の圧縮フレーム生成段階は、前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含む。

また、前記第２の予備フレームから、前記圧縮フレームを生成する。

前記第２の予備フレームに対して、非可逆圧縮が行われたフレームから、前記圧縮フレームを生成する。

前記第２のイメージ処理は、ブラー処理である。

前記圧縮フレーム生成段階は、第１の圧縮フレームを生成する第１の圧縮フレーム生成段階と、

前記第１の圧縮フレーム生成段階とは異なる方法で、第２の圧縮フレームを生成する第２の圧縮フレーム生成段階と、前記第１の圧縮フレーム及び前記第２の圧縮フレームを含む候補フレーム群より１つのフレームを、前記圧縮フレームとする圧縮フレーム選択段階とを含む。

前記第１の圧縮フレーム生成段階は、前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、前記細部領域の前記複雑度が、既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含む。

また、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記第１の圧縮フレームを生成する。

前記第２の圧縮フレーム生成段階は、前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含み、前記第２の予備フレームから、前記第２の圧縮フレームを生成する。

前記第１の圧縮フレーム生成段階は、前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、前記細部領域の前記複雑度が、既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含む。

また、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記第１の圧縮フレームを生成し、前記第２の圧縮フレーム生成段階は、

前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含み、前記第２の予備フレームから、前記第２の圧縮フレームを生成する。

上記のような課題を解決するために、本発明は、１以上のプロセッサによって行われる複数の命令を含む、非一時的なコンピュータ読取り可能な媒体に格納されたコンピュータプログラムであって、前記コンピュータプログラムは、動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別命令と、前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成するフレーム圧縮命令とを含むことを特徴とする。

上記のような課題を解決するために、本発明は、動画の圧縮対象フレームがＩタイプ、Ｐタイプ、又はＢタイプに該当するか、否かを判別するフレーム判別段階と、前記フレームを既設定された基準によって、複数のイメージブロックに区分するイメージブロック区分段階と、前記フレーム判別段階において判別されたフレームタイプによって、前記圧縮対象フレームで処理対象イメージ領域を設定する処理対象イメージ領域設定段階と、前記処理対象イメージ領域に対して、イメージ処理を行って、第１の変換フレーム及び第２の変換フレームを生成する変換フレーム生成段階と、前記第１の変換フレーム及び第２の変換フレームに対して圧縮を行って、第１の圧縮フレーム及び第２の圧縮フレームを生成する圧縮フレーム生成段階と、前記第１の圧縮フレーム及び前記第２の圧縮フレームに対して、データサイズを比較するデータサイズ比較段階と、前記第１の圧縮フレーム及び前記第２の圧縮フレームのうち、データサイズが小さいフレームを最終圧縮フレームとして選定する圧縮フレーム選定段階とを含むことを特徴とする。

本発明は、前記のような課題を解決するために、コンピュータ装置で具現されるイメージを圧縮する方法であって、前記イメージを圧縮する方法は、イメージ圧縮段階を含み、前記イメージ圧縮段階は、原本イメージに対して、圧縮可否及び圧縮時の可逆可否によって異なる２以上の方法で変換を行い、２以上の変換されたイメージのいずれか１つを、最終圧縮イメージとして選択するか、又は２以上の変換されたイメージに対する２以上の圧縮イメージのいずれか１つを、最終圧縮イメージとして選択する。

前記イメージ圧縮段階において、前記圧縮イメージの圧縮方法は、前記原本イメージの圧縮方式と同一である。

前記イメージ圧縮段階は、前記原本イメージが非可逆圧縮イメージ、可逆圧縮イメージ、及び非圧縮イメージのいずれのファイル形式に該当するかを判断するファイル形式判断段階と、前記原本イメージを複数のイメージブロックに分割するイメージブロック分割段階と、前記原本イメージのファイル形式によって、異なる方法で前記原本イメージを変換するイメージ変換段階とを含む。

前記イメージ変換段階は、前記原本イメージのイメージブロックの複雑度又は色相数を判断して、それぞれのイメージブロックに対して、異なるイメージ処理を行う。

前記イメージ変換段階は、前記原本イメージが非可逆圧縮イメージ又は可逆圧縮イメージである場合、２以上の方法で前記原本イメージを変換して、２以上の変換イメージを生成し、前記変換イメージに対して、非可逆圧縮又は可逆圧縮を行って、２以上の圧縮イメージを生成し、前記２以上の圧縮イメージのうち、少ない容量を有するイメージを、最終圧縮イメージとして選択する。

前記イメージ変換段階は、前記原本イメージが非圧縮イメージである場合、２以上の方法で前記原本イメージを変換して、２以上の変換イメージを生成し、前記変換イメージに対して可逆圧縮を行って、２以上の圧縮イメージを生成し、前記２以上の変換イメージのうち、対応する圧縮イメージが少ない容量を有することを最終圧縮イメージとして選択する。

前記原本イメージが非可逆圧縮イメージである場合、前記イメージ圧縮段階は、前記原本イメージのイメージブロック別に複雑度を判断し、前記複雑度によって、イメージブロック別にブラー処理を行って、第１の変換イメージを生成し、前記原本イメージに対してブラー処理を行って、前記原本イメージのエッジ領域を抽出し、前記ブラー処理が行われた前処理イメージで前記エッジ領域に対応する領域に対しては、前記前処理イメージの原本領域を結合して、第２の変換イメージを生成する。

前記原本イメージが可逆圧縮イメージ又は非圧縮イメージである場合、前記イメージ圧縮段階は、前記原本イメージのイメージブロック別に色相数を判断し、前記色相数によって、イメージブロック別に相違するディザリング処理を行って、第１の変換イメージを生成し、前記原本イメージのイメージブロック別に複雑度を判断し、前記複雑度によって、イメージブロック別に相違するディザリング処理及びブラー処理を行って、第２の変換イメージを生成する。

前記のような課題を解決するために、本発明は、コンピュータ装置で具現される文書イメージを最適化する方法であって、原本イメージからノイズを除去し、テキストを鮮明にして前処理イメージを生成する前処理段階と、前記前処理イメージに対して、イメージ圧縮を行うイメージ圧縮段階とを含み、前記イメージ圧縮段階は、前記前処理イメージの圧縮可否及び圧縮時の可逆可否によって、異なる方法で圧縮を行うことを特徴とする。

前記前処理段階は、鮮鋭化処理、二値化処理、及びブラー処理の１以上を行う。

前記前処理段階は、原本イメージに対して、鮮鋭化処理、及び二値化処理を行うノイズ除去段階と、前記ノイズ除去段階が行われた原本イメージをイメージブロックに分割し、テキストが含まれたイメージブロックとテキストが含まれたイメージブロックとに対して、異なる処理を行う。

前記二値化処理は、適応スレッショルド方法で行う。

前記ブロック処理段階は、テキストが含まれないイメージブロックに対して、ブラー処理を行い、テキストが含まれたイメージブロックに対して、鮮鋭化処理を行う。

前記イメージ圧縮段階は、前記前処理イメージに対して、圧縮可否及び圧縮時の可逆可否によって異なる２以上の方法で変換を行い、２以上の変換されたイメージのいずれか１つを、最終圧縮イメージとして選択するか、又は２以上の変換されたイメージに対する２以上の圧縮イメージのいずれか１つを、最終圧縮イメージとして選択する。

前記イメージ圧縮段階において、前記圧縮イメージの圧縮方法は、前記前処理イメージの圧縮方式と同一である。

前記イメージ圧縮段階は、前記前処理イメージが、非可逆圧縮イメージ、可逆圧縮イメージ、及び非圧縮イメージのいずれのファイル形式に該当するかを判断するファイル形式判断段階と、前記前処理イメージを複数のイメージブロックに分割するイメージブロック分割段階と、前記前処理イメージのファイル形式によって異なる方法で前記前処理イメージを変換するイメージ変換段階とを含む。

前記イメージ変換段階は、前記前処理イメージのイメージブロックの複雑度又は色相数を判断して、それぞれのイメージブロックに対して、異なるイメージ処理を行う。

前記イメージ変換段階は、前記前処理イメージが非可逆圧縮イメージ又は可逆圧縮イメージである場合、２以上の方法で前記前処理イメージを変換して、２以上の変換イメージを生成し、前記変換イメージに対して、非可逆圧縮又は可逆圧縮を行って、２以上の圧縮イメージを生成し、前記２以上の圧縮イメージのうち、少ない容量を有するイメージを、最終圧縮イメージとして選択する。

前記イメージ変換段階は、前記前処理イメージが非圧縮イメージである場合、２以上の方法で前記前処理イメージを変換して、２以上の変換イメージを生成し、前記変換イメージに対して可逆圧縮を行って、２以上の圧縮イメージを生成し、前記２以上の変換イメージのうち、対応する圧縮イメージが少ない容量を有することを、最終圧縮イメージとして選択する。

前記前処理イメージが非可逆圧縮イメージである場合、前記イメージ圧縮段階は、前記前処理イメージのイメージブロック別に複雑度を判断し、前記複雑度によってイメージブロック別にブラー処理を行って、第１の変換イメージを生成し、前記前処理イメージに対して、ブラー処理を行い、前記前処理イメージのエッジ領域を抽出し、前記ブラー処理が行われた前処理イメージにおいて、前記エッジ領域に対応する領域に対しては、前記前処理イメージの原本領域を結合して、第２の変換イメージを生成する

本発明の実施例によると、ＰＤＦ、ＪＰＥＧ、ＰＮＧファイル形式のイメージファイルを格納する場合でも、既存のＪＢＩＧ、ＴＩＦＦ、ＪＰＥＧ２０００ファイル形式となっているイメージファイルと比較した時、画質が類似しており、ファイルサイズも類似、又はより小さいように最適化を行うことができる。

また、本発明の実施例によると、ＰＤＦ、ＪＰＥＧ、ＰＮＧファイルを用いる場合、別の専用クライアント/サーバ環境ではなく、ＨＴＭＬ５基盤の標準ウェブ環境でもそのまま使用可能である。

更に、本発明の実施例によると、ＪＢＩＧ、ＴＩＦＦ、ＪＰＥＧ ２０００ファイル形式と同様に格納する場合でも、３０−５０％までの追加圧縮が可能である。

また、本発明の実施例によると、既存に比べて、イメージファイルのファイルサイズを更に圧縮することになるので、ストレージ及びネットワークのコスト削減が可能である。

更に、本発明の実施例によると、イメージに対して前処理過程を経るため、既存のエンコーダをそのまま使用することができ、また、必要によって、専用エンコーダを設けて、性能を改善することもできる。

図１は、本発明の一実施例による原本イメージの最適化過程を概略的に示す図である。 図２は、本発明の一実施例によるイメージを最適化するコンピュータ装置の内部構成を概略的に示す図である。 図３は、本発明の一実施例による前処理部の内部構成を概略的に示す図である。 図４は、本発明の一実施例によるノイズ除去を行ったイメージを例示的に示す図である。 図５は、本発明の一実施例によるイメージ圧縮部の内部構成を概略的に示す図である。 図６は、本発明の一実施例によるファイル形式判断部の動作を概略的に示す図である。 図７は、本発明の一実施例によるイメージブロックを例示的に示す図である。 図８は、本発明の一実施例によるイメージ変換部の内部構成を概略的に示す図である。 図９は、本発明の一実施例による非可逆圧縮イメージの場合において、イメージ変換部の動作を概略的に示す図である。 図１０は、本発明の一実施例による可逆圧縮イメージの場合において、イメージ変換部の動作を概略的に示す図である。 図１１は、本発明の一実施例による非圧縮イメージの場合において、イメージ変換部の動作を概略的に示す図である。 図１２は、本発明の一実施例による文書イメージを最適化する方法の段階を概略的に示す図である。 図１３は、本発明の一実施例による前処理段階の細部段階を概略的に示す。 図１４は、本発明の一実施例によるブロック処理段階の細部段階を概略的に示す図である。 図１５は、本発明の一実施例によるイメージ圧縮段階の細部段階を概略的に示す図である。 図１６は、本発明の一実施例による非可逆圧縮イメージの場合において、イメージ変換段階の細部段階を概略的に示す図である。 図１７は、本発明の一実施例による可逆圧縮イメージの場合において、イメージ変換段階の細部段階を概略的に示す図である。 図１８は、本発明の一実施例による非圧縮イメージの場合において、イメージ変換段階の細部段階を概略的に示す図である。 図２０は、動画のフレームの例を概略的に示す図である。 図２１は、本発明の一実施例によるイメージブロックの例を概略的に示す図である。 図２２は、本発明の一実施例による変更ブロック判別部の動作を説明するための複数のフレームの例を概略的に示す図である。 図２３は、本発明の一実施例による第１のフレーム変換部の内部構造を概略的に示す図である。 図２４は、本発明の一実施例による複雑度判断部の内部構造を概略的に示す図である。 図２５は、本発明の一実施例による第１のフレーム変換部で変換される変換フレームの一例を概略的に示す図である。 図２６は、本発明の一実施例による第２のフレーム変換部の内部構造を概略的に示す図である。 図２７は、本発明の一実施例による第２のフレーム変換部で変換される変換フレームの一例を概略的に示す図である。 図２８は、本発明の一実施例による動画圧縮方法の細部段階を概略的に示す図である。 図２９は、本発明の一実施例によるフレーム圧縮段階の細部段階を概略的に示す図である。 図３０は、本発明の一実施例による圧縮フレーム生成段階の実施例を概略的に示す図である。 図３１は、本発明の一実施例による第１の圧縮フレーム生成段階の細部段階を概略的に示す図である。 図３２は、本発明の一実施例による第２の圧縮フレーム生成段階の細部段階を概略的に示す図である。 図３３は、本発明の一実施例による動画圧縮方法の細部段階を概略的に示す図である。 図３４は、本発明の一実施例による処理対象イメージブロックの設定段階を概略的に示す図である。 図３５は、本発明の一実施例による第１のフレーム変換方法の細部段階を概略的に示す図である。 図３６は、本発明の一実施例による第２のフレーム変換方法の細部段階を概略的に示す図である。 図３７は、本発明の実施例を具現可能な例示的なコンピュータ環境に対する概略で且つ一般の概略図を示す図である。

以下では、様々な実施例及び/又は様態が、図面を参照して開示される。以下の説明では、説明を目的に、１以上の様態の全般的な理解を助けるために、多数の具体的な詳細事項が開示される。しかし、このような様態は、このような具体的な詳細事項がなくても行えるということ、また、本発明の技術分野における通常の知識を有する者に認識されるべきである。以後の記載及び添付の図面は、１以上の様態の特定の例示的な様態を詳しく記述する。しかし、このような様態は、例示的なことであり、様々な様態の原理における様々な方法の一部が用いられ、記述される説明は、このような様態及びそれらの均等物をいずれも包含しようと意図している。

また、様々な様態及び特徴が、多数のデバイス、コンポネント及び/又はモジュールを含むシステムによって提示される。様々なシステムが、更なる装置、コンポネント、及び/又はモジュールなどを含むことができるということ、そして/又は、図面と関連して議論された装置、コンポネント、モジュールなど、全部を含まなくてもよいことも、理解されるべきである。

本明細書で使用される“実施例”、“例”、“様態”、“例示”などは、記述される任意の様態又は設計が異なる様態又は設計よりも良好であるか、利点があることと解析されないこともある。以下で使用される用語、‘〜部’、‘コンポネント’、‘モジュール’、‘システム’、‘インターフェース’などは、一般的に、コンピュータ関連エンティティー(computer-related entity)を意味し、例えば、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェアを意味する。

また、“含む”及び/又は“含み”という用語は、該当特徴及び/又は構成要素が存在することを意味するが、１以上の他の特徴、構成要素、及び/又はこれらのグループの存在、又は追加を排除しないことと理解されるべきである。

また、第１、第２などのように序数を含む用語は、様々な構成要素を説明することに用いられるが、前記構成要素は、前記用語によって限定されない。前記用語は、１つの構成要素を他の構成要素から区別する目的にのみ用いられる。例えば、本発明の権利範囲を逸脱しなく、且つ、第１の構成要素は、第２の構成要素として命名され、同様に、第２の構成要素も、第１の構成要素として命名される。及び/又はという用語は、複数の関連する記載された項目の組み合わせ、又は複数の関連する記載された項目のいずれの項目を含む。

また、本発明の実施例において、別に異なって定義しない限り、技術的や科学的な用語を含み、ここで使われる全ての用語は、本発明が属する技術分野における通常の知識を有する者によって、一般的に理解されることと同じ意味を持っている。一般的に使われる辞典に定義されているような用語は、関連技術が文脈上有する意味と一致する意味を持つことと解析されるべきであり、本発明の実施例で明らかに定義しない限り、理想的や過度に形式的な意味として解析されない。
（文書イメージの最適化システム）

図１は、本発明の一実施例による文書イメージを最適化する方法を概略的に示す。

本実施例によると、原本イメージからノイズを除去し、テキストを鮮明にして、前処理イメージを生成する前処理段階(Ｓ１００)を行う。このような前処理段階では、イメージ処理方式のうち、鮮鋭化(sharpen)処理、二値化処理、及びブラー(Blur)処理の１以上を行うことができる。このような前処理段階(Ｓ１００)を行うことで、原本イメージが前処理イメージに変換され、前処理イメージは、文書イメージの場合よりもテキストの鮮明度が増加される。

ここで、前記原本イメージは、文書イメージを含み、イメージファイル形式には制限が無い。本明細書において、“文書イメージ”とは、テキストを含むイメージを指し示すが、これに限定されず、ファイル形式及びテキストを包含可否によらず、スキャナ、カメラ、スマートフォンでスキャン又は撮影されたイメージ、前記イメージに対して予備的なイメージ処理が行われたイメージ、デジタル的な方式で生成されたイメージなどのファイル形態のイメージを、いずれも含む概念である。

また、本発明による文書イメージを最適化する方法は、前記前処理イメージに対して、イメージ圧縮を行うイメージ圧縮段階を更に含む。この場合、前記前処理が行われた前処理イメージに対して、更なるイメージ処理、すなわちイメージ圧縮を行うことで、より文書イメージの容量を減少することができる。

望ましくは、前記イメージ圧縮段階は、前記前処理イメージの圧縮可否、及び圧縮時の可逆可否によって、異なる方法で圧縮を行う。ここで、前記前処理イメージの圧縮可否及び圧縮時の可逆可否は、基本的に原本イメージの圧縮可否及び圧縮時の可逆可否によって決められる。このような方法で、それぞれの他の種類の原本イメージに対して、原本イメージのファイル形式を変更することなく、文書イメージとして最適化を行うことができる。

また、原本イメージの圧縮可否及び圧縮時の可逆可否を考えて、異なる方法で圧縮を行うことで、原本イメージ又は前処理イメージの画質劣化を最小化し、且つ、容量を減らすという効果を発揮することができる。

また、イメージ圧縮段階が、前記前処理段階の後に行われるので、イメージ圧縮段階における効果を維持し、且つ、イメージの最適化が行えるというメリットがある。

以下では、本発明のイメージを最適化する装置について、説明することにする。

図２は、本発明の一実施例による文書イメージを最適化するコンピュータ装置の内部構成を概略的に示す図である。

本実施例による文書イメージを最適化するコンピュータ装置は、プロセッサ、バス(プロセッサ、メモリ、ネットワークインターフェース部間の両方向矢印に該当)、ネットワークインターフェース、及びメモリを含む。メモリ(Ｃ)は、運営体制(Ｃ１)と、前処理部実行コード(Ｃ２)と、イメージ圧縮部実行コード(Ｃ３)とを含む。プロセッサは、前処理部１０００と、イメージ圧縮部２０００とを含む。他の実施例において、文書イメージを最適化するコンピュータ装置は、図２の構成要素よりも多い構成要素を含んでいる。

メモリは、コンピュータで読取り可能な記録媒体であって、ＲＡＭ(random access memory)、ＲＯＭ(read only memory)、及びディスクドライブのような非消滅性大容量記録装置(permanent mass storage device)を含む。また、メモリには、運営体制(Ｃ１)、前処理部実行コード(Ｃ２)、イメージ圧縮部実行コード(Ｃ３)に対するプログラムコードが格納される。このようなソフトウェアの構成要素は、ドライブメカニズム(drive mechanism、図示せず)を用いて、メモリとは別のコンピュータで読取り可能な記録媒体からローディングされる。このような別のコンピュータで読取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、ＤＶＤ/ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読取り可能な記録媒体(図示せず)を含む。他の実施例において、ソフトウェア構成要素は、コンピュータで読取り可能な記録媒体ではなく、ネットワークインターフェース部(Ｂ)を介して、メモリにローディングされてもよい。

バスは、文書イメージを最適化するコンピュータ装置の構成要素間の通信、及びデータの伝送を可能にする。バスは、高速シリアルバス(high-speed serial bus)、並列バス(parallel bus)、ＳＡＮ(Storage Area Network)及び/又は、他の適切な通信技術を用いて構成される。

ネットワークインターフェース部(Ｂ)は、文書イメージを最適化するコンピュータ装置を、コンピュータネットワークに連結するためのコンピュータハードウェア構成要素である。ネットワークインターフェース(Ｂ)は、文書イメージを最適化するコンピュータ装置を、無線又は有線コネクションを介して、コンピュータネットワークに連結する。このようなネットワークインターフェース部(Ｂ)を介して、文書イメージを最適化するコンピュータ装置が、触覚インターフェース装置に、無線又は有線で接続される。

プロセッサは、基本的な算術、ロジック、及び文書イメージを最適化するコンピュータ装置の入出力演算を行うことで、コンピュータプログラムの命令を処理するように構成される。命令は、メモリ又はネットワークインターフェース部(Ｂ)により、そして、バスを介して、プロセッサに提供される。プロセッサは、前処理部１０００、及びイメージ圧縮部２０００のためのプログラムコードを行うように構成される。このようなプログラムコードは、メモリのような記録装置に格納される。

前記前処理部１０００及びイメージ圧縮部２０００は、後述する文書イメージを最適化する方法を行うために構成される。前記プロセッサは、文書イメージを最適化する方法により、一部のコンポネントが省略されるか、図示していない更なるコンポネントがさらに含まれるか、２以上のコンポネントが結合される。

一方、このような前記コンピュータ装置は、望ましくは、パソコン又はサーバに該当し、場合によっては、スマートフォン(smart phone)と、タブレット(tablet)と、携帯電話機と、画像電話機と、電子本リーダ(e-book reader)と、デスクトップ(desktop)ＰＣと、ラップトップ(laptop)ＰＣと、ネットブック(netbook)ＰＣと、個人用複合端末機(personal digital assistant: ＰＤＡ 、以下‘ＰＤＡ’という)と、ポータブル・マルチメディアプレーヤー(portable multimedia player: ＰＭＰ、以下‘ＰＭＰ’という)と、エムピ３プレーヤー(mp3 player)と、移動医療デバイスと、カメラと、ウェアラブルデバイス(wearable device)(一例として、ヘッド-マウントデバイス(head-mounted device: ＨＭＤ、以下、‘ＨＭＤ’という)と、電子衣類と、電子腕輪と、電子ネックレスと、電子Appcessoryと、電子タトゥー、又はスマートウォッチ(smart watch)などに該当する。

このようなコンピュータ装置は、接続されているか、又は内蔵されたスキャナ、カメラなどによって入力されたイメージに対して、前記前処理部１０００及びイメージ圧縮部２０００のプロセスを行って、イメージを最適化するか、又は外部からネットワークインターフェース部(Ｂ)を介して伝送されるか、又はメモリ(Ｃ)に既格納されたイメージに対して、前記前処理部１０００及びイメージ圧縮部２０００のプロセスを行って、イメージを最適化することができる。

又は、前記コンピュータ装置がサーバに該当する場合は、前記ネットワークインターフェース部(Ｂ)を介して伝送されたイメージを、前記前処理部１０００及び前記イメージ圧縮部２０００がイメージ最適化を行い、最適化されたイメージを、前記ネットワークインターフェース部を介して、再度、ユーザに伝送することもできる。

図３は、本発明の一実施例による前処理部１０００の内部構成を概略的に示す図である。

前記前処理部１０００は、原本イメージに対して、鮮鋭化処理、二値化処理、及びブラー処理の１以上を行うことで、原本イメージからノイズを除去し、テキストを鮮明にする動作を行う。

前記鮮鋭化処理は、イメージをより鮮明にする処理である。このような鮮鋭化処理を文書イメージに行う場合、テキスト部分のみがより鮮明で且つ明確にすることができる。このような鮮鋭化処理の一例としては、カラー値の差を有する各ピクセルの縁部分のコントラストを増やして鮮明にする処理である。このような鮮鋭化処理を行うことで、左右が異なる色境界部分の１ピクセルを、明るい部分はより明るく、暗い部分はより暗くすることで、原本イメージがより鮮明になる。一方、前記鮮鋭化処理は、通常の鮮鋭化処理を行うために、公知のアルゴリズムのいずれか１つを使用することができる。

前記ブラー処理は、イメージを不明にする処理である。一方、前記ブラー処理は、通常のブラー処理を行うために、公知のアルゴリズムのいずれか１つを使用する。より望ましくは、前記ブラー処理は、ガウシアンブラー(Gaussian Blur)処理に該当する。

前記二値化処理は、イメージを二値化する方式に該当する。一方、前記二値化処理は、通常の二値化処理を行うために、公知のアルゴリズムのいずれか１つを使用する。望ましくは、前記二値化処理は、イメージをグレーイメージに変換させ、グレーイメージの特定値を基準に二値化を行うスレッショルド(threshold)二値化処理であり、より望ましくは、周辺のピクセル値を用いて、可変的に二値化させる適応スレッショルド(adaptive threshold)二値化処理に該当する。

図３に示しているように、前記前処理部１０００は、原本イメージに対して、鮮鋭化処理及び二値化処理を行うノイズ除去部１１００と、前記ノイズ除去段階(Ｓ１１０)が行われた原本イメージを、イメージブロックに分割し、テキストが含まれたイメージブロックと、テキストが含まれたイメージブロックに対して異なる処理を行うブロック処理部１２００とを含む。

望ましくは、前記ノイズ除去部１１００は、原本イメージに対して、まず、鮮鋭化処理を行い、以後に、適応スレッショルド方式で原本イメージに対して、二値化処理を行う。

望ましくは、前記ブロック処理部１２００は、一次的に、前記原本イメージをイメージブロックに分割する。イメージブロックは、図７に示しているように、イメージを複数のブロックの領域に区分したことを意味し、これについては、後述することにする。一方、イメージブロックに区分した後には、それぞれのイメージブロックの特性に対して判別などを行い、判別結果によって、イメージブロックのそれぞれに、異なるイメージ処理を行うことができる。

望ましくは、前記ブロック処理部１２００は、それぞれのイメージブロックに対して、テキストが含まれているか否かを判別する。このようなテキストが含まれているかを判別する方法としては、イメージブロックの黒画素密度を測定して、黒画素密度が高い場合は、テキストが含まれたイメージブロックと判別するか、イメージブロックで連続的に連結された隣接画素グループをラベリングし、ラベリンググループの直線長さ又は対角線長さを測定して、これらに対するヒストグラムを基に、テキストがあるか否かを判別するか、又は、イメージブロックに対して、テキスト抽出アルゴリズムを行って、テキストが抽出されるかを判別するか、イメージブロックに対する統計的なヒストグラムを導出して、テキストが含まれる場合のヒストグラムとの類似性を判断する方法などが用いられる。

以後、前記ブロック処理部１２００は、テキストが含まれたイメージブロックに対して、ブラー処理を行い、テキストが含まれない追加の鮮鋭化処理を行う。

このような方法によると、全体として、鮮鋭化処理及び二値化処理が行われた原本イメージに対して、更に、イメージブロックに区分された領域別にブラー処理又は鮮鋭化処理が行われる。よって、テキストが含まれたイメージブロックの場合は、鮮鋭化処理、二値化処理、鮮鋭化処理の順に行われ、テキストが含まれないイメージブロックの場合は、鮮鋭化処理、二値化処理、ブラー処理の順に行われる。このように、１つのイメージに対して、イメージブロックに区分し、イメージブロック別にテキストが含まれているか否かによって、異なる追加のイメージ処理を行うことで、文書イメージをより鮮明に変換しており、これは、後述するイメージ圧縮部２０００の動作において、品質の低下をもたらすことなく、容量が減少する効果を発揮することができる。

図４は、本発明の一実施例によるノイズ除去を行ったイメージを示している。

図４の(Ａ)は、一般のスキャナでスキャンした文書イメージの一部領域に該当する。これに対して、鮮鋭化処理、及び適応スレッショルド方式による二値化処理を行うものが、図４の(Ｂ)に該当する。

図４の(Ｂ)に示しているように、初期スキャナで、印刷時のノイズ、及び認識不明が前記ノイズ除去部１１００の動作によって相当部分除去されていることが分かる。また、これに対して、イメージブロック単位別にブロック処理部１２００がイメージ処理を行う場合、より鮮明な文書イメージを獲得することができる。
（イメージ圧縮システム）

図５は、本発明の一実施例によるイメージ圧縮部２０００の内部構成を概略的に示す図である。便宜上、以下で説明されるイメージ圧縮部の動作又はイメージ圧縮段階は、前記前処理部１０００で前処理が行われた前処理イメージの後続処理として説明する。但し、本発明は、これに限定されず、前処理が行われないイメージ(以下では、便宜上“原本イメージ”と称する)に対して、前記イメージ圧縮部２０００が独立してイメージを圧縮する実施例を含む。

図５に示しているイメージ圧縮部２０００は、前記前処理部１０００で前処理が行われた前処理イメージに、画質の劣化を最小化し、且つイメージの容量を最適化する動作を行う。又は、前記イメージ圧縮部２０００は、ユーザにより入力された原本イメージに対して、画質の劣化を最小化し、且つイメージの容量を最適化する動作を行う。

具体的に、前記イメージ圧縮部２０００は、前記前処理イメージ又は原本イメージが、非可逆圧縮イメージ、可逆圧縮イメージ、及び非圧縮イメージのいずれのファイル形式に該当するかを判断するファイル形式判断部２１００と、前記前処理イメージを複数のイメージブロックに分割するイメージブロック分割部２２００と、前記前処理イメージ又は原本イメージのファイル形式により、異なる方法で前記前処理イメージ又は原本イメージを変換するイメージ変換部２３００とを含む。

このようなイメージ圧縮部２０００は、全ての前処理イメージ又は原本イメージに対して、同一の方法で変換(圧縮)を行うことではなく、前処理イメージ又は原本イメージの圧縮可否、つまり、圧縮であると、可逆可否を判断し、これにより、異なる方法で前処理イメージを変換するため、それぞれのイメージに対して、個別的に最適化を行えるというメリットがある。ここで、前処理イメージの場合、圧縮可否、つまり、圧縮であると、可逆可否は通常、前処理前の原本イメージによって決められる。

また、イメージ圧縮部２０００は、イメージ変換を行うことにおいて、イメージ全領域について同じ方法でイメージ変換を行うことではなく、イメージを複数のイメージブロックに分割し、それぞれのイメージブロックの特性によって、異なる方法でイメージ変換を行うため、１つのイメージに対して、各部別に最適化した方法でイメージを変換することができるというメリットがある。

より望ましくは、前記イメージ圧縮部２０００は、前記前処理イメージに対して、圧縮可否及び圧縮時の可逆可否により、異なる２以上の方法で変換を行い、２以上の変換されたイメージのいずれか１つを最終圧縮イメージとして選択するか、２以上の変換されたイメージに対する２以上の圧縮イメージのいずれか１つを最終圧縮イメージとして選択する。

例えば、前記イメージ圧縮段階(Ｓ２００)は、非可逆圧縮イメージである場合は、Ａ方法及びＢ方法でイメージを変換し、可逆圧縮イメージである場合は、Ｃ方法及びＤ方法でイメージを変換し、非圧縮イメージである場合は、Ｅ方法及びＦ方法でイメージを変換することができる。

以後、２つの方法で変換されたイメージに対して、再度、可逆又は非可逆圧縮を行った２つの圧縮イメージのうち、容量の小さい圧縮イメージを最終圧縮イメージとして選択するか、２つの変換イメージのうち、容量の小さい変換イメージを最終圧縮イメージとして選択するか、又は２つの変換イメージのうち、圧縮イメージの容量が小さい変換イメージを最終圧縮イメージとして選択することができる。

よって、前記のようなイメージ圧縮部２０００の動作によると、圧縮可否、及び圧縮時の可逆可否によって、異なる方法で圧縮を行うだけでなく、該当カテゴリーにおいても、複数の圧縮方式で圧縮を行い、このうち、より最適化された圧縮イメージを選択することで、それぞれのイメージに対して効率よく、画質の劣化を最小化する圧縮を提供することができる。

より望ましくは、前記イメージ圧縮部２０００における前記圧縮イメージの圧縮方法は、前記前処理イメージ又は原本イメージの圧縮方式と同一である。すなわち、前処理イメージ又は原本イメージが非可逆圧縮イメージである場合、前処理イメージ又は原本イメージに対して、Ａ及びＢ方法でイメージ変換を行い、これに対して、再度、圧縮を行った後に、このうち、容量の少ないものを最終圧縮イメージとして選定するような場合、前記再度圧縮を行う時の圧縮方法は、前処理イメージ又は原本イメージの元の圧縮方式である非可逆圧縮で行うのが望ましい。

また、本発明の一実施例では、該当カテゴリーにおいて、複数の圧縮方式で圧縮を行うことにおいても、イメージの全領域に対して、同一のアルゴリズムで圧縮を行うことではなく、イメージブロック別に特性を判別し、これにより、イメージブロック別に最適化された圧縮を行うため、それぞれの圧縮方式でも、より最適の圧縮を行えるというメリットがある。

望ましくは、前記イメージ変換部２３００は、前記前処理イメージのイメージブロックの複雑度又は色相数を判断し、それぞれのイメージブロックに対して、異なるイメージ処理を行う。前記イメージ変換部２３００は、複雑度を判断する複雑度判断部、及び/又は色相数を判断する色相数判断部を含む(図示せず)。

複雑度判断部は、前記イメージを構成するイメージブロック又は前記イメージを構成する細部領域に対して、それぞれイメージ複雑度を算出する。本明細書において、イメージの複雑な程度(イメージ複雑度)とは、イメージが変化する程度を言う。

このような複雑度判断部は、画素値判断部、色相数判断部、及び量子化判断部の１以上を含むのが望ましい。一方、複雑度判断部は、前記画素値判断部、色相数判断部、及び量子化判断部の１つを用いて、複雑度を判断してもよく、２以上の判断結果によって、複雑度を判断してもよい。

一方、色相数判断部は、前記複雑度判断部に含まれている色相数判断部と同一である。

画素値判断部は、前記イメージを構成するイメージブロック又は前記イメージを構成する細部領域に対して、それぞれグレーイメージ(gray image)に変換した後、画素値の変化量を測定して、イメージ複雑度を算出する。ここで、前記グレーイメージは、明度情報、すなわち明暗程度に関する情報だけで表現されるイメージを意味する。通常、前記グレーイメージを表現するグレーレベルは、２８(=２５６)個のレベルを有する。前記グレーレベルが０に近接するほど暗く、２５５に近接するほど明るいイメージとなる。

画素値判断部は、グレーイメージに変換された前記イメージを構成するイメージブロック又は前記イメージを構成する詳細領域の画素別に、特定の画素値との差(差分値)を求めた後に、画素値の差の平均して計算される変化量を算出し、このような変化量が既設定された値以上であるか否かを判断することができる。

差分値の平均が高いとは、グレーイメージに変換された前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に相応する部分のイメージ複雑度が高いことを意味する。この時、前記画素値判断部は、グレーイメージに変換された前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対して、前記変化量が既設定された値以上の場合は、イメージ複雑度が高いことと、反対に既設定された値未満の場合は、イメージ複雑度が低いことと判断することになる。

色相数判断部は、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対してそれぞれ、色相数を測定して、イメージ複雑度を算出する。特に、色相数判断部は、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域について、それぞれの色相数が特定の色相数以上であるか否かを判断して、イメージ複雑度を算出することができる。この時、色相数判断部は、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対して、前記色相数が既設定された基準色相数(Nc_standard)以上又は超えの場合は、イメージ複雑度が高いことと、反対に既設定された基準色相数(Nc_standard)未満又は以下の場合は、イメージ複雑度が低いことと判断することになる。

量子化判断部は、所定の量子化レベルを基に、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対してそれぞれを量子化した後、これに相応するヒストグラムを基に、量子化レベルの全体的な分布を測定して、イメージ複雑度を算出する。このために、まず、量子化判断部は、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対して、それぞれ量子化を行い、量子化されたイメージを生成する。量子化に際して、整数値０、１、２、…、２ｎ-１で構成された２ｎ個の量子化レベルで、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域のそれぞれを構成する各画素値が構成される。

量子化区分値は、ヒストグラム(histogＲＡＭ)上の中間値(median)を基準にする。例えば、４値量子化の場合、ヒストグラム値が２５％、５０％、７５％を基準に行われることを仮定する。一方、前記ヒストグラムは、度数分布を示すグラフであって、観測したデータの分布特徴が一目で見えるように、柱状で示している。前記ヒストグラムは、柱グラフなどと呼ばれる。この時、前記ヒストグラムの横軸に、各量子化レベルが所定の間隔をもって示され、縦軸に各量子化レベルに分布する画素の度数(以下、画素の数という)が、所定の間隔をもって示されている。すなわち、前記ヒストグラムは、各量子化レベル間の区間別に、該当区間での画素の数を、比例する高さの柱で示される。

量子化判断部は、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対してそれぞれ、量子化を行った結果を示すヒストグラムを分析して、量子化レベルの平均値を求めた後に、量子化レベルの平均値が属する所定の範囲をはずす(量子化レベルの平均値をはずす)画素の数が、既設定された数以上であるか否かを判断して、イメージ複雑度を算出することができる。

例示的に、量子化判断部は、前記イメージを構成するイメージブロック、又は前記イメージを構成する詳細領域に対してそれぞれ、量子化を行った結果を示すヒストグラムにおいて、平均値をはずす画素の数が５０％以上である場合、イメージ複雑度が高いことと判断することができる。

図６は、本発明の一実施例によるファイル形式判断部２１００の動作を概略的に示す。

図６に示しているように、前記ファイル形式判断部２１００は、前処理イメージ又は原本イメージが、非可逆圧縮イメージ、可逆圧縮イメージ、及び非圧縮イメージのいずれのファイル形式に該当するかを判断する。すなわち、イメージの圧縮可否、つまり、圧縮であると、いずれの形式の圧縮であるかを判断し、前記ファイル形式判断部２１００における判断結果によって、イメージ変換部２３００は、異なる方式でイメージ圧縮を行う。

図７は、本発明の一実施例によるイメージブロックを例示的に示す。

図７の(Ａ)は、原本イメージ又は前処理イメージを、２Ｘ２のイメージブロックに区分した例を示し、図７の(Ｂ)は、原本イメージ又は前処理イメージを、４Ｘ４のイメージブロックに区分した例を示し、図７の(Ｃ)は、原本イメージ又は前処理イメージを、８Ｘ８のイメージブロックに区分した例を示している。

本発明のイメージブロックに対する区分方法は、前記図７に限定されるものではなく、様々な形態で設定することができる。また、前記イメージブロック分割部２２００により区分されるイメージブロックは、定型性を有することなく、領域毎に異なる基準で設定される。

図８は、本発明の一実施例によるイメージ変換部２３００の内部構成を概略的に示す。

前記イメージ圧縮部２０００は、前記前処理イメージが、非可逆圧縮イメージ、可逆圧縮イメージ、及び非圧縮イメージのいずれのファイル形式に該当するかを判断し、このようなファイル形式によって、前記イメージ変換部２３００は、異なる方法で前記前処理イメージを変換する。

すなわち、イメージ変換部２３００は、異なる方法を行う非可逆圧縮イメージ変換部２３１０と、可逆圧縮イメージ変換部２３２０と、非圧縮イメージ変換部２３３０とを含み、非可逆圧縮イメージ変換部２３１０、可逆圧縮イメージ変換部２３２０、非圧縮イメージ変換部２３３０は、互いに異なる方法でイメージを圧縮することができる。但し、本発明の他の実施例では、例えば、２つの変換部が同一の方法でイメージを圧縮してもよい。例えば、非可逆圧縮イメージ変換部２３１０、及び可逆圧縮イメージ変換部２３２０は、同一の方法でイメージを圧縮し、非圧縮イメージ変換部２３３０は、これと異なる方法でイメージを圧縮することができる。

図９は、本発明の一実施例による非可逆圧縮イメージの場合に、イメージ変換部２３００の動作を概略的に示している。

ここで、イメージ変換部２３００の動作は、前記非可逆圧縮イメージ変換部２３１０の動作を意味する。

望ましくは、前記前処理イメージ又は原本イメージが非可逆圧縮イメージである場合、２以上の方法で、前記前処理イメージ又は原本イメージを変換して２以上の変換イメージを生成し、前記変換イメージに対して非可逆圧縮を行って、２以上の圧縮イメージを生成し、前記２以上の圧縮イメージのうち、少ない容量を有するイメージを、最終圧縮イメージとして選択する。

望ましくは、前記イメージ変換部２３００は、前記前処理イメージ又は原本イメージのイメージブロック別に複雑度を判断し、前記複雑度によって、イメージブロック別にブラー処理を行って、第１の変換イメージを生成し、前記前処理イメージ又は原本イメージに対して、ブラー処理を行い、前記前処理イメージ又は原本イメージのエッジ領域を抽出し、前記ブラー処理が行われた前処理イメージ又は原本イメージにおいて、前記エッジ領域に対応する領域に対しては、前記前処理イメージ又は原本イメージの原本領域を結合して、第２の変換イメージを生成する。

以後、前記イメージ変換部２３００は、前記第１の変換イメージ及び前記第２の変換イメージのうち、容量の小さいイメージを、最終圧縮イメージとして選択又は出力するか、又は第１の変換イメージ及び前記第２の変換イメージに対して、圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、容量の小さいイメージを、最終圧縮イメージとして選択又は出力するか、又は、第１の変換イメージ及び前記第２の変換イメージに対して圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、第１の圧縮イメージが容量が小さいと、第１の変換イメージを、最終圧縮イメージとして選択又は出力するか、第２の圧縮イメージが容量が小さいと、第２の変換イメージを、最終圧縮イメージとして選択又は出力することができる。

以下では、本発明の一実施例をより詳しく説明することにする。

図９の(Ａ)は、９個のイメージブロックに区分された前処理イメージ又は原本イメージを示している。

図９の(Ｂ１乃至Ｄ１)は、第１の方法で非可逆圧縮イメージを変換する過程を示す。具体的に図９の(Ｂ１)は、前記前処理イメージ又は原本イメージのそれぞれのイメージブロックに対して、複雑度を判断する。複雑度判断は、前述した複雑度判断部における判断と同一である。

例示的に、図９の(Ｂ１)では、(２、１)、(２、２)、(２、３)のイメージブロックの複雑度が、既設定された基準に比較して、低いと判断されている。

以後、前記イメージ変換部２３００は、(２、１)、(２、２)、(２、３)のイメージブロックに対して、ブラー処理を行う。ブラー処理が行われたイメージブロックに対しては、“Ｂ”を表記している(図９の(Ｃ１))。

以後、前記イメージ変換部２３００は、全体のイメージに対して、非可逆圧縮を行う。非可逆圧縮が行われたイメージは、図９の(Ｄ１)に示している。

図９の(Ｂ２乃至Ｄ２)は、第２の方法で非可逆圧縮イメージを変換する過程を示す。具体的に、図９の(Ｂ２)は、前記前処理イメージ又は原本イメージから二値化を行ってエッジイメージを生成し、また、前処理イメージ又は原本イメージの全体に対して、ブラー処理を行った２つのイメージを示す。

以後、前記イメージ変換部２３００は、ブラー処理を行ったイメージ(下段のイメージ)を基本とし、エッジイメージで読み取られたエッジ領域に、相応する原本イメージ(前処理イメージ又は原本イメージ)の領域を合成する(図９の(Ｃ２))。

以後、前記イメージ変換部２３００は、全体イメージに対して、非可逆圧縮を行う。非可逆圧縮が行われたイメージは、図９の(Ｄ２)に示している。

より具体的に、エッジイメージとは、イメージに対して、高周波領域に該当する隅領域のエッジ(edge)を算出したイメージをいう。より望ましくは、前記イメージ変換部２３００は、前記エッジイメージに対して二値化を行い、エッジ二値化イメージを生成する。この場合、エッジ二値化イメージの各画素の画素値は、０(黒)又は１(白)となる。

以後、イメージ変換部２３００は、二値化イメージ生成部で生成されたエッジイメージにおいて、０の値を有する画素に対応する原本イメージの領域を、前記ブラー処理したイメージに合成する。

以後、前記イメージ変換部２３００は、図９の(Ｄ１)に示している第１の圧縮イメージと、図９の(Ｄ２)に示している第２の圧縮イメージとの容量を比較し、このうち、容量が小さいものを、最終圧縮イメージとして選択又は出力することができる。

図１０は、本発明の一実施例による可逆圧縮イメージの場合において、イメージ変換部２３００の動作を概略的に示している。

ここで、イメージ変換部２３００の動作は、前記可逆圧縮イメージ変換部２３２０の動作を意味する。

望ましくは、前記前処理イメージが可逆圧縮イメージである場合、２以上の方法で前記前処理イメージを変換して、２以上の変換イメージを生成し、前記変換イメージに対して、可逆圧縮を行って、２以上の圧縮イメージを生成し、前記２以上の圧縮イメージのうち、少ない容量を有するイメージを、最終圧縮イメージとして選択する。

望ましくは、前記イメージ圧縮部２０００は、前記前処理イメージのイメージブロック別に色相数を判断し、前記色相数によって、イメージブロック別に異なるディザリング処理を行って、第１の変換イメージを生成し、前記前処理イメージのイメージブロック別に複雑度を判断して、前記複雑度によって、イメージブロック別に異なるディザリング処理及びブラー処理を行って、第２の変換イメージを生成する。

ここで、ディザリング(dithering)処理とは、イメージの色空間の差から生じる欠点を補う画像処理を意味し、原本イメージよりも少ない数の色相数を有するイメージに変換する。より具体的に、色相数が既設定された第１の色相数(Ｎｃ_１)未満のイメージブロックに対して、既設定されたビット数よりも低いビット数(例えば、原本イメージのビット数が２４ビットであり、既設定されたビット数が１６ビットであるとすると、７、８、９、１２、又は１５ビット)でディザリング処理する一方、色相数が既設定された第２の色相数(Ｎｃ_２; Ｎｃ_２≧Ｎｃ_１、 Ｎｃ_２は、原本イメージ全体の色相数以下)以上であるイメージブロックに対しては、既設定されたビット数よりも高いビット数(例えば、原本イメージのビット数が２４ビットであり、既設定されたビット数が１６ビットであるとすると、１８又は２１ビット)でディザリング処理して、変換イメージを生成することができる。

より望ましくは、色相数によって区間を設定し、それぞれの区間に対して、それぞれ異なるディザリングを行う。色相数が高い区間に対しては、高いビット数のディザリングを行い、色相数が低い区間に対しては、低いビット数のディザリングを行い、色相数が非常に高い区間に対しては、ディザリングを行わなくてもよい。例えば、色相数がＮ１〜Ｎ２区間(第１の区間)では、８ビットのディザリングを行い、Ｎ２〜Ｎ３区間(第２の区間)では、１６ビットのディザリングを行い、Ｎ３〜Ｎ４区間(第３の区間)では、２４ビットのディザリングを行い、Ｎ４以上(第４の区間)では、ディザリングを行わなくてもよい。

以後、前記イメージ変換部２３００は、前記第１の変換イメージ及び前記第２の変換イメージのうち、容量の小さいイメージを最終圧縮イメージとして選択又は出力するか、又は第１の変換イメージ及び前記第２の変換イメージに対して圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、容量の小さいイメージを最終圧縮イメージとして選択又は出力するか、又は、第１の変換イメージ及び前記第２の変換イメージに対して圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、第１の圧縮イメージが容量が小さいと、第１の変換イメージを、最終圧縮イメージとして選択又は出力するか、第２の圧縮イメージが容量が小さいと、第２の変換イメージを、最終圧縮イメージとして選択又は出力することができる。

以下では、本発明の一実施例をより詳しく説明することにする。

図１０の(Ａ)は、９個のイメージブロックに区分された前処理イメージを示している。

図１０の(Ｂ１〜Ｄ１)は、第１の方法で可逆圧縮イメージを変換する過程を示す。具体的に、図１０の(Ｂ１)は、前記前処理イメージのそれぞれのイメージブロックに対して、色相数を判断する。色相数の判断は、前述した色相附判断部における判断と同一である。

例示的に、図１０の(Ｂ１)では、(１、２)、(２、２)、(３、２)のイメージブロックの色相数が、既設定された基準に比較して、低いと判断されている。

以後、前記イメージ変換部２３００は、(１、２)、(２、２)、(３、２)のイメージブロックに対して、低いビット数のディザリング処理を行い、残りのイメージブロックに対しては、高いビット数のディザリング処理を行う。又は、本発明の他の実施例では、非常に高い色相数を有するイメージブロックに対しては、ディザリング処理を行わなくてもよい。高いビット数のディザリング処理が行われたイメージブロックに対しては、“ＨＤ”を標記し、低いビット数のディザリング処理が行われたイメージブロックに対しては、“ＬＤ”を表記している(図１０の(Ｃ１))。

以後、前記イメージ変換部２３００は、全体のイメージに対して、可逆圧縮を行う。可逆圧縮が行われたイメージは、図１０の(Ｄ１)が示す。

図１０の(Ｂ２〜Ｄ２)は、第２の方法で可逆圧縮イメージを変換する過程を示す。具体的に図１０の(Ｂ２)は、前記前処理イメージのそれぞれのイメージブロックに対して、複雑度を判断する。複雑度判断は、前述した複雑度判断部における判断と同様である。

例示的に図１０の(Ｂ１)では、(１、２)、(２、２)、(３、２)のイメージブロックの色相数が、既設定された基準と比較して、低いと判断されている。

以後、前記イメージ変換部２３００は、(１、２)、(２、２)、(３、２)のイメージブロックに対して、ブラー処理をした後に、低いビット数のディザリング処理を行い、残りのイメージブロックに対しては、高いビット数のディザリング処理を行う。又は、本発明の他の実施例では、非常に高い色相数を有するイメージブロックに対しては、ディザリング処理を行わない。ブラー処理が行われたイメージブロックに対しては、“Ｂ”を表記し、高いビット数のディザリング処理が行われたイメージブロックに対しては、“ＨＤ”を表記し、低いビット数のディザリング処理が行われたイメージブロックに対しては、“ＬＤ”を表記している(図１０の(Ｃ２))。

以後、前記イメージ変換部２３００は、全体のイメージに対して可逆圧縮を行う。可逆圧縮が行われたイメージは、図１０の(Ｄ２)に示している。

以後、前記イメージ変換部２３００は、図１０の(Ｄ１)に示されている第１の圧縮イメージと、図１０の(Ｄ２)に示されている第２の圧縮イメージとの容量を比較し、このうち、容量の小さいものを、最終圧縮イメージとして選択又は出力することができる。

図１１は、本発明の一実施例による非圧縮イメージの場合において、イメージ変換部２３００の動作を概略的に示している。

ここで、イメージ変換部２３００の動作は、前記非圧縮イメージ変換部２３３０の動作を意味する。

望ましくは、前記前処理イメージが非圧縮イメージの場合に、２以上の方法で前記前処理イメージを変換して、２以上の変換イメージを生成し、前記変換イメージに対して可逆圧縮を行って、２以上の圧縮イメージを生成し、前記変換イメージのうち、前記２以上の圧縮イメージが少ない容量を有する変換イメージを、最終圧縮イメージとして選択する。

望ましくは、前記イメージ圧縮部２０００は、前記前処理イメージのイメージブロック別に色相数を判断し、前記色相数によって、イメージブロック別に異なるディザリング処理を行って、第１の変換イメージを生成し、前記前処理イメージのイメージブロック別に複雑度を判断し、前記複雑度によって、イメージブロック別に異なるディザリング処理及びブラー処理を行って、第２の変換イメージを生成する。

以後、前記イメージ変換部２３００は、前記第１の変換イメージ及び前記第２の変換イメージのうち、容量の小さいイメージを最終圧縮イメージとして選択又は出力するか、又は、第１の変換イメージ及び前記第２の変換イメージに対して圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、容量の小さいイメージを最終圧縮イメージとして選択又は出力するか、又は、第１の変換イメージ及び前記第２の変換イメージに対して圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、第１の圧縮イメージが容量が小さいと、第１の変換イメージを最終圧縮イメージとして選択又は出力するか、第２の圧縮イメージが容量が小さいと、第２の変換イメージを最終圧縮イメージとして選択又は出力することができる。

第１の変換イメージ及び前記第２の変換イメージに対して圧縮を行い、圧縮が行われた第１の圧縮イメージ及び第２の圧縮イメージのうち、第１の圧縮イメージが容量が小さいと、第１の変換イメージを最終圧縮イメージとして選択又は出力するか、第２の圧縮イメージの容量が小さいと、第２の変換イメージを最終圧縮イメージとして選択又は出力する場合は、一旦、原本のような非圧縮イメージで最終圧縮イメージを出力することができ、このような非圧縮イメージが、後で全体として圧縮などが行われる場合、全体的な容量をより減少することができる。

以下では、本発明の一実施例をより詳しく説明することにする。

図１１の(Ａ)は、９個のイメージブロックに区分された前処理イメージを示す。

図１１の(Ｂ１乃至Ｄ１)は、第１の方法で可逆圧縮イメージを変換する過程を示す。具体的に、図１１の(Ｂ１)は、前記前処理イメージのそれぞれのイメージブロックに対して、色相数を判断する。色相数判断は、前述した色相数判断部における判断と同様である。

例示的に、図１１の(Ｂ１)では、(１、２)、(２、２)、(３、２)のイメージブロックの色相数が、既設定された基準と比較して、低いと判断されている。

以後、前記イメージ変換部２３００は、(１、２)、(２、２)、(３、２)のイメージブロックに対して、低いビット数のディザリング処理を行い、残りのイメージブロックに対しては、高いビット数のディザリング処理を行う。又は、本発明の他の実施例では、非常に高い色相数を有するイメージブロックに対しては、ディザリング処理を行わない。高いビット数のディザリング処理が行われたイメージブロックに対しては、“ＨＤ”を表記し、低いビット数のディザリング処理が行われたイメージブロックに対しては、“ＬＤ”を表記している(図１１の(Ｃ１))。

以後、前記イメージ変換部２３００は、全体イメージに対して、可逆圧縮を行う。可逆圧縮が行われたイメージは、図１１の(Ｄ１)に示している。

図１１の(Ｂ２〜Ｄ２)は、第２の方法で可逆圧縮イメージを変換する過程を示す。具体的に図１１の(Ｂ２)は、前記前処理イメージのそれぞれのイメージブロックに対して、複雑度を判断する。複雑度判断は、前述した複雑度判断部における判断と同様である。

例示的に、‘図１１の(Ｂ１)では、(１、２)、(２、２)、(３、２)のイメージブロックの色相数が、既設定された基準と比較して、低いと判断されている。

以後、前記イメージ変換部２３００は、(１、２)、(２、２)、(３、２)のイメージブロックに対して、ブラー処理をした後に、低いビット数のディザリング処理を行い、残りのイメージブロックに対しては、高いビット数のディザリング処理を行う。又は、本発明の他の実施例では、非常に高い色相数を有するイメージブロックに対しては、ディザリング処理を行わない。ブラー処理が行われたイメージブロックに対しては、“Ｂ”を表記し、高いビット数のディザリング処理が行われたイメージブロックに対しては、“ＨＤ”を表記し、低いビット数のディザリング処理が行われたイメージブロックに対しては、“ＬＤ”を表記している(図１１の(Ｃ２))。

以後、前記イメージ変換部２３００は、全体イメージに対して可逆圧縮を行う。可逆圧縮が行われたイメージは、図１１の(Ｄ２)に示している。

以後、前記イメージ変換部２３００は、図１１の(Ｄ１)に示されている第１の圧縮イメージと、図１１の(Ｄ２)に示されている第２の圧縮イメージとの容量を比較し、このうち、容量の小さい圧縮イメージを有する変換イメージを、最終圧縮イメージとして選択又は出力することができる。

文書イメージの最適化方法
以下では、本発明のイメージを最適化する方法について説明することにする。

本発明のイメージを最適化する方法は、図２〜図１１で説明したイメージを最適化する装置によって行うことができる。よって、イメージを最適化する装置で説明した内容と重複した内容は、省略することにする。

図１２は、本発明の一実施例による文書イメージを最適化する方法の段階を概略的に示している。

本実施例によると、原本イメージからノイズを除去し、テキストを鮮明にして前処理イメージを生成する前処理段階(Ｓ１００)を行う。このような前処理段階では、イメージ処理方式のうち、鮮鋭化処理、二値化処理、及びブラー処理の１以上を行う。このような前処理段階(Ｓ１００)を行うことで、原本イメージが前処理イメージに変換され、前処理イメージは、文書イメージの場合よりもテキストの鮮明度が増加する。

また、本発明による文書イメージを最適化する方法は、前記前処理イメージに対して、イメージ圧縮を行うイメージ圧縮段階(Ｓ２００)を更に含む。この場合、前記前処理が行われた前処理イメージに対して、更なるイメージ処理、すなわち、イメージ圧縮を行うことで、より文書イメージの容量を減少することができる。

望ましくは、前記イメージ圧縮段階(Ｓ２００)は、前記前処理イメージの圧縮可否及び圧縮時の可逆可否によって、異なる方法で圧縮を行う。ここで、前記前処理イメージの圧縮可否及び圧縮時の可逆可否は、基本的に、原本イメージの圧縮可否及び圧縮時の可逆可否によって決められる。このような方法で、それぞれ他の種類の原本イメージに対して、原本イメージのファイル形式を変更することなく、文書イメージとして最適化を行うことができる。

また、原本イメージの圧縮可否及び圧縮時の可逆可否を考えて、異なる方法で圧縮を行うことで、原本イメージ又は前処理イメージの画質劣化を最小化し、且つ、容量を減らす効果を発揮することができる。

また、イメージ圧縮段階(Ｓ２００)が、前記前処理段階(Ｓ１００)の後に行われるので、イメージ圧縮段階(Ｓ２００)における効果を維持し、且つ、イメージの最適化が行えるというメリットがある。

図１３は、本発明の一実施例による前処理段階の細部段階を概略的に示している。

図１３に示しているように、前記前処理段階(Ｓ１００)は、原本イメージに対して、鮮鋭化処理、及び二値化処理を行うノイズ除去段階(Ｓ１１０)と、前記ノイズ除去段階(Ｓ１１０)が行われた原本イメージをイメージブロックに分割し、テキストが含まれたイメージブロックと、テキストが含まれたイメージブロックに対して異なる処理を行うブロック処理段階(Ｓ１２０)とを含む。

望ましくは、前記ノイズ除去段階(Ｓ１１０)は、原本イメージに対して、まず、鮮鋭化処理を行い、以後に、適応スレッショルド方式で原本イメージに対して、二値化処理を行う。

望ましくは、前記ブロック処理段階(Ｓ１２０)は、一次的に、前記原本イメージをイメージブロックに分割する。イメージブロックとは、図７に示しているように、イメージを複数のブロックの領域に区分したことを意味する。一方、イメージブロックに区分した後には、それぞれのイメージブロックの特性に対して判別などを行い、判別結果によって、イメージブロックのそれぞれの異なるイメージ処理を行うことができる。

図１４は、本発明の一実施例によるブロック処理段階(Ｓ１２０)の細部段階を概略的に示している。

本実施例では、望ましくは、前記ブロック処理段階(Ｓ１２０)は、イメージをイメージブロックに分割する前処理イメージブロック分割段階(Ｓ１２１)と、分割されたイメージブロックに対して、テキストが含まれているか否かを判別するテキスト包含判別段階(Ｓ１２２)と、テキストの包含可否によって、ブラー処理又は鮮鋭化処理を行うブラー/鮮鋭化処理段階(Ｓ１２３)とを含む。イメージブロックとは、図７に示しているように、イメージを複数のブロックの領域に区分したことを意味する。一方、イメージブロックに区分した後には、それぞれのイメージブロックの特性に対して判別などを行い、判別結果によって、イメージブロックのそれぞれが異なるイメージ処理を行うことができる。

望ましくは、前記ブロック処理段階(Ｓ１２０)は、それぞれのイメージブロックに対して、テキストが含まれているか否かを判別する。このようなテキストが含まれているかを判別する方法としては、イメージブロックの黒画素密度を測定して、黒画素密度が高い場合は、テキストが含まれたイメージブロックと判別するか、イメージブロックで連続的に連結されている隣接画素グループをラベリングし、ラベリンググループの直線長さ又は対角線長さを測定して、これらに対するヒストグラムを基に、テキストがあるか否かを判別するか、又は、イメージブロックに対して、テキスト抽出アルゴリズムを行って、テキストが抽出されるかを判別するか、イメージブロックに対する統計的なヒストグラムを導出して、テキストが含まれる場合のヒストグラムとの類似性を判断する方法などが用いられる。

以後、前記ブロック処理段階(Ｓ１２０)は、テキストが含まれたイメージブロックに対して、鮮鋭化処理を行い、テキストが含まれないイメージブロックに対して、ブラー処理を行う。

このような方法によると、全体として、鮮鋭化処理及び二値化処理が行われた原本イメージに対して、更に、イメージブロックに区分された領域別に、ブラー処理又は鮮鋭化処理が行われる。よって、テキストが含まれたイメージブロックの場合は、鮮鋭化処理、二値化処理、鮮鋭化処理の順に行われ、テキストが含まれないイメージブロックの場合は、鮮鋭化処理、二値化処理、ブラー処理の順に行われる。このように、１つのイメージに対して、イメージブロックに区分し、イメージブロック別にテキストが含まれているか否かによって、異なる更なるイメージ処理を行うことで、文書イメージをより鮮明に変換し、これは、後述するイメージ圧縮段階(Ｓ２００)において、品質を低下することなく、容量が減少する効果を発揮することができる。
（イメージ圧縮方法）

図１５には、本発明の一実施例によるイメージ圧縮段階(Ｓ２００)の細部段階を概略的に示している。便宜上、以下で説明するイメージ圧縮段階の動作は、前記前処理段階において、前処理が行われた前処理イメージの後続処理として説明する。但し、本発明は、これに限定されず、前処理が行われないイメージ(以下では、便宜上“原本イメージ”という)に対して、前記イメージ圧縮段階(Ｓ２００)が独立してイメージを圧縮する実施例を含む。

イメージ圧縮段階(Ｓ２００)は、前記前処理段階(Ｓ１００)において前処理が行われた前処理イメージ、又は入力された原本イメージへの画質の劣化を最小化し、且つ、イメージの容量を最適化する動作を行う。

具体的に、前記イメージ圧縮段階(Ｓ２００)は、前記前処理イメージ又は原本イメージが、非可逆圧縮イメージ、可逆圧縮イメージ、及び非圧縮イメージのいずれのファイル形式に該当するかを判断するファイル形式判断段階(Ｓ２１０)と、前記前処理イメージ又は原本イメージを複数のイメージブロックに分割するイメージブロック分割段階(Ｓ２２０)と、前記前処理イメージのファイル形式によって、異なる方法で、前記前処理イメージ又は原本イメージを変換するイメージ変換段階(Ｓ２３０)とを含む。

このようなイメージ圧縮段階(Ｓ２００)は、全ての前処理イメージ又は原本イメージに対して、同一の方法で変換(圧縮)を行うことではなく、前処理イメージ又は原本イメージの圧縮可否、つまり、圧縮であると、可逆可否を判断し、これにより、異なる方法で前処理イメージ又は原本イメージを変換するため、それぞれのイメージに対して、個別的に最適化を行うことができるというメリットがある。ここで、前処理イメージ又は原本イメージの圧縮可否、つまり圧縮であると、可逆可否は、通常的に原本イメージによって決められる。

また、イメージ圧縮段階(Ｓ２００)は、イメージ変換をすることに当たり、イメージの全領域に対して、同一の方法でイメージ変換を行うことではなく、イメージを複数のイメージブロックに分割し、それぞれのイメージブロックの特性によって、異なる方法でイメージ変換を行うため、１つのイメージに対して、各部別に最適化された方法でイメージを変換することができるメリットがある。

より望ましくは、前記イメージ圧縮段階(Ｓ２００)は、前記前処理イメージ又は原本イメージに対して、圧縮可否及び圧縮時の可逆可否によって、異なる２以上の方法で変換を行い、２以上の変換されたイメージのいずれか１つを、最終圧縮イメージとして選択するか、又は２以上の変換されたイメージに対する２以上の圧縮イメージのいずれか１つを、最終圧縮イメージとして選択する。

例えば、前記イメージ圧縮段階(Ｓ２００)は、非可逆圧縮イメージである場合は、Ａ方法及びＢ方法でイメージを変換し、可逆圧縮イメージである場合は、Ｃ方法及びＤ方法でイメージを変換し、非圧縮イメージである場合は、Ｅ方法及びＦ方法でイメージを変換することができる。

以後、２つの方法で変換されたイメージに対して、再度、非可逆又は可逆圧縮を行った２つの圧縮イメージのうち、容量の小さい圧縮イメージを最終圧縮イメージとして選択するか、又は２つの変換イメージのうち、容量の小さい変換イメージを最終圧縮イメージとして選択するか、又は２つの変換イメージのうち、容量が小さい変換イメージを最終圧縮イメージとして選択することができる。

よって、前記のようなイメージ圧縮段階(Ｓ２００)によると、圧縮可否及び圧縮時の可逆可否によって、異なる方法で圧縮を行うだけでなく、該当カテゴリーにおいても、複数の圧縮方式で圧縮を行い、より最適化した圧縮イメージを選択することでよって、それぞれのイメージに対して、より効率よく、且つ画質の劣化を最小化する圧縮を提供することができる。

より望ましくは、前記イメージ圧縮段階(Ｓ２００)において、前記圧縮イメージの圧縮方法は、前記前処理イメージ又は原本イメージの圧縮方式と同一である。すなわち、前処理イメージ又は原本イメージが非可逆圧縮イメージである場合に、前処理イメージ又は原本イメージに対して、Ａ及びＢ方法でイメージ変換を行い、これに対して、再度、圧縮を行った後に、このうち、容量の少ないことを最終圧縮イメージとして選定するような場合、前記再度圧縮を行う時の圧縮方法は、前処理イメージ又は原本イメージの元の圧縮形式である非可逆圧縮で行うのが望ましい。

また、本発明の一実施例では、該当カテゴリーにおいて、複数の圧縮方式で圧縮を行うことにおいても、イメージ全領域に対して、同一のアルゴリズムで圧縮を行うことではなく、イメージブロック別に特性を判別し、これによって、イメージブロック別に最適化された圧縮を行うため、それぞれの圧縮方式でも、より最適の圧縮を行うことができるというメリットがある。

望ましくは、前記イメージ変換段階(Ｓ２３０)は、前記前処理イメージ又は原本イメージのイメージブロックの複雑度又は色相数を判断し、それぞれのイメージブロックに対して、異なるイメージ処理を行う。前記イメージ変換段階(Ｓ２３０)は、複雑度を判断する複雑度判断段階及び/又は、色相数を判断する色相数判断段階を含む(図示せず)。

複雑度判断段階は、前記イメージを構成するイメージブロック、又は前記イメージを構成する細部領域に対してそれぞれ、イメージ複雑度を算出する。本明細書において、イメージの複雑な程度(イメージ複雑度)とは、イメージが変化する程度を言う。

図１６には、本発明の一実施例による非可逆圧縮イメージの場合において、イメージ変換段階(Ｓ２３０)の細部段階を概略的に示している。

これに関する説明は、図９における説明の一部と重複しているので、省略することにする。

図１７には、本発明の一実施例による可逆圧縮イメージの場合において、イメージ変換段階(Ｓ２３０)の細部段階を概略的に示している。

これに関する説明は、図１０における説明の一部と重複しているので、省略することにする。

図１８には、本発明の一実施例による非圧縮イメージの場合において、イメージ変換段階(Ｓ２３０)の細部段階を概略的に示している。

これに関する説明は、図１１における説明の一部と重複しているので、省略することにする。
（動画圧縮方法、装置、及びこれに対するコンピュータプログラム）

図１に示している動画圧縮装置１１０００は、動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別部１０１００と、既設定された基準によって、前記圧縮対象フレームを複数のイメージブロックに区分するブロック区分部１０２００と、前記圧縮対象フレームの前フレーム、後フレーム、及び複数の前フレームが累積されたフレームの１以上と比較して、前記圧縮対象フレームの部分のうち、変化がある部分又はイメージブロックを判別する変更ブロック判別部１０３００と、動画圧縮装置１１０００の内部コンポネントの機能を制御する制御部１０４００と、第１の方法により、圧縮対象フレームの処理対象イメージ領域の一部又は全体が変換された第１の変換フレームを生成する第１のフレーム変換部１０５００と、前記第１の方法と異なる第２の方法により、圧縮対象フレームの処理対象イメージ領域の一部又は全体が変換された第２の変換フレームを生成する第２のフレーム変換部１０６００と、前記第１の変換フレーム及び前記第２の変換フレームの１以上に対して、圧縮を行うフレーム圧縮部１０７００と、前記フレーム圧縮部１０７００で圧縮された２以上の圧縮フレーム、又は前記変換フレームに対して比較を行って、容量が少ないフレームを、最終的な圧縮フレームに設定するフレーム比較部１０８００とを含む。

前記フレームタイプ判別部１０１００は、動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別する。本発明の一実施例では、前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成する。

具体的に、前記フレームタイプ判別部１０１００で判別されたフレームのタイプによって、圧縮対象フレームの処理対象イメージ領域が異なって設定され、このような処理対象イメージ領域に対して、前記第１のフレーム変換部１０５００及び第２のフレーム変換部１０６００がイメージデータに対する処理を行って、圧縮対象フレームの全容量を圧縮することができる。

図２０は、動画のフレームの例を概略的に示す図である。

通常の動画のビデオ部分は、Ｉフレーム(図２において、“Ｉ”と示すフレーム)、Ｐフレーム(図２において、“Ｐ”と示すフレーム)、及びＢフレーム(図２において、“Ｂ”と示すフレーム)からなる。

Ｉフレームは、キーフレームであって、全体のイメージを全て含み、動画ファイルにおいて、アクセスポイントとして働き、独立してエンコードされたフレームに該当し、低い圧縮率を有している。

一方、Ｐフレームは、前のＩフレーム又はＰフレームを参照して、順方向予測によって作られるフレームであって、独立してエンコードされたフレームに該当しない。このようなＰフレームは、Ｉフレームと比較して、高い圧縮率を有している。

本明細書の全体に亘り、“前”のフレームとは、直前のフレームだけでなく、該当フレーム前に存在する複数のフレームのいずれか１つを意味し、“後”のフレームとは、直後のフレームだけでなく、該当フレームの次に存在する複数のフレームのいずれか１つを意味する。

一方、Ｂフレームは、前のフレーム及び後のフレームを参照して、順方向及び逆方向予測によって作られるフレームであって、独立してエンコードされたフレームに該当しない。このようなＢフレームは、Ｉ、Ｐフレームと比較して、高い圧縮率を有している。よって、前記独立してエンコードされたフレームは、Ｉフレームに該当し、非独立してエンコードされたフレームは、残りのＢフレーム又はＰフレームに該当する。

本発明による動画圧縮装置１１０００及び動画圧縮方法は、Ｈ.２６４のＤＣＴ(Discrete Cosine Transform)変換、次世代ビデオコーデックとして脚光を浴びているＨ.２６５で使用されるWavelet変換、及び非可逆ビデオコーデック(Lossy Video Codec)に、いずれも適用可能である。

図１の(Ａ)は、Ｉフレーム、及びＰフレームのみからなる動画のフレームを示す。図１の(Ｂ)は、Ｉフレーム、Ｐフレーム、及びＢフレームからなる動画のフレームを示す。図１の(Ｃ)は、Ｉフレーム、Ｐフレーム、及びＢフレームが規則的に示されている動画のフレームを示す。本発明の動画圧縮装置１１０００及び動画圧縮方法は、このようなフレームを含む動画に対して、いずれも適用可能である。

また、図１を参照して、前記ブロック区分部１０２００は、既設定された基準により、前記圧縮対象フレームを、複数のイメージブロックに区分する。

本発明の一実施例では、圧縮対象フレームが非独立してエンコードされたフレームである場合は、フレーム全体に対して、イメージ処理を行ってフレームを圧縮することではなく、フレームの一部領域に対してのみイメージ処理を行って、フレームを圧縮する。ここで、フレームの一部領域を特定するために、前記ブロック区分部１０２００で区分されたイメージブロックを用いることができる。

より詳しくは、圧縮対象フレームを、前記ブロック区分部１０２００で複数のイメージブロックに区分し、圧縮対象フレームが非独立してエンコードされたフレームである場合は、前記イメージブロックの一部領域のみを、処理対象イメージ領域に設定することができる。

望ましくは、前記ブロック区分部１０２００は、前記圧縮対象フレームを、複数のイメージブロックに区分したブロックフレームを生成することもできる。

図２１は、本発明の一実施例によるイメージブロックの例を概略的に示す図である。

図３の(Ａ)は、圧縮対象フレームを２Ｘ２のイメージブロックに区分した例を示し、図３の(Ｂ)は、圧縮対象フレームを４Ｘ４のイメージブロックに区分した例を示し、図３の(Ｃ)は、圧縮対象フレームを８Ｘ８のイメージブロックに区分した例を示している。

本発明のイメージブロックに対する区分方法は、前記図３に限定されず、様々な形態で設定可能である。また、前記ブロック区分部１０２００で区分される圧縮対象フレームのイメージブロックは定形性を有しておらず、領域毎に異なる基準に設定される。

再度、図１を参照すると、前記変更ブロック判別部１０３００は、前記圧縮対象フレームの前フレーム、後フレーム、及び複数の前フレームが累積されたフレームの１以上と比較して、前記圧縮対象フレームの部分のうち、変化がある部分又はイメージブロックを判別する。

望ましくは、前記変更ブロック判別部１０３００は、圧縮対象フレームが非独立してエンコードされたフレーム、例えば、Ｐフレーム又はＢフレームである場合に、前記圧縮対象フレームを構成する複数のイメージブロックのうち、変化が発生するイメージブロックを判別する。

望ましくは、前記圧縮対象フレームがＰフレームである場合は、前の最隣接Ｉフレームと、前記最隣接Ｉフレームの次のフレーム(Ｐフレーム又はＢフレーム)を累積したイメージと前記圧縮対象フレームを比較して、変化がある部分、又は変化がある部分を含むイメージブロックを処理対象イメージ領域に設定する。又は、前の最隣接Ｉフレームと比較して、処理対象イメージ領域を設定することもできる。

例えば、フレームが“ＩＰＰＰＰＰ”からなり、圧縮対象フレームが最後のＰフレームである場合は、“ＩＰＰＰＰ”フレームを累積したイメージと、前記圧縮対象フレームである最後のＰフレームとの比較を行って、変化がある 部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

望ましくは、前記圧縮対象フレームがＢフレームである場合は、前の最隣接Ｉフレームと前記最隣接Ｉフレームの次のフレーム(Ｐフレーム又はＢフレーム)を累積したイメージ、及び次の最隣接Ｉフレームと前記圧縮対象フレームとを比較して、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

又は、前記圧縮対象フレームがＢフレームである場合は、前の最隣接Ｉフレーム及び次の最隣接Ｉフレームと、前記圧縮対象フレームとを比較して、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

例えば、フレームが“Ｉ１ Ｐ１ Ｐ２ Ｐ３ Ｐ４ Ｐ５ Ｐ６ Ｐ７ Ｂ Ｐ８ Ｉ２”からなり、圧縮対象フレームが最後のＢフレームである場合は、“Ｉ２ Ｐ１ Ｐ２ Ｐ３ Ｐ４ Ｐ５ Ｐ６ Ｐ７”フレームを累積したイメージ、及びＩ２フレームと、前記圧縮対象フレームであるＢフレームとの比較を行って、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

又は、Ｉ１フレーム及びＩ２フレームと、前記圧縮対象フレームであるＢフレームとの比較を行って、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

以上では、イメージブロックを用いて、処理対象イメージ領域を設定する発明を説明したが、本発明は、これに限定されず、フレームの一定の領域を特定する様々な方法に対する様態を含む。

図２２は、本発明の一実施例による変更ブロック判別部１０３００の動作を説明するための複数のフレームの例を概略的に示す図である。

図２２は、動画の圧縮対象フレームを３Ｘ３のイメージブロックに区分し、９個のブロックのうち、変更したブロックを判別する例を示す。

図２２の(Ａ)は、Ｉフレームに該当し、図２２の(Ｂ)は、Ｐフレームに該当し、図２２の(Ｃ)は、Ｐフレームに該当する。

本発明の一実施例によると、図２２の(Ａ)の場合、処理対象イメージ領域は、９個のイメージブロックが全て設定される。

一方、図２２の(Ｂ)の場合、処理対象イメージ領域は、(２、２)イメージブロック、(２、３)イメージブロックが設定される。

一方、図２２の(Ｃ)の場合、処理対象イメージ領域は、(２、２)イメージブロック、(２、３)イメージブロックが設定される。

このように、本発明では、圧縮対象フレームのフレームタイプによって、処理対象イメージ領域の設定方法が相違しており、圧縮対象フレームが非独立してエンコードされたフレームである場合は、該当フレームのタイプによって、処理対象イメージ領域を設定する。一方、前記処理対象イメージ領域は、上述したイメージブロックによって設定されてもよく、フレームの一定の領域のみを設定してもよい。

図２３は、本発明の一実施例による第１のフレーム変換部１０５００の内部構造を概略的に示す図である。

前記第１のフレーム変換部１０５００は、第１の方法により、圧縮対象フレームの処理対象イメージ領域の一部又は全体が変換された第１の変換フレームを生成する。

本発明の望ましい実施例では、前記第１のフレーム変換部１０５００によって変換されたフレーム、及び後述する第２のフレーム変換部によって変換されたフレームに対して、圧縮を行い、このうち、容量の小さいフレームを最終圧縮フレームとして選定するが、本発明は、これに限定されるものではなく、前記第１の変換フレーム、又は前記第１の変換フレームに対して圧縮を行ったフレームが、最終的な圧縮フレームとなる。ここで、圧縮は、非可逆圧縮であることが望ましい。

一方、図２３に示しているように、第１のフレーム変換部１０５００は、イメージブロック又は処理対象イメージ領域を構成する細部領域の複雑度を算出し、前記イメージブロック又は細部領域の複雑度が、既設定された基準以下又は未満であるか否かを判別する複雑度判断部１０５１０と、前記イメージブロック又は細部領域の複雑度が、既設定された基準以下の場合に、該当イメージブロック又は該当詳細領域に対して、第１のイメージ処理を行う第１のイメージ処理部１０５２０とを含む。

ここで、前記第１のイメージ処理は、ぼかし(Blurring)処理に該当するブラー処理であるのが望ましい。ぼかし処理とは、イメージを柔らかく見せるために、高周波成分を除去する方式を用いた画像処理をいう。低周波は、画素値の変化率が小さい周波数であり、高周波は、画素値の変化率が大きい周波数を言う。イメージから、高周波成分を除去することになると、画素値の変化率が小さくなるので、隣接する画素に対して、極端的な値が減ることになって、イメージが柔らかく処理される。よって、プロリング処理により、イメージで生じる微細な雑音や汚れなどを弱化させて、イメージを修正することができる。

第１のイメージ処理部１０５２０は、複雑度が低いイメージブロック又は詳細領域のそれぞれに対して、画素の輝度値を抽出し、輝度値によって加重値を付与して、ぼかし処理を行うことができる。本発明におけるぼかし処理は、一般的に広く使用するガウスぼかし(gaussian blurring)を適用することができる。

図２４は、本発明の一実施例による複雑度判断部１０５１０の内部構造を概略的に示す図である。

複雑度判断部１０５１０は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する細部領域に対して、各々イメージ複雑度を算出する。本願において、イメージの複雑な程度(イメージ複雑度)とは、イメージが変化する程度を言うことで、これを判断する方式は、後述することにする。

このような複雑度判断部１０５１０は、画素値判断部１０５１１、色相数判断部１０５１２、及び量子化判断部１０５１３の１以上を含むのが望ましい。一方、複雑度判断部１０５１０は、前記画素値判断部１０５１１、色相数判断部１０５１２、及び量子化判断部１０５１３の１つを用いて、複雑度を判断してもよく、２以上の判断結果によって、複雑度を判断してもよい。

画素値判断部１０５１１は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する細部領域に対してそれぞれ、グレーイメージに変換した後、画素値の変化量を測定して、イメージ複雑度を算出する。ここで、前記グレーイメージは、明度情報、すなわち明暗程度に関する情報だけで表現されるイメージを意味する。通常、前記グレーイメージを表現するグレーレベルは、２８(=２５６)個のレベルを有する。前記グレーレベルが０に近接するほど、暗く、２５５に近接するほど、明るいイメージとなる。

画素値判断部１０５１１は、グレーイメージに変換された前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域の画素別に特定した画素値との差(差分値)を求めた後、画素値の差の平均して計算される変化量を算出し、このような変化量が、既設定された値以上であるか否かを判断することができる。

差分値の平均が高いとは、グレーイメージに変換された前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する細部領域に対応する部分のイメージ複雑度が高いことを意味することになる。この時、前記画素値判断部１０５１１は、グレーイメージに変換された前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域に対して、前記変化量が既設定された値以上である場合は、イメージ複雑度が高く、また、反対に既設定された値未満である場合は、イメージ複雑度が低いと判断することになる。

色相数判断部１０５１２は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する細部領域に対してそれぞれ色相数を測定して、イメージ複雑度を算出する。特に、色相数判断部１０５１２は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する細部領域に対して、それぞれの色相数が特定の色相数以上であるか否かを判断して、イメージ複雑度を算出することができる。この時、色相数判断部１０５１２は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域に対して、前記色相数が既設定された基準色相数(Nc_standard)以上、又は超えである場合は、イメージ複雑度が高く、反対に既設定された基準色相数(Nc_standard)未満又は以下の場合は、イメージ複雑度が低いと判断するようになる。

量子化判断部１０５１３は、予め決定された量子化レベルを基に、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域に対して、それぞれを量子化した後、これに対応するヒストグラムを基に、量子化レベルの全体的な分布を測定して、イメージ複雑度を算出する。このために、まず、量子化判断部１０５１３は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域に対してそれぞれ量子化を行って、量子化されたイメージを生成する。量子化に際して、整数値０、１、２、…、２ｎ-１からなる２ｎ個の量子化レベルで、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域のそれぞれを構成する各画素値が構成される。

量子化区分値は、ヒストグラム上の中間値(median)を基準とする。例えば、４値量子化の場合、ヒストグラム値が、２５％、５０％、７５％を基準になされていることと仮定する。一方、前記ヒストグラムは、度数分布を示すグラフであって、観測したデータの分布特徴が一目で見えるように柱状で示している。前記ヒストグラムは、柱グラフなどと呼ばれる。この時、前記ヒストグラムの横軸に、各量子化レベルが所定の間隔をもって示され、縦軸に、各量子化レベルに分布する画素の度数(以下、画素の数という)が所定の間隔を持って示されている。すなわち、前記ヒストグラムは、各量子化レベル間の区間別に該当区間での画素の数を、比例する高さの柱で示している。

量子化判断部１０５１３は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域に対してそれぞれ、量子化を行った結果を示すヒストグラムを分析して、量子化レベルの平均値を求めた後に、量子化レベルの平均値が属する所定の範囲をはずす(量子化レベルの平均値をはずす)画素の数が、既設定された数以上であるか否かを判断して、イメージ複雑度を算出することができる。

例示的に、量子化判断部１０５１３は、前記処理対象イメージ領域を構成するイメージブロック、又は前記処理対象イメージ領域を構成する詳細領域に対して、それぞれを量子化を行った結果を示すヒストグラムにおいて、平均値をはずす画素の数が５０％以上である場合、イメージ複雑度が高いことと判断することになる。

一方、イメージ複雑度が、低いイメージブロックに該当するか否かは、前述した画素値判断部１０５１１、色相数判断部１０５１２、及び量子化判断部１０５１３のいずれかで判断したイメージ複雑度によって決められてもよく、場合によっては、２以上で判断したイメージ複雑度を組み合わせて決められてもよい。

図２５は、本発明の一実施例による第１のフレーム変換部１０５００で変換される変換フレームの一例を概略的に示す図である。

図２５の(Ａ)に示している１〜９番までのイメージブロックは、処理対象イメージ領域を構成する。一方、前記画素値判断部１０５１１、色相数判断部１０５１２、及び量子化判断部１０５１３の１以上の方法によって、それぞれのイメージブロックに対して、複雑度判断部１０５１０で複雑度を判断する。

以後、複雑度判断部１０５１０、及び既設定された基準によって、複雑度が低いと判断されるイメージブロックに対しては、前記第１のイメージ処理部１０５２０により、前記第１のイメージ処理を行う。望ましくは、前記第１のイメージ処理は、ブラー処理に該当する。

図２５の(Ｂ)は、前記複雑度判断部１０５１０及び第１のイメージ処理部１０５２０によって処理された処理対象イメージ領域を示す。このように処理された処理対象イメージ領域、又は前記処理対象イメージ領域を含むフレームが、第１の変換フレームとなる。

前記図２５の(Ｂ)に示しているように、２、４、９番のイメージブロックの複雑度が低いことと判断されて、このイメージブロックに対して、ブラー処理が行われる。

図２６は、本発明の一実施例による第２のフレーム変換部１０６００の内部構造を概略的に示す図である。

前記第２のフレーム変換部１０６００は、第２の方法によって、圧縮対象フレームの処理対象イメージ領域の一部又は全体が変換された第１の変換フレームを生成する。

本発明の好適な実施例では、前記第１のフレーム変換部１０５００で変換されたフレーム、及び前記第２のフレーム変換部で変換されたフレームに対して、圧縮を行い、このうち、容量が小さいフレームを最終圧縮フレームとして選定するが、本発明は、これに限定されず、前記第２の変換フレーム、又は前記第２の変換フレームに対して、圧縮を行ったフレームが最終的な圧縮フレームとなることもできる。ここで、圧縮は、非可逆圧縮であるのが望ましい。

一方、図２６に示しているように、第２のフレーム変換部１０６００は、第２のイメージ処理部１０６１０と、エッジイメージ生成部１０６２０と、二値化イメージ生成部１０６３０と、イメージ合成部１０６４０とを含む。

第２のイメージ処理部１０６１０は、処理対象イメージ領域に対して、第２のイメージ処理を行う。望ましくは、前記第２のイメージ処理は、ブラー処理である。

エッジイメージ生成部１０６２０は、処理対象イメージ領域に対して、高周波領域に該当する隅領域であるエッジを算出して、エッジイメージを生成する。以後、二値化イメージ生成部１０６３０は、生成されたエッジイメージに対して二値化を行って、二値化イメージを生成する。この時、二値化イメージ生成部１０６３０は、エッジイメージ生成部１０６２０で生成されたエッジイメージの各画素の画素値を、０(黒)又は１(白色)に変わる二値化を行って、二値化イメージを生成することになる。

以後、イメージ合成部１０６４０は、二値化イメージ生成部１０６３０で生成されたエッジイメージで０の値を有する画素に対応する処理対象イメージ領域の原本イメージを、前記第２のイメージ処理部１０６１０で生成された第２のイメージ処理がなされた処理対象イメージ領域としてコピーして、最終的に第２の変換イメージを生成することになる。

図２７は、本発明の一実施例による第２のフレーム変換部１０６００で変換される変換フレームの一例を概略的に示す図である。

図２７の(Ａ)に示している１〜９番までのイメージブロックは、処理対象イメージ領域を構成する。

図２７の(Ｂ)は、第２のイメージ処理部１０６１０で第２のイメージ処理、望ましくは、ブラー処理が行われた処理対象イメージ領域を示している。

図２７の(Ｃ)は、エッジイメージ生成部１０６２０で生成された、図２７の(Ａ)に示された処理対象イメージ領域のエッジイメージを示している。

図２７の(Ｄ)は、前記図２７の(Ｃ)のエッジイメージの情報を基に抽出されたエッジ部分の原本イメージ、すなわち、図２７の(Ａ)でのイメージを、図２７の(Ｂ)に示されている第２のイメージ処理が行われた処理対象イメージ領域に結合して生成された第２の変換フレームを示す。

再度、図１を参照すると、前記フレーム圧縮部１０７００は、前記のように生成された第１の変換フレーム及び第２の変換フレームに対して、圧縮を行う。望ましくは、前記圧縮は、公知された方式の非可逆圧縮の１つに該当する。但し、本発明の他の実施例では、このようなフレーム圧縮部１０７００は、省略してもよい。

以後、前記フレーム比較部１０８００は、前記フレーム圧縮部１０７００で圧縮された２以上の圧縮フレーム、又は前記変換フレームに対して比較を行って、容量の少ないフレームを最終的な圧縮フレームに設定する。

一方、本発明の他の実施例による動画圧縮装置１１０００は、前記第１のフレーム変換部１０５００、及び選択的に前記フレーム圧縮部１０７００のみを具備することができる。この場合、前記第１のフレーム変換部１０５００で変換されたフレームが最終圧縮フレームとなるか、又は前記第１のフレーム変換部１０５００で変換されたフレームに対して、公知の方式の非可逆圧縮の１つを行って、最終フレームとなる。この場合、第２のフレーム変換部１０６００及び前記フレーム比較部１０８００は、前記動画圧縮装置１１０００に設けられなくてもよい。

一方、本発明の他の実施例による動画圧縮装置１１０００は、前記第２のフレーム変換部１０６００、及び選択的に前記フレーム圧縮部１０７００のみを備えてもよい。この場合、前記第２のフレーム変換部１０６００で変換されたフレームが最終圧縮フレームとなるか、又は前記第２のフレーム変換部１０６００で変換されたフレームに対して、公知の方式の非可逆圧縮の１つを行って、最終フレームとなる。この場合、第１のフレーム変換部１０５００及び前記フレーム比較部１０８００は、前記動画圧縮装置１１０００に設けられなくてもよい。

以下では、本発明の動画圧縮方法について、説明することにする。本発明の動画圧縮方法は、前述した図１〜図９、及びこれに関する記載で説明した動画圧縮装置に含まれる構成の一部又は全体によって行なわれる。後述する本発明の動画圧縮方法は、前述した動画圧縮装置の内容を参照することにする。

図２８は、本発明の一実施例による動画圧縮方法の細部段階を概略的に示す図である。

前記動画圧縮方法は、１以上のプロセッサ、及び前記プロセッサで実行可能な命令を格納するメインメモリを含むコンピュータ装置で行なわれる動画圧縮方法である。

図２８に示しているように、前記動画圧縮方法は、動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別段階(Ｓ１００１０)と、前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成するフレーム圧縮段階(Ｓ１００２０)とを含む。

ここで、前記フレームタイプ判別段階(Ｓ１００１０)は、動画の圧縮対象フレームが、独立してエンコードされたフレームであるか否かを判別する。本発明の一実施例では、前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、異なる方式で圧縮フレームを生成する。

具体的に、前記フレームタイプ判別段階(Ｓ１００１０)で判別されたフレームタイプによって、圧縮対象フレームの処理対象イメージ領域が異なって設定され、このような処理対象イメージ領域に対して、データに対する処理を行って、圧縮対象フレームの全体容量を圧縮することができる。

具体的に、前記フレームのタイプは、Ｉフレーム、Ｐフレーム、及びＢフレームを含む。

Ｉフレームは、キーフレームであって、全体のイメージを全て含み、動画ファイルにおいてアクセスポイントとして働き、独立してエンコードされたフレームに該当し、低い圧縮率を有している。

一方、Ｐフレームの場合、前のＩフレーム又はＰフレームを参照して、順方向予測によって作られるフレームであって、独立してエンコードされたフレームに該当しない。このようなＰフレームは、Ｉフレームと比較して、高い圧縮率を有している。

本明細書の全体において“前”のフレームとは、直前のフレームだけでなく、該当フレームの前に存在する複数のフレームのいずれか１つを意味し、“後”のフレームとは、直後のフレームだけでなく、該当フレームの次に存在する複数のフレームのいずれか１つを意味する。

一方、Ｂフレームの場合、前のフレーム及び後のフレームを参照して、順方向及び逆方向予測によって作られるフレームであって、独立してエンコードされたフレームに該当しない。このようなＢフレームは、Ｉ、Ｐフレームと比較して、高い圧縮率を有している。よって、前記独立してエンコードされたフレームは、Ｉフレームに該当し、非独立してエンコードされたフレームは、残りのＢフレーム又はＰフレームに該当する。

図２９は、本発明の一実施例によるフレーム圧縮段階の細部段階を概略的に示す図である。

前記フレーム圧縮段階(Ｓ１００２０)は、前記圧縮対象フレームの処理対象イメージ領域を設定する処理対象イメージ領域設定段階(Ｓ１００２１)と、前記処理対象イメージ領域の一部又は全体が変換された圧縮フレームを生成する圧縮フレーム生成段階(Ｓ１００２２)とを含み、前記処理対象イメージ領域設定段階は、前記圧縮対象フレームが独立してエンコードされたフレームである場合は、前記圧縮対象フレームの全体を、前記処理対象イメージ領域に設定し、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの一部を、前記処理対象イメージ領域に設定する。

一方、前記処理対象イメージ領域は、イメージブロックに区分して処理されてもよい。具体的には、前記処理対象イメージ領域設定段階は、既設定された基準によって、前記圧縮対象フレームを複数のイメージブロックに区分し、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前記複数のイメージブロックの一部のイメージブロックを、前記処理対象イメージ領域に設定することができる。

以下では、前記圧縮対象フレームが独立してエンコードされたフレームではない場合、すなわち、Ｉフレームではないか、又は、Ｂフレーム又はＰフレームに該当する場合、処理対象イメージ領域を設定する方法について、説明することにする。

前記処理対象イメージ領域設定段階は、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前フレーム、後フレーム、及び複数の前フレームが累積されたフレームの１以上と比較して、前記圧縮対象フレームの部分のうち、変化がある部分を、前記処理対象イメージ領域に設定する。

具体的に、処理対象イメージ領域設定段階(Ｓ１００２１)は、圧縮対象フレームが非独立してエンコードされたフレーム、例えばＰフレーム又はＢフレームである場合に、前記圧縮対象フレームを構成する複数のイメージブロックのうち、変化が発生するイメージブロックを判別する。

望ましくは、処理対象イメージ領域設定段階(Ｓ１００２１)は、前記圧縮対象フレームがＰフレームである場合は、前の最隣接Ｉフレームと、前記最隣接Ｉフレームの次のフレーム(Ｐフレーム又はＢフレーム)を累積したイメージと前記圧縮対象フレームとを比較して、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。又は、前の最隣接Ｉフレームと比較して、処理対象イメージ領域を設定してもよい。

例えば、フレームが“ＩＰＰＰＰＰ”からなり、圧縮対象フレームが最後のＰフレームである場合は、“ＩＰＰＰＰ”フレームを累積したイメージと、前記圧縮対象フレームである最後のＰフレームとの比較を行って、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

望ましくは、処理対象イメージ領域設定段階(Ｓ１００２１)は、前記圧縮対象フレームがＢフレームである場合は、前の最隣接Ｉフレームと、前記最隣接Ｉフレームの次のフレーム(Ｐフレーム又はＢフレーム)を累積したイメージ、及び次の最隣接Ｉフレームと前記圧縮対象フレームを比較して、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

又は、前記圧縮対象フレームがＢフレームである場合は、前の最隣接Ｉフレーム及び次の最隣接Ｉフレームと前記圧縮対象フレームとを比較して、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

例えば、フレームが“Ｉ１ Ｐ１ Ｐ２ Ｐ３ Ｐ４ Ｐ５ Ｐ６ Ｐ７ Ｂ Ｐ８ Ｉ２”からなり、圧縮対象フレームが最後のＢフレームである場合は、“Ｉ２ Ｐ１ Ｐ２ Ｐ３ Ｐ４ Ｐ５ Ｐ６ Ｐ７”フレームを累積したイメージ、及びＩ２フレームと前記圧縮対象フレームであるＢフレームとの比較を行って、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

又は、Ｉ１フレーム及びＩ２フレームと、前記圧縮対象フレームであるＢフレームとの比較を行って、変化がある部分、又は変化がある部分を含むイメージブロックを、処理対象イメージ領域に設定する。

以上では、イメージブロックを用いて、処理対象イメージ領域を設定する発明を説明したが、本発明は、これに限定されず、フレームの一定の領域を特定する多様な方法に関する様態を含む。

図３０は、本発明の一実施例による圧縮フレーム生成段階の実施例を概略的に示す図である。但し、これは、本発明の例示的な実施例に過ぎず、本発明の範囲は、これについて限定しない。

本発明の動画圧縮方法の一実施例によると、後述する第１の圧縮フレーム生成段階によって生成された圧縮フレームを、最終的な圧縮フレームとする(図３０において、実施例１と示す)。

本発明の動画圧縮方法の一実施例によると、後述する第２の圧縮フレーム生成段階によって生成された圧縮フレームを、最終的な圧縮フレームとする(図３０において、実施例２と示す)。

本発明の動画圧縮方法の一実施例によると、後述する第１の圧縮フレーム生成段階及び第２の圧縮フレーム生成段階によって生成された第１の圧縮フレーム及び第２の圧縮フレームを含む候補フレーム群より１つを選択して、これを最終的な圧縮フレームとする(図３０において、実施例３と示す)。

以下では、前記実施例１について、説明するようにする。

前記圧縮フレーム生成段階(Ｓ１００２２)は、第１の圧縮フレーム生成段階(Ｓ１００２２Ａ)を含み、前記第１の圧縮フレーム生成段階(Ｓ１００２２Ａ)は、前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階(Ｓ１００２２Ａ.１)と、前記細部領域の前記複雑度が既設定された基準以下であるか否かを判断するイメージ複雑度判別段階(Ｓ１００２２Ａ.２)と、前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階(Ｓ１００２２Ａ.３)とを含み、前記複雑度基準イメージ処理段階(Ｓ１００２２Ａ.３)が行われた前記処理対象イメージ領域を含むフレームから、前記圧縮フレームを生成する。図３１は、本発明の一実施例による第１の圧縮フレーム生成段階の細部段階を概略的に示す図である。

ここで、前記複雑度基準イメージ処理段階(Ｓ１００２２Ａ.３)が行われた前記処理対象イメージ領域を含むフレームから、前記圧縮フレームを生成するということは、前記複雑度基準イメージ処理段階(Ｓ１００２２Ａ.３)が行われた前記処理対象イメージ領域を含むフレームを直ぐ圧縮フレームとする場合と、前記複雑度基準イメージ処理段階(Ｓ１００２２Ａ.３)が行われた前記処理対象イメージ領域を含むフレームに対して、非可逆圧縮などの後処理を行って圧縮フレームを生成する場合とをいずれも含む最広義として解析されるべきである。すなわち、前記第１の圧縮フレーム生成段階(Ｓ１００２２)は、前記複雑度基準イメージ処理段階(Ｓ１００２２Ａ.３)が行われた前記処理対象イメージ領域を含むフレームに対して、非可逆圧縮を行ったフレームから、前記圧縮フレームを生成する場合を含む。

一方、第１の圧縮フレーム生成段階(Ｓ１００２２Ａ)及びこの詳細過程は、前述した図２３乃至図２５及び、これに関する発明の詳細な説明に記載された内容に相応し、これに対する説明は、省略することにする。

望ましくは、前記第１のイメージ処理は、ブラー処理である。

以下では、前記実施例２について、説明するようにする。

前記圧縮フレーム生成段階(Ｓ１００２２)は、第２の圧縮フレーム生成段階(Ｓ１００２２Ｂ)を含み、前記第２の圧縮フレーム生成段階(Ｓ１００２２Ｂ)は、前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階(Ｓ１００２２Ｂ.１)と、前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階(Ｓ１００２２Ｂ.２)とを含み、前記第２の予備フレームから、前記圧縮フレームを生成する。図３２は、本発明の一実施例による第２の圧縮フレーム生成段階の細部段階を概略的に示す図である。

ここで、前記第２の予備フレームから前記圧縮フレームを生成するということは、前記第２の予備フレームを直ぐ圧縮フレームとする場合と、前記第２の予備フレームに対して、非可逆圧縮などの後処理を行って、圧縮フレームを生成する場合とをいずれも含む最広義として解析されるべきである。前記第２の圧縮フレーム生成段階(Ｓ１００２２Ｂ)は、前記第２の予備フレームに対して、非可逆圧縮が行われたフレームから、前記圧縮フレームを生成する場合を含む。

一方、第２の圧縮フレーム生成段階(Ｓ１００２２Ｂ)及びこの詳細過程は、前述した図２６乃至図２７及び、これに関連する発明の詳細な説明に記載された内容に相応し、これに関する説明は、省略することにする。

望ましくは、前記第２のイメージ処理は、ブラー処理である。

以下では、前記実施例３について、説明するようにする。

前記圧縮フレーム生成段階(Ｓ１００２２Ｃ)は、第１の圧縮フレームを生成する第１の圧縮フレーム生成段階と、前記第１の圧縮フレーム生成段階とは異なる方法で、第２の圧縮フレームを生成する第２の圧縮フレーム生成段階と、前記第１の圧縮フレーム及び前記第２の圧縮フレームを含む候補フレーム群中の１つのフレームを、前記圧縮フレームとする圧縮フレーム選択段階とを含む。

ここで、前記第１の圧縮フレーム生成段階は、前述した第１の圧縮フレーム生成段階(Ｓ１００２２Ａ)と類似しているが、第１の圧縮フレーム生成段階で生成されたフレームを最終圧縮フレームとすることではなく、これを第１の圧縮フレームとして臨時的に格納する。

具体的に、前記第１の圧縮フレーム生成段階は、前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、前記細部領域の前記複雑度が既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、前記細部領域の複雑度が既設定された基準以下である場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含み、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記第１の圧縮フレームを生成する。

ここで、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記第１の圧縮フレームを生成するということは、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームを直ぐ第１の圧縮フレームとする場合と、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームに対して、非可逆圧縮などの後処理を行って、第１の圧縮フレームを生成する場合とをいずれも含む最広義として解析されるべきである。すなわち、前記第１の圧縮フレーム生成段階は、前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームに対して、非可逆圧縮を行ったフレームから、前記圧縮フレームを生成する場合を含む。

一方、第１の圧縮フレーム生成段階及びこの詳細過程は、前述した図２３乃至図２５及び、これに関する発明の詳細な説明に記載された内容に相応し、これに関する説明は、省略することにする。

望ましくは、前記第１のイメージ処理は、ブラー処理である。

一方、前記第２の圧縮フレーム生成段階は、前述した第２の圧縮フレーム生成段階(Ｓ１００２２Ｂ)と類似しているが、第２の圧縮フレーム生成段階で生成されたフレームを最終圧縮フレームとすることではなく、これを第２の圧縮フレームとして臨時的に格納する。

具体的に、前記第２の圧縮フレーム生成段階は、前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含み、前記第２の予備フレームから、前記第２の圧縮フレームを生成する。

ここで、前記第２の予備フレームから前記第２の圧縮フレームを生成するということは、前記第２の予備フレームを直ぐ第２の圧縮フレームとする場合と、前記第２の予備フレームに対して、非可逆圧縮などの後処理を行って、第２の圧縮フレームを生成する場合とをいずれも含む最広義として解析されるべきである。すなわち、前記第２の圧縮フレーム生成段階は、前記第２の予備フレームに対して非可逆圧縮が行われたフレームから、前記第２の圧縮フレームを生成する場合を含む。

一方、第２の圧縮フレーム生成段階及びこの詳細過程は、前述した図２６乃至図２７、及びこれに関する発明の詳細な説明に記載された内容に相応し、これに関する説明は、省略することにする。

望ましくは、前記第２のイメージ処理は、ブラー処理である。

本発明の第３実施例によると、前記圧縮フレーム生成段階は、第１の圧縮フレームを生成する第１の圧縮フレーム生成段階と、前記第１の圧縮フレーム生成段階とは異なる方法で第２の圧縮フレームを生成する第２の圧縮フレーム生成段階と、前記第１の圧縮フレーム及び前記第２の圧縮フレームを含む候補フレーム群中の１つのフレームを、前記圧縮フレームとする圧縮フレーム選択段階とを含む。

ここで、前記候補フレーム群中の１つのフレームを選択することに当たり、基準は、候補フレーム群のうち、容量が最も小さいフレームを圧縮フレームとして選択するのが望ましい。

図３３は、本発明の一実施例による動画圧縮方法の細部段階を概略的に示す図である。

図３３に示されている動画圧縮方法は、動画の圧縮対象フレームが，Ｉタイプ、Ｐタイプ、又はＢタイプに該当するか否かを判別するフレーム判別段階(Ｓ１０１００)と、前記フレームを既設定された基準によって、複数のイメージブロックに区分するイメージブロック区分段階(Ｓ１０２００)と、前記フレーム判別段階(Ｓ１０１００)によって判別されたフレームタイプによって、前記圧縮対象フレームで処理対象イメージ領域を設定する処理対象イメージ領域設定段階(Ｓ１０３００)と、前記処理対象イメージ領域に対して、イメージ処理を行って、第１の変換フレーム及び第２の変換フレームを生成する変換フレーム生成段階(Ｓ１０４００)と、前記第１の変換フレーム及び第２の変換フレームに対して圧縮を行って、第１の圧縮フレーム及び第２の圧縮フレームを生成する圧縮フレーム生成段階(Ｓ１０５００)と、前記第１の圧縮フレーム及び前記第２の圧縮フレームに対して、データサイズを比較するデータサイズ比較段階(Ｓ１０６００)と、前記第１の圧縮フレーム及び前記第２の圧縮フレームのうち、データサイズが小さいフレームを、最終圧縮フレームとして選定する圧縮フレーム選定段階(Ｓ１０７００)とを含む。

図３４は、本発明の一実施例による処理対象イメージブロックの設定段階を概略的に示す図である。

前記処理対象イメージ領域設定段階(Ｓ１０３００)は、圧縮対象フレームが独立してエンコードされたフレームであるか否か、すなわち、Ｉフレームであるか否かを判断し(Ｓ１０３１０)、Ｉフレームに該当する場合は、フレームの全体イメージブロックを処理対象イメージブロックに設定する(Ｓ１０３２０)。又は、非独立してエンコードされたフレームである場合、すなわち、Ｐフレーム又はＢフレームに該当する場合は、前フレーム、１以上の前フレームが累積されたフレーム、及び後フレームの１以上と比較して、変化のあるイメージブロックを、処理対象イメージブロックに設定する(Ｓ１０３３０)。このような過程に関する説明は、前述した図１〜図３２における動画圧縮装置及び動画圧縮方法における説明と同様である。

図３５は、本発明の一実施例による第１のフレーム変換方法の細部段階を概略的に示す図である。

変換フレーム生成段階(Ｓ１０４００)は、前記処理対象イメージ領域に対してイメージ処理を行って、第１の変換フレーム及び第２の変換フレームを生成する。図３５は、前記第１の変換フレームを生成する第１のフレーム変換方法の細部段階を示している。

図３５に示しているように、前記第１の変換フレーム生成段階は、それぞれのイメージブロックの複雑度を算出するイメージ複雑度算出段階(Ｓ１０４１０Ａ)と、算出されたそれぞれのイメージブロックの複雑度が既設定された基準を超えるか否かを判別する複雑度判別段階(Ｓ１０４２０Ａ)と、複雑度が既設定された基準以下のイメージブロックに対して、ブラー処理を行うブラー処理段階(Ｓ１０４３０Ａ)とを含む。

図３６は、本発明の一実施例による第２のフレーム変換方法の細部段階を概略的に示す図である。

変換フレーム生成段階(Ｓ１０４００)は、前記処理対象イメージ領域に対してイメージ処理を行って、第１の変換フレーム及び第２の変換フレームを生成する。図３６は、前記第２の変換フレームを生成する第２のフレーム変換方法の細部段階を示している。

図３６に示しているように、前記第２の変換フレーム生成段階は、それぞれのイメージブロックに対してエッジ処理を行って、エッジイメージブロックを生成するエッジイメージブロック生成段階(Ｓ４１０Ｂ)と、前記それぞれのイメージブロック原本に対してブラー処理を行って、ブラーイメージブロックを生成するブラーイメージブロック生成段階(Ｓ１０４２０Ｂ)と、エッジイメージブロックに対して二値化処理を行って、二値化イメージブロックを生成する二値化イメージブロック生成段階(Ｓ１０４３０Ｂ)と、ブラーイメージブロックに、二値化イメージブロックを参照して、エッジに該当する原本イメージブロックのイメージを結合するイメージ結合段階(Ｓ４４０)とを含む。

以後、本発明の一実施例による動画圧縮方法は、前記第１の変換フレーム及び第２の変換フレームに対して圧縮を行って、第１の圧縮フレーム及び第２の圧縮フレームを生成する圧縮フレーム生成段階(Ｓ１０５００)と、前記第１の圧縮フレーム及び前記第２の圧縮フレームに対して、データサイズを比較するデータサイズ比較段階(Ｓ１０６００)と、前記第１の圧縮フレーム及び前記第２の圧縮フレームのうち、データサイズが小さいフレームを、最終圧縮フレームとして選定する圧縮フレーム選定段階(Ｓ１０７００)とを含む。

本発明の実施例によると、ＰＤＦ、ＪＰＥＧ、ＰＮＧファイル形式でスキャン又は撮影した文書イメージファイルを格納する場合でも、既存のＪＢＩＧ、ＴＩＦＦ、ＪＰＥＧ２０００ファイル形式となっているイメージファイルと比較した時、画質が類似しており、ファイルサイズも類似、又はより小さいように最適化を行うことができる。

本発明の実施例によると、ＰＤＦ、ＪＰＥＧ、ＰＮＧファイルを用いる場合、別の専用クライアント/サーバ環境ではなく、ＨＴＭＬ５基盤の標準ウェブ環境で、そのまま使用可能である。

本発明の実施例によると、ＪＢＩＧ、ＴＩＦＦ、ＪＰＥＧ２０００ファイル形式で同様に格納する場合でも、３０−５０％までの更なる圧縮が可能である。

本発明の実施例によると、既存の文書イメージファイルのファイルサイズを更に圧縮するようになるので、ストレージ及びネットワークの費用削減が可能である。

本発明の実施例によると、イメージに対して、前処理過程を経るので、既存のエンコーダをそのまま使用可能であり、また、必要によって、専用エンコーダを作って性能を改善することもできる。

図３７は、本発明の実施例が具現される例示的なコンピュータ環境に対する簡略で且つ一般的な概略図を示す。

本発明が、一般に、１以上のコンピュータ上で実行可能なコンピュータ実行可能コマンドに関して前述しているが、当業者であれば、本発明がその他のプログラムモジュールと結合されて、及び/又は、ハードウェアとソフトウェアの組み合わせとして具現可能であることは理解されるだろう。

一般に、プログラムモジュールは、特定のタスクを行うか、特定の抽象データ類型を具現するルーチン、プログラム、コンポネント、データ構造、その他を含む。また、当業者であれば、本発明の方法がシングルプロセッサ、又はマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータは勿論、パソコン、ハンドヘルドコンピュータ装置、マイクロプロセッサ基盤、又はプログラム可能な家電製品、その他(これらのそれぞれは、１以上の関連した装置と連結されて動作可能である)を始めとした他のコンピュータシステム構成で実施可能であることは、理解されるだろう。

本発明で説明された実施例は、あるタスクが通信ネットワークを通じて連結されている遠隔処理装置によって行なわれる分散コンピュータ環境で実施可能である。分散コンピュータ環境で、プログラムモジュールは、ローカル及び遠隔メモリ格納装置にいずれも位置することができる。

コンピュータは、通常、多様なコンピュータ読取り可能な媒体を含む。コンピュータによってアクセス可能な媒体は、コンピュータ読取り可能な媒体となり、このようなコンピュータ読取り可能な媒体は、揮発性及び不揮発性媒体、一時的(transitory)及び非一時的(non-transitory)媒体、移動式及び非移動式媒体を含む。コンピュータ読取可能な媒体は、コンピュータ格納媒体及び通信媒体を含む。コンピュータ格納媒体は、コンピュータ読取可能なコマンド、データ構造、プログラムモジュール、又はその他データのような情報を格納する任意の方法又は技術で具現される揮発性及び不揮発性媒体、一時的及び非一時的媒体、移動式及び非移動式媒体を含む。コンピュータ格納媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はその他メモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ(digital video disk)、又はその他光ディスク格納装置、磁気カセット、磁気テープ、磁気ディスク格納装置、又はその他磁気格納装置、又はコンピュータによってアクセスされることができ、所望する情報を格納するのに使用可能な任意のその他の媒体を含むが、これに限定しない。

コンピュータ５１０２を含む本発明の様々な側面を具現する例示的な環境５１００が示されており、コンピュータ５１０２は、処理装置５１０４と、システムメモリ５１０６と、システムバス５１０８とを含む。システムバス５１０８は、システムメモリ５１０６(これに限定しない)を始めとしたシステムコンポーネントを、処理装置５１０４に連結させる。処理装置５１０４は、多様な商用のプロセッサのうち、任意のプロセッサである。デュアルプロセッサ及びその他マルチプロセッサアーキテクチャーも、処理装置５１０４として利用可能である。

システムバス５１０８は、メモリバス、周辺装置バス、及び多様な商用バスアーキテクチャーのうち、任意のものを使用するローカルバスに更に相互連結されるいくつの類型のバス構造のうち、任意のものである。システムメモリ５１０６は、読取専用メモリ(ＲＯＭ)５１１０と、ランダムアクセスメモリ(ＲＡＭ)５１１２とを含む。基本入出力システム(ＢＩＯＳ)は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性メモリ５１１０に格納され、このＢＩＯＳは、始動中のような場合に、コンピュータ５１０２内の構成要素間に情報を転送することを助ける基本的なルーチンを含む。ＲＡＭ５１１２は、また、データをキャッシングするための静的ＲＡＭなどの高速ＲＡＭを含む。

コンピュータ５１０２は、また、内蔵型ハードディスクドライブ(ＨＤＤ)５１１４(例えば、ＥＩＤＥ、ＳＡＴＡ)(該当内蔵型ハードディスクドライブ５１１４は、適当なシャーシ(図示せず)内で外装型用途として構成可能である)、磁気フロッピーディスクドライブ(ＦＤＤ)５１１６(例えば、移動式ディスケット５１１８から読み込むか、それに記録をするためのもの)、及び光ディスクドライブ５１２０(例えば、ＣＤ-ＲＯＭディスク５１２２を読み込むか、ＤＶＤなどのその他の高容量光媒体から読み込むか、それに記録するためのもの)を含む。ハードディスクドライブ５１１４、磁気ディスクドライブ５１１６、及び光ディスクドライブ５１２０はそれぞれ、ハードディスクドライブインターフェース５１２４、磁気ディスクドライブインターフェース５１２６、及び光ドライブインターフェース５１２８によって、システムバス５１０８に連結される。外装型ドライブの具現のためのインターフェース５１２４は、ＵＳＢ(Universal Serial Bus)、及びＩＥＥＥ１３９４インターフェース技術中のなくとも１つ、又はその両方を含んでもよい。

これらのドライブ及びそれに関するコンピュータ読取可能な媒体は、データ、データ構造、コンピュータ実行可能なコマンド、その他の不揮発性格納を提供する。コンピュータ５１０２の場合、ドライブ及び媒体は、任意のデータを適当なデジタル形式で格納することに対応する。前記におけるコンピュータ読取可能な媒体に関する説明が、ＨＤＤ、移動式磁気ディスク、及びＣＤ又はＤＶＤなどの移動式光媒体として言及しているが、当業者であれば、zipドライブ(zip drive)、磁気カセット、フラッシュメモリカード、カートリッジ、その他のコンピュータによって読取り可能な他の類型の媒体も、例示的な運営環境で使用可能であり、また、任意のこのような媒体が本発明の方法を行うためのコンピュータ実行可能なコマンドを含んでいることと理解されているだろう。

運営体制５１３０、１以上のアプリケーション・プログラム５１３２、その他プログラムモジュール５１３４、及びプログラムデータ５１３６を始めとした多数のプログラムモジュールが、ドライブ及びＲＡＭ５１１２に格納されることができる。運営体制、アプリケーション、モジュール及び/又はデータの全部又はその一部分が、また、ＲＡＭ５１１２にキャッシングされることができる。本発明が様々な産業的に利用可能な運営体制、又は運営体制の組み合わせで具現可能であることは理解されるだろう。

ユーザは、１以上の有線/無線入力装置、例えば、キーボード５１３８及びマウス５１４０などのポインティング装置を介して、コンピュータ５１０２に命令及び情報を入力することができる。その他の入力装置(図示せず)としては、マイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーンなどがある。これら及びその他の入力装置がたびたびシステムバス５１０８に連結されている入力装置インターフェース５１４２を介して、処理装置５１０４に連結されるが、並列ポット、ＩＥＥＥ１３９４直列ポット、ゲームポット、ＵＳＢポット、ＩＲインターフェース、その他のインターフェースによって連結可能である。

モニタ５１４４又は他の類型のディスプレイ装置も、ビデオアダプター５１４６などのインターフェースを介して、システムバス５１０８に連結される。モニタ５１４４に加えて、コンピュータは、一般のスピーカー、プリンタ、その他の周辺出力装置(図示せず)を含む。

コンピュータ５１０２は、有線及び/又は無線通信による遠隔コンピュータ５１４８などの１以上の遠隔コンピュータへのロジック連結を用いて、ネットワーク化された環境で動作可能である。遠隔コンピュータ５１４８は、ワークステーション、サーバコンピュータ、ルータ、パソコン、携帯用コンピュータ、マイクロプロセッサ基の盤娯楽機器、又はその他の通常のネットワークノードであり、一般的にコンピュータ５１０２に対して記述された構成要素のうち、多数又はその全部を含むが、簡略のために、メモリ格納装置５１５０だけを示している。図示されているロジック連結は、近距離通信網(ＬＡＮ)５１５２及び/又は、より大きいネットワーク、例えば、遠距離通信網(ＷＡＮ)５１５４への有線/無線連結を含む。

このようなＬＡＮ及びＷＡＭネットワーキング環境は、事務室及び会社で一般的であり、イントラネットなどの転写的コンピュータネットワーク(enterprise-wide computer network)を容易にし、これらの全ては、全世界コンピュータネットワーク、例えば、インターネットに連結可能である。

ＬＡＮネットワーキング環境で使用されるに際して、コンピュータ５１０２は、有線及び/又は無線通信ネットワークインターフェース、又はアダプター５１５６を介して、ローカルネットワーク５１５２に連結される。アダプター５１５６は、ＬＡＮ５１５２への有線又は無線通信を容易にし、このＬＡＮ５１５２は、また、無線アダプター５１５６と通信するために、それに設置されている無線アクセスポイントを含んでいる。ＷＡＮネットワーキング環境で使用されるに際して、コンピュータ５１０２は、モデム５１５８を含むか、ＷＡＮ５１５４上の通信サーバに連結されるか、または、インターネットを通じるなど、ＷＡＮ５１５４を介して通信を設定するようなその他の手段を有する。内蔵型又は外装型、及び有線又は無線装置であるモデム５１５８は、直列ポットインターフェース５１４２を介して、システムバス５１０８に連結される。ネットワーク化された環境で、コンピュータ５１０２について説明されたプログラムモジュール、又はその一部が遠隔メモリ/格納装置５１５０に格納可能である。図示されているネットワーク連結は例示に過ぎず、コンピュータの間に通信リンクを設定するその他の手段が使用可能であることは、理解されるだろう。

コンピュータ５１０２は、無線通信で配置されて動作する任意の無線装置又は個体、例えば、プリンタ、スキャナ、デスクトップ及び/又は携帯用コンピュータ、ＰＤＡ(portable data assistant)、通信衛星、無線検出可能なタグと関連する任意の装備又は場所、及び電話と通信を行う動作を行う。これは、少なくともＷｉ−Ｆｉ及びプルトゥス無線技術を含む。よって、通信は、従来のネットワークでのように、予め定義された構造であるか、単に、少なくとも２つの装置間のアドホック通信(ad hoc communication)である。

Ｗｉ−Ｆｉ(Wireless Fidelity)は、有線がなくても、インターネットなどへの連結を可能とする。Ｗｉ−Ｆｉは、このような装置、例えばコンピュータが室内で及び室外で、すなわち、基地局の通話圏内のどこでも、データを伝送及び受信可能なセル電話のような無線技術である。Ｗｉ−Ｆｉネットワークは、安全で且つ信頼性があり、高速の無線連結を提供するために、ＩＥＥＥ８０２.１１(ａ、ｂ、ｇ、その他)という無線技術を用いる。コンピュータを互いに、インターネットに、及び有線ネットワーク(ＩＥＥＥ８０２.３又はイドネッを用いる)に連結させるために、Ｗｉ−Ｆｉが用いられる。Ｗｉ−Ｆｉネットワークは、非印加２.４及び５ＧＨｚ無線帯域で、例えば１１Ｍｂｐｓ(８０２.１１ａ)又は５４Ｍｂｐｓ(８０２.１１ｂ)のデータレートで動作するか、両帯域(デュアル帯域)を含む製品で動作可能である。

以上のように、実施例が、たとえ限定された実施例と図面によって説明されているが、該当技術分野における通常の知識を有する者であれば、前記の記載から多様な修正及び変形が可能である。例えば、説明された技術が、説明された方法と異なる順序で行なわれるか、及び/又は、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法と異なる形態で結合又は組み合わせられるが、他の構成要素又は均等物によって対置又は置換されても、適切な結果が達成可能である。

そのため、他の具現、他の実施例、及び特許請求の範囲と均等なものも、後述する特許請求の範囲に属する。

Claims (20)

1. １以上のプロセッサ、及び前記プロセッサで実行可能な命令を格納するメインメモリとを含むコンピュータ装置で行なわれる動画圧縮方法であって、
   動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別段階と、
   前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成するフレーム圧縮段階とを含むことを特徴とする動画圧縮方法。
2. 前記フレーム圧縮段階は、
   前記圧縮対象フレームの処理対象イメージ領域を設定する処理対象イメージ領域設定段階と、
   前記処理対象イメージ領域の一部又は全体が変換された圧縮フレームを生成する圧縮フレーム生成段階とを含み、
   前記処理対象イメージ領域設定段階は、前記圧縮対象フレームが独立してエンコードされたフレームである場合は、前記圧縮対象フレームの全体を、前記処理対象イメージ領域に設定し、
   前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの一部を、前記処理対象イメージ領域に設定することを特徴とする請求項１に記載の動画圧縮方法。
3. 前記処理対象イメージ領域設定段階は、既設定された基準により、前記圧縮対象フレームを複数のイメージブロックに区分し、
   前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前記複数のイメージブロックの一部のイメージブロックを、前記処理対象イメージ領域に設定することを特徴とする請求項２に記載の動画圧縮方法。
4. 前記処理対象イメージ領域設定段階は、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前フレーム、後フレーム、及び複数の前フレームが累積されたフレームの１以上と比較して、前記圧縮対象フレームの部分で変化がある部分を、前記処理対象イメージ領域に設定することを特徴とする請求項２に記載の動画圧縮方法。
5. 前記圧縮フレーム生成段階は、第１の圧縮フレーム生成段階を含み、
   前記第１の圧縮フレーム生成段階は、
   前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、
   前記細部領域の前記複雑度が既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、
   前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含み、
   前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記圧縮フレームを生成することを特徴とする請求項２に記載の動画圧縮方法。
6. 前記第１の圧縮フレーム生成段階は、
   前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームに対して、非可逆圧縮を行ったフレームから、前記圧縮フレームを生成することを特徴とする請求項５に記載の動画圧縮方法。
7. 前記第１のイメージ処理は、ブラー処理であることを特徴とする請求項５に記載の動画圧縮方法。
8. 前記圧縮フレーム生成段階は、第２の圧縮フレーム生成段階を含み、
   前記第２の圧縮フレーム生成段階は、
   前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、
   前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含み、
   前記第２の予備フレームから、前記圧縮フレームを生成することを特徴とする請求項２に記載の動画圧縮方法。
9. 前記第２の予備フレームに対して、非可逆圧縮が行われたフレームから、前記圧縮フレームを生成することを特徴とする請求項８に記載の動画圧縮方法。
10. 前記第２のイメージ処理は、ブラー処理であることを特徴とする請求項８に記載の動画圧縮方法。
11. 前記圧縮フレーム生成段階は、
    第１の圧縮フレームを生成する第１の圧縮フレーム生成段階と、
    前記第１の圧縮フレーム生成段階とは異なる方法で、第２の圧縮フレームを生成する第２の圧縮フレーム生成段階と、
    前記第１の圧縮フレーム及び前記第２の圧縮フレームを含む候補フレーム群より１つのフレームを、前記圧縮フレームとする圧縮フレーム選択段階とを含むことを特徴とする請求項２に記載の動画圧縮方法。
12. 前記第１の圧縮フレーム生成段階は、
    前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、
    前記細部領域の前記複雑度が、既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、
    前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含み、
    前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記第１の圧縮フレームを生成することを特徴とする請求項１１に記載の動画圧縮方法。
13. 前記第２の圧縮フレーム生成段階は、
    前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、
    前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含み、
    前記第２の予備フレームから、前記第２の圧縮フレームを生成することを特徴とする請求項１１に記載の動画圧縮方法。
14. 前記第１の圧縮フレーム生成段階は、
    前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出段階と、
    前記細部領域の前記複雑度が、既設定された基準以下であるか否かを判断するイメージ複雑度判別段階と、
    前記細部領域の複雑度が既設定された基準以下の場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理段階とを含み、
    前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記第１の圧縮フレームを生成し、
    前記第２の圧縮フレーム生成段階は、
    前記処理対象イメージ領域に対して、第２のイメージ処理を行って、第１の予備フレームを生成する全体イメージ処理段階と、
    前記第１の予備フレームに対して、前記圧縮対象フレームの原本のイメージデータのうち、イメージのエッジ部分を結合して、第２の予備フレームを生成するエッジ結合処理段階とを含み、
    前記第２の予備フレームから、前記第２の圧縮フレームを生成することを特徴とする請求項１１に記載の動画圧縮方法。
15. １以上のプロセッサによって行われる複数の命令を含む、非一時的なコンピュータ読取り可能な媒体に格納されたコンピュータプログラムであって、
    前記コンピュータプログラムは、
    動画の圧縮対象フレームが独立してエンコードされたフレームであるか否かを判別するフレームタイプ判別命令と、
    前記圧縮対象フレームが独立してエンコードされたフレームである場合と、前記圧縮対象フレームが独立してエンコードされたフレームではない場合とを区分して、圧縮フレームを生成するフレーム圧縮命令とを含むことを特徴とするコンピュータプログラム。
16. 前記フレーム圧縮命令は、
    前記圧縮対象フレームの処理対象イメージ領域を設定する処理対象イメージ領域設定命令と、
    前記処理対象イメージ領域の一部又は全体が変換された圧縮フレームを生成する圧縮フレーム生成命令とを含み、
    前記処理対象イメージ領域設定命令は、前記圧縮対象フレームが独立してエンコードされたフレームである場合は、前記圧縮対象フレームの全体を、前記処理対象イメージ領域に設定し、
    前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの一部を、前記処理対象イメージ領域に設定することを特徴とする請求項１５に記載のコンピュータプログラム。
17. 前記処理対象イメージ領域設定命令は、既設定された基準によって、前記圧縮対象フレームを複数のイメージブロックに区分し、
    前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前記複数のイメージブロックのうち、一部のイメージブロックを前記処理対象イメージ領域に設定することを特徴とする請求項１６に記載のコンピュータプログラム。
18. 前記処理対象イメージ領域設定命令は、前記圧縮対象フレームが独立してエンコードされたフレームではない場合は、前記圧縮対象フレームの前フレーム、後フレーム、及び複数の前フレームが累積されたフレームの１以上と比較して、前記圧縮対象フレームの部分で変化がある部分を、前記処理対象イメージ領域に設定することを特徴とする請求項１６又は１７に記載のコンピュータプログラム。
19. 前記圧縮フレーム生成命令は、第１の圧縮フレーム生成命令を含み、
    前記第１の圧縮フレーム生成段階は、
    前記処理対象イメージ領域を構成する複数の細部領域に対して、イメージの複雑度を算出するイメージ複雑度算出命令と、
    前記細部領域の前記複雑度が、既設定された基準以下であるか否かを判断するイメージ複雑度判別命令と、
    前記細部領域の複雑度が既設定された基準以下である場合に、前記細部領域に対して、第１のイメージ処理を行う複雑度基準イメージ処理命令とを含み、
    前記複雑度基準イメージ処理段階が行われた前記処理対象イメージ領域を含むフレームから、前記圧縮フレームを生成することを特徴とする請求項１７に記載のコンピュータプログラム。
20. 動画圧縮方法であって、
    動画の圧縮対象フレームがＩタイプ、Ｐタイプ、又はＢタイプに該当するか、否かを判別するフレーム判別段階と、
    前記フレームを既設定された基準によって、複数のイメージブロックに区分するイメージブロック区分段階と、
    前記フレーム判別段階において判別されたフレームタイプによって、前記圧縮対象フレームで処理対象イメージ領域を設定する処理対象イメージ領域設定段階と、
    前記処理対象イメージ領域に対して、イメージ処理を行って、第１の変換フレーム及び第２の変換フレームを生成する変換フレーム生成段階と、
    前記第１の変換フレーム及び第２の変換フレームに対して圧縮を行って、第１の圧縮フレーム及び第２の圧縮フレームを生成する圧縮フレーム生成段階と、
    前記第１の圧縮フレーム及び前記第２の圧縮フレームに対して、データサイズを比較するデータサイズ比較段階と、
    前記第１の圧縮フレーム及び前記第２の圧縮フレームのうち、データサイズが小さいフレームを最終圧縮フレームとして選定する圧縮フレーム選定段階とを含むことを特徴とする動画圧縮方法。

Images