JP2016066871A - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP2016066871A
JP2016066871A JP2014193875A JP2014193875A JP2016066871A JP 2016066871 A JP2016066871 A JP 2016066871A JP 2014193875 A JP2014193875 A JP 2014193875A JP 2014193875 A JP2014193875 A JP 2014193875A JP 2016066871 A JP2016066871 A JP 2016066871A
Authority
JP
Japan
Prior art keywords
module
image
division
difference
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014193875A
Other languages
English (en)
Other versions
JP6497014B2 (ja
Inventor
横瀬 太郎
Taro Yokose
太郎 横瀬
友紀 谷口
Tomonori Taniguchi
友紀 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2014193875A priority Critical patent/JP6497014B2/ja
Priority to US14/606,300 priority patent/US9723310B2/en
Publication of JP2016066871A publication Critical patent/JP2016066871A/ja
Application granted granted Critical
Publication of JP6497014B2 publication Critical patent/JP6497014B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

【課題】互いに独立した2つの軸で分割した画像を符号化するようにした画像処理装置を提供する。【解決手段】画像処理装置の第1の分割手段は、画像を分割し、第2の分割手段は、前記第1の分割手段によって分割された画像を、該第1の分割手段による分割の軸とは独立した軸によって分割し、差分手段は、前記第2の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成し、符号化手段は、前記差分手段によって生成された差分画像を符号化する。【選択図】図1

Description

本発明は、画像処理装置及び画像処理プログラムに関する。
特許文献1には、画像情報を複数画素からなる複数ブロックに分割しブロック単位で符号化を行い伝送する画像符号化伝送方式であって、各ブロックの画像を周波数成分毎の複数の符号化データで符号化するとともに、第1の周波数成分の符号化データを一画面分伝送した後に第2の周波数成分の符号化データを一画面分伝送する画像符号化伝送方式を提供するものであり、各ブロックの画像を周波数成分毎の少なくとも1の符号化データを符号化し、各ブロックに対して周波数成分毎の符号化データが存在するか否かを示すデータとともに符号化データを伝送することが開示されている。
特許文献2には、画像の伝送時間の短縮、ホストコンピュータ側の画像記憶容量の削減、圧縮作業回数の低減を目的とし、ホストコンピュータの分離手段は、直交変換した後データを直流係数と交流係数とに分離し、符号化手段はこれらのデータから低域符号化画像データと高域符号化画像データとを生成し、送出側伝送手段は、先ず確認用の低域符号化画像データを端末装置に伝送し、端末装置のデータ伸長手段はこのデータから低域復号化画像データを生成し、ディスプレイは低域復号化画像データを表示し、検索目的とする画像が探し出されると、ホストコンピュータは高域符号化画像データを端末装置に伝送し、合成手段はこの高域符号化画像データと低域符号化画像データとを合成し、合成されたデータに基づき画像を表示することが開示されている。
特開平01−213085号公報 特開平05−268480号公報
本発明は、互いに独立した2つの軸で分割した画像を符号化するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、画像を分割する第1の分割手段と、前記第1の分割手段によって分割された画像を、該第1の分割手段による分割の軸とは独立した軸によって分割する第2の分割手段と、前記第2の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、前記差分手段によって生成された差分画像を符号化する符号化手段を具備することを特徴とする画像処理装置である。
請求項2の発明は、前記第1の分割手段と前記第2の分割手段による分割の軸として、解像度、階調、画像位置、色成分のいずれかを用い、該第2の分割手段による分割の軸は、該第1の分割手段による軸とは異なることを特徴とする請求項1に記載の画像処理装置である。
請求項3の発明は、前記差分手段は、処理結果である差分を前記画像格納手段に格納し、前回の処理結果である差分を前記画像格納手段から取得することを特徴とする請求項1又は2に記載の画像処理装置である。
請求項4の発明は、画像を変換する変換手段をさらに具備し、前記第1の分割手段は、前記変換手段によって変換された画像を分割することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置である。
請求項5の発明は、前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記第1の分割手段又は前記第2の分割手段による処理を制御する制御手段をさらに具備することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置である。
請求項6の発明は、前記符号化手段による処理結果である符号を記憶する記憶手段と、前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記記憶手段に記憶された符号を選択する制御を行う制御手段をさらに具備することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置である。
請求項7の発明は、コンピュータを、画像を分割する第1の分割手段と、前記第1の分割手段によって分割された画像を、該第1の分割手段による分割の軸とは独立した軸によって分割する第2の分割手段と、前記第2の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、前記差分手段によって生成された差分画像を符号化する符号化手段として機能させるための画像処理プログラムである。
請求項1の画像処理装置によれば、互いに独立した2つの軸で分割した画像を符号化することができる。
請求項2の画像処理装置によれば、分割の軸として、解像度、階調、画像位置、色成分のいずれかを用い、第2の分割の軸は、第1の分割の軸とは異なるようにすることができる。
請求項3の画像処理装置によれば、分割した画像を画像格納手段に格納し、第2の分割手段による前回の分割結果を画像格納手段から取得することができる。
請求項4の画像処理装置によれば、変換された画像を分割の対象とすることができる。
請求項5の画像処理装置によれば、符号化された画像を出力する装置における操作、又は、その装置の性能に応じて、第1の分割手段又は第2の分割手段による処理を制御することができる。
請求項6の画像処理装置によれば、符号化された画像を出力する装置における操作、又は、その装置の性能に応じて、記憶手段に記憶された符号を選択する制御を行うことができる。
請求項7の画像処理プログラムによれば、互いに独立した2つの軸で分割した画像を符号化することができる。
第1の実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 第1の実施の形態による処理例を示すフローチャートである。 第1の実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 第2の実施の形態の構成例についての概念的なモジュール構成図である。 第3の実施の形態の構成例についての概念的なモジュール構成図である。 第3の実施の形態による処理例を示す説明図である。 第3の実施の形態による処理例を示す説明図である。 第3の実施の形態による処理例を示すフローチャートである。 第3の実施の形態による処理例を示すフローチャートである。 第3の実施の形態による処理例を示すフローチャートである。 第3の実施の形態による処理例を示すフローチャートである。 第4の実施の形態の構成例についての概念的なモジュール構成図である。 第5の実施の形態の構成例についての概念的なモジュール構成図である。 第6の実施の形態の構成例についての概念的なモジュール構成図である。 第6の実施の形態による処理例を示すフローチャートである。 第6の実施の形態による処理例を示すフローチャートである。 第6の実施の形態による処理例を示すフローチャートである。 第7の実施の形態の構成例についての概念的なモジュール構成図である。 第8の実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
<<第1の実施の形態>>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
第1の実施の形態である符号化装置100は、画像を符号化するものであって、図1の例に示すように、第1データ分割モジュール115、第2データ分割モジュール120、差分算出モジュール125、画像格納モジュール130、符号化モジュール135を有しており、入力画像105を符号化して出力符号140を生成する。また、符号化装置100に対応する復号装置150は、符号化装置100による処理結果である出力符号140を復号して出力画像195を出力する。
様々な装置によって利用されるクラウド/分散環境では、その装置の性能(スペック)に応じて必要な画像品質が異なる。また、同じ装置であっても、処理の目的によって求められる画像品質は異なる。符号化装置100は、符号を加算的に構成することにより、装置からの要求に応じた選択的な情報の転送を実現しようとするものである。
第1データ分割モジュール115は、第2データ分割モジュール120と接続されており、入力画像105を受け付け、第2データ分割モジュール120に第1分割画像117を渡す。第1データ分割モジュール115は、入力画像105を分割する。
第2データ分割モジュール120は、第1データ分割モジュール115、差分算出モジュール125と接続されており、第1データ分割モジュール115より第1分割画像117を受け取り、差分算出モジュール125に第2分割画像122を渡す。第2データ分割モジュール120は、第1データ分割モジュール115によって分割された第1分割画像117を、第1データ分割モジュール115による分割の軸とは独立した軸によって分割する。そして、分割した一部を選択して、差分算出モジュール125に渡す。
第1データ分割モジュール115と第2データ分割モジュール120による分割の軸として、解像度、階調、画像位置、色成分のいずれかを用い、第2データ分割モジュール120による分割の軸は、第1データ分割モジュール115による軸とは異なるようにしてもよい。特に、画質を示す階調の軸と解像度の軸(第1データ分割モジュール115を階調の軸とした場合は、第2データ分割モジュール120を解像度の軸、又は、第1データ分割モジュール115を解像度の軸とした場合は、第2データ分割モジュール120を階調の軸)としてもよい。
差分算出モジュール125は、第2データ分割モジュール120、画像格納モジュール130、符号化モジュール135と接続されており、第2データ分割モジュール120より第2分割画像122を受け取り、符号化モジュール135に差分画像127を渡す。差分算出モジュール125は、第2データ分割モジュール120によって分割された第2分割画像122と画像格納モジュール130に格納されている画像との差分を生成する。最初の第2分割画像122である場合は、画像格納モジュール130に格納されている画像は無いので、差分はその最初の第2分割画像122そのものとなる。なお、差分は一般的な減算処理によって生成する。
差分算出モジュール125は、差分算出モジュール125による処理結果である差分を画像格納モジュール130に格納し、前回の処理結果である差分を画像格納モジュール130から取得するようにしてもよい。
画像格納モジュール130は、差分算出モジュール125と接続されている。画像格納モジュール130は、差分算出モジュール125から処理結果である差分を受け取り、記憶する。そして、記憶している差分算出モジュール125の処理結果(前回受け取った差分)を差分算出モジュール125へ渡す。受け付ける分割画像の変更に応じて随時更新する。
符号化モジュール135は、差分算出モジュール125と接続されており、差分算出モジュール125より差分画像127を受け取り、出力符号140を復号装置150へ出力する。符号化モジュール135は、差分算出モジュール125によって生成された差分画像127を符号化する。符号化方法は任意の既存の技術を用いればよい。
復号装置150は、復号モジュール155、差分加算モジュール160、画像格納モジュール165を有している。
復号モジュール155は、差分加算モジュール160と接続されており、符号化装置100から出力符号140を受け付け、差分加算モジュール160に差分画像157を渡す。復号モジュール155は、出力符号140を復号(差分算出モジュール125による符号化の逆処理)を行う。
差分加算モジュール160は、復号モジュール155、画像格納モジュール165と接続されており、復号モジュール155より差分画像157を受け取り、出力画像195を出力する。差分加算モジュール160は、復号モジュール155によって復号された差分画像157と画像格納モジュール165に格納されている画像との加算(差分算出モジュール125の逆処理)を行う。最初の差分画像157である場合は、画像格納モジュール165に格納されている画像は無いので、加算結果はその最初の差分画像157そのものとなる。
画像格納モジュール165は、差分加算モジュール160と接続されている。画像格納モジュール165は、差分加算モジュール160から処理結果を受け取り、記憶する。そして、記憶している差分加算モジュール160の処理結果(前回受け取った加算結果)を差分加算モジュール160へ渡す。
図2は、本実施の形態(後述する実施の形態を含む)を利用したシステム構成例を示す説明図である。
符号化装置100、照合処理装置210、認識処理装置220、プレゼンテーション用端末230、モバイル端末240は、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット等であってもよい。
照合処理装置210、認識処理装置220、プレゼンテーション用端末230、モバイル端末240は、図1の例に示した復号装置150の具体例である。例えば、照合処理装置210は医療機関にて用いられ、高階調かつ高周波数の画像を再現することが求められている。文字認識等を行う認識処理装置220、WEB表示を行うプレゼンテーション用端末230では、伝送時間を短縮するために、低階調であるが高周波数の画像を再現することが求められている。照合処理装置210等と比較して小画面であるモバイル端末240では、高階調であるが低周波数の画像を再現することが求められている。モバイル端末240の画面の解像度から高周波情報は不要な場合である。
符号化装置100は、照合処理装置210等からの要求にしたがって必要とする符号を送信する。
図3は、第1の実施の形態による処理例を示すフローチャートである。
ステップS300では、処理を開始する。
ステップS302では、第1データ分割モジュール115が、入力画像105を受け付ける。
ステップS304では、第1データ分割モジュール115が、入力画像105を分割し、第1分割画像117を生成する。
ステップS306では、第2データ分割モジュール120が、第1分割画像117を分割し、第2分割画像122を生成する。
ステップS308では、差分算出モジュール125が、第2分割画像122と画像格納モジュール130に格納されている画像との差分画像127を生成する。
ステップS310では、差分算出モジュール125が、画像格納モジュール130に第2分割画像122を格納する。
ステップS312では、符号化モジュール135が、差分画像127を符号化し、出力符号140を生成する。
ステップS314では、符号化モジュール135が、出力符号140を出力する。
ステップS399では、処理を終了する。
図4は、第1の実施の形態による処理例を示すフローチャートである。
ステップS400では、処理を開始する。
ステップS402では、復号モジュール155が、出力符号140を受け付ける。
ステップS404では、復号モジュール155が、出力符号140を復号して、差分画像157を生成する。
ステップS406では、差分加算モジュール160が、差分画像157に画像格納モジュール165に格納されている画像を加算して、出力画像195を生成する。
ステップS408では、差分加算モジュール160が、画像格納モジュール165に出力画像195を格納する。
ステップS410では、差分加算モジュール160が、出力画像195を出力する。
ステップS499では、処理を終了する。
図5に示す例を用いて、本実施の形態による第1データ分割モジュール115、第2データ分割モジュール120による技術的意義を説明する。なお、この説明は、本実施の形態の理解を容易にすることを目的とするものであり、概念的な説明である。
画質には複数の側面があるが、代表的なのは解像度と階調である。図5の例に示すグラフは、横軸に周波数、縦軸に階調を示している。つまり、互いに独立な軸として、周波数、階調の例を示している。ここで、原画像(量子化(符号化)前の画像)が持つ情報量を、図5(a)の例に示す原画像500であるとする。もちろんのことながら、量子化前の画像であるので、周波数、階調ともに、失っている情報はない。
原画像500に対して、JPEG圧縮を適用した場合は、図5(b)の例に示すように、圧縮後の画像(又は、その圧縮した画像を復号した画像)の情報量はJPEG情報520となり、原画像500と比較すると、消失情報510が量子化によって失う情報である。
また、JPEG Progressiveの手法を採用したとしても、図5(c)の例に示すように、伸長時において、周波数の軸に対してだけ、JPEG分割情報522、JPEG分割情報524、JPEG分割情報526のように調整ができる。つまり、JPEG圧縮では、スケーラブルなのが周波数(解像度)の軸のみである。したがって、周波数のみでスケールする従来技術であるJPEG圧縮は、階調を制御できない。階調の量子化で失われた情報は、後から補間することができない。なお、情報を失わないようにすると全体の圧縮率が低下することとなる。
そこで、本実施の形態では、画像情報を独立な複数の軸で分割し、加算的に伸長できるように構成する。つまり、図5(d)の例に示すように、伸長時において、周波数と階調を自由に選択可能としている。
これによりそれぞれの軸についてユーザが必要とする情報だけを取得できるようにする。また、これにともない画像の伝送時間を短縮することができる。
具体的には、図2の例に示した小画面であるモバイル端末240(又は色補正処理装置)等では、高階調であって、低周波数の画像を再現するために、例えば、図5(d)で示している分割情報552、分割情報558、分割情報564を受信して、伸長する。モバイル端末240等の解像度の制約で高周波情報を省略した場合である。また、図2の例に示した認識処理装置220、プレゼンテーション用端末230(又は文字認識装置)等では、低階調であって、高周波数の画像を再現するために、例えば、図5(d)で示している分割情報564、分割情報566、分割情報568を送信する。ここでは、伝送時間の制約で、高階調情報を省略したものである。また、図2の例に示した照合装置210では、高階調であって、高周波数の画像を再現するために、例えば、図5(d)で示している分割情報552〜568を送信する。ここでは、原画像と同等の情報を必要としている場合である。
また、ユーザが利用する画像出力装置の物理的制約によって、分割の軸に上限値を設定することで、ユーザが取得する画像についての知識がなくても適切な情報だけを選択できるようになる。
一般に画像を分割すると情報量は増加する。どのように分割すれば情報量の増加が抑えられるかを以下に説明する。ある事象をaとbの結合事象としたとき、情報量I(a,b)は数(1)のように展開できる。
Figure 2016066871
つまり、aとbが独立な事象であれば、I(a,b)はaの情報量とbの情報量に(増加なく)分割できる。
したがって、本実施の形態における第1の分割と第2の分割が、分割した結果がそれぞれ独立な事象となるように構成できれば、前述の情報量の増加はないことになる。本実施の形態では、後述するように異なる周波数の係数同士や、階調を量子化係数で除した商と余りの関係等は独立な事象だと期待できるため、本実施の形態における分割として好適である。
<<第2の実施の形態>>
図6は、第2の実施の形態の構成例についての概念的なモジュール構成図を示している。
本実施の形態では、符号化装置100に画像変換モジュール610、復号装置150に画像逆変換モジュール670を付加したものであり、変換処理の追加による出力符号データ量の削減を行うものである。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する(以下、同様)。
符号化装置600は、画像変換モジュール610、第1データ分割モジュール115、第2データ分割モジュール120、差分算出モジュール125、画像格納モジュール130、符号化モジュール135を有している。
画像変換モジュール610は、第1データ分割モジュール115と接続されており、入力画像105を受け付け、第1データ分割モジュール115に変換画像612を渡す。画像変換モジュール610は、入力画像105を変換する。例えば、入力画像105に周波数変換等の圧縮に有効な変換を加える。具体的には、符号化装置600をJPEGに適用する場合、離散コサイン変換(DCT)を行う。
第1データ分割モジュール115は、画像変換モジュール610、第2データ分割モジュール120と接続されており、画像変換モジュール610より変換画像612を受け取り、第2データ分割モジュール120に第1分割画像117を渡す。
復号装置650は、復号モジュール155、差分加算モジュール160、画像格納モジュール165、画像逆変換モジュール670を有している。
差分加算モジュール160は、復号モジュール155、画像格納モジュール165、画像逆変換モジュール670と接続されており、復号モジュール155より差分画像157を受け取り、画像逆変換モジュール670に変換画像667を渡す。
画像逆変換モジュール670は、差分加算モジュール160と接続されており、差分加算モジュール160より変換画像667を受け取り、出力画像195を出力する。画像逆変換モジュール670は、画像変換モジュール610の逆処理を行うことで、出力画像195を生成する。
<<第3の実施の形態>>
図7は、第3の実施の形態の構成例についての概念的なモジュール構成図を示している。
符号化装置700は、DCTモジュール710、階調分割モジュール715、解像度分割モジュール720、差分算出モジュール725、画像格納モジュール730、Huffman符号化モジュール735を有している。符号化装置700は、第2の実施の形態の符号化装置600をJPEGに適用する場合の例である。
DCTモジュール710は、階調分割モジュール715と接続されており、入力画像705を受け付け、階調分割モジュール715に変換画像712を渡す。DCTモジュール710は、画像変換モジュール610に対応するものであり、離散コサイン変換を行う。
階調分割モジュール715は、DCTモジュール710、解像度分割モジュール720と接続されており、DCTモジュール710より変換画像712を受け取り、解像度分割モジュール720に第1分割画像717を渡す。階調分割モジュール715は、第1データ分割モジュール115に対応するものであり、階調の軸で分割を行う。
解像度分割モジュール720は、階調分割モジュール715、差分算出モジュール725と接続されており、階調分割モジュール715より第1分割画像717を受け取り、差分算出モジュール725に第2分割画像722を渡す。解像度分割モジュール720は、第2データ分割モジュール120に対応するものであり、解像度の軸で分割を行う。
差分算出モジュール725は、解像度分割モジュール720、画像格納モジュール730、Huffman符号化モジュール735と接続されており、解像度分割モジュール720より第2分割画像722を受け取り、Huffman符号化モジュール735に差分画像727を渡す。差分算出モジュール725は、差分算出モジュール125に対応するものである。
画像格納モジュール730は、差分算出モジュール725と接続されている。画像格納モジュール730は、画像格納モジュール130に対応するものである。
Huffman符号化モジュール735は、差分算出モジュール725と接続されており、差分算出モジュール725より差分画像727を受け取り、出力符号740を出力する。Huffman符号化モジュール735は、符号化モジュール135に対応するものであり、ハフマン符号化処理を行う。
復号装置750は、Huffman復号モジュール755、差分加算モジュール760、画像格納モジュール765、逆DCTモジュール770を有している。復号装置750は、第2の実施の形態の復号装置650をJPEGに適用する場合の例である。
Huffman復号モジュール755は、差分加算モジュール760と接続されており、出力符号740を受け付け、差分加算モジュール760に差分画像757を渡す。Huffman復号モジュール755は、復号モジュール155に対応するものであり、ハフマン復号処理を行う。
差分加算モジュール760は、Huffman復号モジュール755、画像格納モジュール765、逆DCTモジュール770と接続されており、Huffman復号モジュール755より差分画像757を受け取り、逆DCTモジュール770に変換画像767を渡す。差分加算モジュール760は、差分加算モジュール160に対応するものである。
画像格納モジュール765は、差分加算モジュール760と接続されている。画像格納モジュール765は、画像格納モジュール165に対応するものである。
逆DCTモジュール770は、差分加算モジュール760と接続されており、差分加算モジュール760より変換画像767を受け取り、出力画像795を出力する。逆DCTモジュール770は、画像逆変換モジュール670に対応するものであり、逆離散コサイン変換(DCTモジュール710の逆処理)を行う。
図8、図9の例を用いて、第3の実施の形態による処理例を示す。
図8(A)に示す例は、DCTモジュール710が受け付ける入力画像705の具体例である。
図8(B)に示す例は、DCTモジュール710による入力画像705に対する処理結果である変換画像712の具体例である。
図8(C)に示す例は、階調分割モジュール715が用いる粗い量子化テーブル(標準の3倍)の具体例である。図8(D)に示す例は、階調分割モジュール715が用いる細かい量子化テーブル(標準の0.5倍)の具体例である。この例では、各値は、図8(C)に示す例の1/6となっている。
図8(E)に示す例は、階調分割モジュール715による処理経過を示している。図8(B)に示す例を、図8(C)に示す例で除算した場合の商である。つまり、粗い階調で量子化したものであり、低階調成分の符号となっている。
図8(F)に示す例は、階調分割モジュール715による処理経過を示している。図8(B)に示す例を、図8(D)に示す例で除算した場合の商である。つまり、細かい階調で量子化したものであり、今回は符号化しない。
図8(G)に示す例は、図8(E)に示す例と図8(F)に示す例から生成したものである。つまり、残差であり、高階調成分の符号となっている。具体的に、左上の値の例をもって示すと、「28(図8(F)に示す例の左上の成分の値)−24(図8(E)に示す例の左上の成分の値×6)=4」となる。
図9(E)に示す例は図8(E)と同じであり、図9(F)に示す例は図8(F)と同じであり、図9(G)に示す例は図8(G)と同じである。これらの例は、階調分割モジュール715による処理結果を示している。
図9(H)、(I)、(J)、(H)に示す例は、解像度分割モジュール720による処理結果を示している。図9(H)、(I)に示す例は、図9(E)に示す例に対する解像度分割モジュール720による処理結果であり、図9(J)、(K)に示す例は、図9(G)に示す例に対する解像度分割モジュール720による処理結果である。左側の図9(H)、(J)に示す例は、左上の4×4の低周波、右側の図9(I)、(K)に示す例は、その他の高周波成分に制限したものである。なお、各例のグレイ部分は強制的に0に置換したものである。図9(H)に示す例は低階調/低周波であり、図9(I)に示す例は低階調/高周波であり、図9(J)に示す例は高階調/低周波であり、図9(K)に示す例は高階調/高周波である。
この後、差分算出モジュール725でこれら4つのブロック例(図9(H)、(I)、(J)、(K)に示す例)を予め定められた順番で差分を算出し、Huffman符号化モジュール735による処理を行う。
図10は、第3の実施の形態による処理例(符号化処理)を示すフローチャートである。これは、ブロック毎に処理を進める例を示している。
ステップS1000では、処理を開始する。
ステップS1002では、画像をブロックに分割しDCT処理を行う。
ステップS1004では、選択情報を設定する。
ステップS1006では、階調を分割し選択する。
ステップS1008では、解像度を分割し選択する。
ステップS1010では、既出力情報との差分を計算する。
ステップS1012では、Huffman符号化を行う。
ステップS1014では、情報が残っているか否かを判断し、残っている場合はステップS1004へ戻り、それ以外の場合はステップS1016へ進む。
ステップS1016では、未処理ブロックが残っているか否かを判断し、残っている場合はステップS1002へ戻り、それ以外の場合は処理を終了する(ステップS1099)。
図11は、第3の実施の形態による処理例(符号化処理)を示すフローチャートである。これは、選択情報毎に処理を進める例を示している。
ステップS1100では、処理を開始する。
ステップS1102では、選択情報を設定する。
ステップS1104では、画像をブロックに分割しDCT処理を行う。
ステップS1106では、階調を分割し選択する。
ステップS1108では、解像度を分割し選択する。
ステップS1110では、既出力情報との差分を計算する。
ステップS1112では、Huffman符号化を行う。
ステップS1114では、未処理ブロックが残っているか否かを判断し、残っている場合はステップS1104へ戻り、それ以外の場合はステップS1116へ進む。
ステップS1116では、残り情報が必要であるか否かを判断し、必要である場合はステップS1102へ戻り、それ以外の場合は処理を終了する(ステップS1199)。
図12は、第3の実施の形態による処理例(復号処理)を示すフローチャートである。これは、逐次復号する例を示している。
ステップS1200では、処理を開始する。
ステップS1202では、Huffman復号を行う。
ステップS1204では、既入力情報に復号情報を加算する。
ステップS1206では、逆DCT処理を行う。
ステップS1208では、未処理ブロックが残っているか否かを判断し、残っている場合はステップS1202へ戻り、それ以外の場合はステップS1210へ進む。
ステップS1210では、情報が残っているか否かを判断し、残っている場合はステップS1202へ戻り、それ以外の場合は処理を終了する(ステップS1299)。
図13は、第3の実施の形態による処理例(復号処理)を示すフローチャートである。これは、情報をまとめて復号する例を示している。
ステップS1300では、処理を開始する。
ステップS1302では、Huffman復号を行う。
ステップS1304では、既入力情報に復号情報を加算する。
ステップS1306では、未処理ブロックが残っているか否かを判断し、残っている場合はステップS1302へ戻り、それ以外の場合はステップS1308へ進む。
ステップS1308では、情報が残っているか否かを判断し、残っている場合はステップS1302へ戻り、それ以外の場合はステップS1310へ進む。
ステップS1310では、逆DCT処理を行う。
ステップS1312では、未処理ブロックが残っているか否かを判断し、残っている場合はステップS1310へ戻り、それ以外の場合は処理を終了する(ステップS1399)。
なお、図12の例のステップS1206でのDCT処理の回数は(分割数×ブロック数)であるが、ステップS1310でのDCT処理の回数は(ブロック数)に減らせることができる。図12の例に示す処理よりも高速処理を行う場合に採用してもよい。また、図12の例に示す逐次処理とあわせて中間的な処理を行ってもよい。
<<第4の実施の形態>>
図14は、第4の実施の形態の構成例についての概念的なモジュール構成図を示している。
符号化装置1400は、階調分割モジュール1415、解像度分割モジュール1420、差分算出モジュール1425、画像格納モジュール1430、符号化モジュール1435を有している。階調分割モジュール1415の前に、予測モジュール1410を付加してもよい。
予測モジュール1410は、階調分割モジュール1415と接続されており、入力画像1405を受け付ける。予測モジュール1410は、画素値予測処理を行う。画素値予測処理は既存の処理方法を採用してもよい。階調分割モジュール1415等によって、予測モジュール1410による処理結果である予測残差を分割してもよい。その場合は復号装置1450に逆処理を行う逆予測モジュール1470が必要となる。
階調分割モジュール1415は、予測モジュール1410、解像度分割モジュール1420と接続されている。階調分割モジュール1415は、階調分割モジュール715と同等の処理を行う。
解像度分割モジュール1420は、階調分割モジュール1415、差分算出モジュール1425と接続されている。解像度分割モジュール1420は、解像度分割モジュール720と同等の処理を行う。
差分算出モジュール1425は、解像度分割モジュール1420、画像格納モジュール1430、符号化モジュール1435と接続されている。差分算出モジュール1425は、差分算出モジュール725と同等の処理を行う。
画像格納モジュール1430は、差分算出モジュール1425と接続されている。画像格納モジュール1430は、画像格納モジュール730と同等の処理を行う。
符号化モジュール1435は、差分算出モジュール1425と接続されており、出力符号1440を出力する。符号化モジュール1435は、符号化モジュール135と同等の処理を行う。
復号装置1450は、復号モジュール1455、差分加算モジュール1460、画像格納モジュール1465、逆予測モジュール1470を有している。
復号モジュール1455は、差分加算モジュール1460と接続されており、出力符号1440を受け付ける。復号モジュール1455は、復号モジュール155と同等の処理を行う。
差分加算モジュール1460は、復号モジュール1455、画像格納モジュール1465、逆予測モジュール1470と接続されている。差分加算モジュール1460は、差分加算モジュール760と同等の処理を行う。
画像格納モジュール1465は、差分加算モジュール1460と接続されている。画像格納モジュール1465は、画像格納モジュール765と同等の処理を行う。
逆予測モジュール1470は、差分加算モジュール1460と接続されており、出力画像1495を出力する。逆予測モジュール1470は、予測モジュール1410の逆処理を行う。
図14(A)に示す例は、入力画像1405の具体例である。
図14(B)、(C)に示す例は、階調分割モジュール1415による処理結果例である。図14(B)に示す例は、図14(A)に示す例を16で量子化したものである。図14(C)に示す例は、図14(B)に示す例の残差である。例えば、左上の画素は16×7+10=122となって画素値と一致する(「7」は図14(B)に示す例の左上の成分値、「10」は図14(C)に示す例の左上の成分値、「122」は図14(A)に示す例の左上の画素値)。
図14(D)、(E)、(F)、(G)に示す例は、解像度分割モジュール1420による処理結果を示している。図14(D)、(E)に示す例は、図14(B)に示す例に対する解像度分割モジュール1420による処理結果であり、図14(F)、(G)に示す例は、図14(C)に示す例に対する解像度分割モジュール1420による処理結果である。図14(D)、(F)に示す例は、1:4のサブサンプリング処理結果、図14(E)、(G)に示す例は、その他の画素に制限したものである。なお、各例のグレイ部分は強制的に0に置換したものである。
例えば、画像中の文字だけ読みたい場合、階調の残差情報は必要ない、又は優先度を低くすればよい。
<<第5の実施の形態>>
図15は、第5の実施の形態の構成例についての概念的なモジュール構成図を示している。
復号装置1550は、復号モジュール155、差分加算モジュール160、画像格納モジュール165、操作情報入力モジュール1580を有している。
画像格納モジュール165は、差分加算モジュール160、操作情報入力モジュール1580と接続されており、操作情報入力モジュール1580より端末情報1584を受け取る。
操作情報入力モジュール1580は、画像格納モジュール165、符号化装置1500の分割制御モジュール1585と接続されており、ユーザ操作1595を受け付け、分割制御モジュール1585へ操作情報1582を渡し、画像格納モジュール165へ端末情報1584を渡す。操作情報入力モジュール1580は、復号装置1550に対するユーザの操作情報1582を入力し、符号化装置1500に送信する。操作情報1582として、例えば、画像の縮小・拡大を行うためのピンチイン・ピンチアウト、画像を移動させるためのフリック等がある。
符号化装置1500は、第1データ分割モジュール115、第2データ分割モジュール120、差分算出モジュール125、画像格納モジュール130、符号化モジュール135、分割制御モジュール1585を有している。
第1データ分割モジュール115は、第2データ分割モジュール120、分割制御モジュール1585と接続されており、入力画像105を受け付け、第2データ分割モジュール120に第1分割画像117を渡す。
第2データ分割モジュール120は、第1データ分割モジュール115、差分算出モジュール125、分割制御モジュール1585と接続されており、第1データ分割モジュール115より第1分割画像117を受け取り、差分算出モジュール125に第2分割画像122を渡す。
分割制御モジュール1585は、第1データ分割モジュール115、第2データ分割モジュール120、復号装置1550の操作情報入力モジュール1580と接続されており、操作情報入力モジュール1580より操作情報1582を受け取る。分割制御モジュール1585は、符号化装置1500によって符号化された画像を出力する復号装置1550(出力符号140を受け取った復号装置1550)における操作、又は、その復号装置1550の性能に応じて、第1データ分割モジュール115又は第2データ分割モジュール120による処理を制御する。具体的には、復号装置1550の操作情報入力モジュール1580で入力されたユーザの操作情報又は復号装置1550の物理的制限に応じて、第1データ分割モジュール115、第2データ分割モジュール120を制御する。例えば、初期状態では復号装置1550の表示解像度で制限をかけておく。操作情報入力モジュール1580からの操作情報1582がピンチインである場合は、解像度上限を変更する。又は操作情報入力モジュール1580からの操作情報1582がフリックである場合は、差分をとる空間的範囲を制限する。
<<第6の実施の形態>>
図16は、第6の実施の形態の構成例についての概念的なモジュール構成図を示している。第5の実施の形態に、DCTモジュール1610、空間分割モジュール1613、逆DCTモジュール1670を付加し、第1データ分割モジュール115を階調分割モジュール1615に、第2データ分割モジュール120を解像度分割モジュール1620に、符号化モジュール135をHuffman符号化モジュール1635に、復号モジュール155をHuffman復号モジュール1655に具体化したものである。
符号化装置1600は、DCTモジュール1610、空間分割モジュール1613、階調分割モジュール1615、解像度分割モジュール1620、差分算出モジュール1625、画像格納モジュール1630、Huffman符号化モジュール1635、分割制御モジュール1685を有している。
DCTモジュール1610は、空間分割モジュール1613と接続されており、入力画像1605を受け付ける。
空間分割モジュール1613は、DCTモジュール1610、階調分割モジュール1615、分割制御モジュール1685と接続されている。
階調分割モジュール1615は、空間分割モジュール1613、解像度分割モジュール1620と接続されている。
解像度分割モジュール1620は、階調分割モジュール1615、差分算出モジュール1625、分割制御モジュール1685と接続されている。
差分算出モジュール1625は、解像度分割モジュール1620、画像格納モジュール1630、Huffman符号化モジュール1635と接続されている。
画像格納モジュール1630は、差分算出モジュール1625と接続されている。
Huffman符号化モジュール1635は、差分算出モジュール1625と接続されており、出力符号1640を出力する。
復号装置1650は、Huffman復号モジュール1655、差分加算モジュール1660、画像格納モジュール1665、逆DCTモジュール1670、操作情報入力モジュール1680を有している。
Huffman復号モジュール1655は、差分加算モジュール1660と接続されており、出力符号1640を受け付ける。
差分加算モジュール1660は、Huffman復号モジュール1655、画像格納モジュール1665、逆DCTモジュール1670と接続されている。
画像格納モジュール1665は、差分加算モジュール1660と接続されている。
逆DCTモジュール1670は、差分加算モジュール1660と接続されており、出力画像1695を出力する。
操作情報入力モジュール1680は、符号化装置1600の分割制御モジュール1685と接続されており、ユーザ操作1677を受け付け、分割制御モジュール1685に操作内容1682を渡す。
初期状態(操作内容1682を未だ受信していない場合)、操作内容1682として、ピンチイン、フリックを操作情報入力モジュール1680から分割制御モジュール1685が受信した場合について説明する。
初期状態では、図16(A1)の例に示す全体画像1641の符号化結果である出力符号1640を送信する。この場合、図16(A2)の例に示すように全体1644A内の低周波領域1645A(白部分)を利用する。これは、復号装置1650側の表示装置の解像度の制限によって解像度分割の上限を制約する。なお、高周波領域1646A(グレイ部分)は0で置換している。
図16(B1)の例に示すように操作内容1682として部分画像1642のピンチインを受信した場合、表示部分の解像度が上がったので差分を送出するように制御する。この場合、差分は図16(B2)の例に示すように高周波領域1646Bとなる。なお、低周波領域1645B(グレイ部分)は0で置換している。そして、表示していない部分は0で置換して符号量を削減する。
図16(C1)の例に示すように操作内容1682として部分画像1642から部分画像1643へのフリックを受信した場合、注目部分が移動したので該当位置の符号を送出するように制御する。この場合、差分は図16(C2)の例に示すように高周波領域1646Cとなる。なお、低周波領域1645C(グレイ部分)は0で置換している。そして、再度フリックして既送出部分に戻った場合は符号の送出は不要である。
図17は、第6の実施の形態(符号化装置1600、復号装置1650)による処理例を示すフローチャートである。
ステップS1700では、処理を開始する。
ステップS1702では、符号化装置1600は、復号装置1650に関する復号端末情報を取得する。
ステップS1704では、符号化装置1600は、解像度上限を設定する。
ステップS1706では、符号化装置1600は、差分情報を符号化する。ステップS1706の詳細な処理例は、図18の例に示すフローチャートを用いて後述する。
ステップS1708では、復号装置1650は、差分情報を復号する。ステップS1708の詳細な処理例は、図19の例に示すフローチャートを用いて後述する。
ステップS1710では、符号化装置1600は、復号装置1650から操作情報を取得する。
ステップS1712では、符号化装置1600は、操作情報に合わせて空間的位置、及び解像度を設定する。
ステップS1714では、符号化装置1600は、必要な情報は転送済みか否かを判断し、転送済みの場合はステップS1710へ戻り、それ以外の場合はステップS1706へ戻る。
図18は、第6の実施の形態(符号化装置1600)による処理例を示すフローチャートである。
ステップS1800では、差分情報符号化処理を開始する。
ステップS1802では、画像をブロックに分割しDCT処理を行う。
ステップS1804では、階調を分割し選択する。
ステップS1806では、解像度を分割し選択する。
ステップS1808では、既出力情報との差分を計算する。
ステップS1810では、Huffman符号化を行う。
ステップS1899では、差分情報符号化処理を終了する。
図18の例に示す処理例では、復号側の操作に合わせてオンデマンドで符号を生成するが、後述する第7の実施の形態のように、予め符号を生成しておいて操作に合わせて生成済みの符号を送出するのでもよい。
図19は、第6の実施の形態(復号装置1650)による処理例を示すフローチャートである。この処理例では、基本的に逐次復号となる。
ステップS1900では、差分情報復号処理を開始する。
ステップS1902では、Huffman復号を行う。
ステップS1904では、既入力情報に復号情報を加算する。
ステップS1906では、逆DCT処理を行う。
ステップS1999では、差分情報復号処理を終了する。
<<第7の実施の形態>>
図20は、第7の実施の形態の構成例についての概念的なモジュール構成図である。
復号装置1550の操作情報入力モジュール1580は、画像格納モジュール165、符号化装置2000の分割制御モジュール2085と接続されており、ユーザ操作1595を受け付け、分割制御モジュール2085へ操作情報1582を渡し、画像格納モジュール165へ端末情報1584を渡す。
符号化装置2000は、第1データ分割モジュール115、第2データ分割モジュール120、差分算出モジュール125、画像格納モジュール130、符号化モジュール135、符号格納モジュール2045、分割制御モジュール2085を有している。
符号格納モジュール2045は、分割制御モジュール2085、符号化モジュール135、復号装置1550の復号モジュール155と接続されており、出力符号140を受け付ける。符号格納モジュール2045は、符号化モジュール135による処理結果である出力符号140を記憶する。
分割制御モジュール2085は、符号格納モジュール2045、復号装置1550の操作情報入力モジュール1580と接続されており、操作情報入力モジュール1580より操作情報1582を受け取る。分割制御モジュール2085は、符号化装置2000によって符号化された画像を出力する復号装置1550(出力符号140を受け取った復号装置1550)における操作、又は、その復号装置1550の性能に応じて、符号格納モジュール2045に記憶された符号を選択する制御を行う。
<<第8の実施の形態>>
図21は、第8の実施の形態の構成例についての概念的なモジュール構成図である。第8の実施の形態は、第7の実施の形態に、DCTモジュール1610、空間分割モジュール1613、逆DCTモジュール1670を付加し、第1データ分割モジュール115を階調分割モジュール1615に、第2データ分割モジュール120を解像度分割モジュール1620に、符号化モジュール135をHuffman符号化モジュール1635に、復号モジュール155をHuffman復号モジュール1655に具体化したものである。
符号化装置2100は、DCTモジュール1610、空間分割モジュール1613、階調分割モジュール1615、解像度分割モジュール1620、差分算出モジュール1625、画像格納モジュール1630、Huffman符号化モジュール1635、分割制御モジュール2085、符号格納モジュール2145を有している。
符号格納モジュール2145は、分割制御モジュール2085、Huffman符号化モジュール1635、復号装置1650のHuffman復号モジュール1655と接続されており、出力符号1640を受け付ける。符号格納モジュール2145は、符号格納モジュール2045と同等の処理を行う。
分割制御モジュール2085は、符号格納モジュール2145、復号装置1650の操作情報入力モジュール1680と接続されており、操作情報入力モジュール1680より操作内容1682を受け取る。分割制御モジュール2085は、符号格納モジュール2145から既分割符号から必要な情報だけを選択する制御を行い、その選択した情報を復号装置1650へ送信する。
図22を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図22に示す構成は、例えばパーソナルコンピュータ(PC)等によって構成されるものであり、スキャナ等のデータ読み取り部2217と、プリンタ等のデータ出力部2218を備えたハードウェア構成例を示している。
CPU(Central Processing Unit)2201は、前述の実施の形態において説明した各種のモジュール、すなわち、第1データ分割モジュール115、第2データ分割モジュール120、差分算出モジュール125、符号化モジュール135、復号モジュール155、差分加算モジュール160、画像変換モジュール610、画像逆変換モジュール670、DCTモジュール710、階調分割モジュール715、解像度分割モジュール720、差分算出モジュール725、Huffman符号化モジュール735、Huffman復号モジュール755、差分加算モジュール760、逆DCTモジュール770、予測モジュール1410、階調分割モジュール1415、解像度分割モジュール1420、差分算出モジュール1425、符号化モジュール1435、復号モジュール1455、差分加算モジュール1460、逆予測モジュール1470、操作情報入力モジュール1580、分割制御モジュール1585、操作情報入力モジュール1680、分割制御モジュール1685、分割制御モジュール2085、符号格納モジュール2045、符号格納モジュール2145等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ROM(Read Only Memory)2202は、CPU2201が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)2203は、CPU2201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバス等から構成されるホストバス2204により相互に接続されている。
ホストバス2204は、ブリッジ2205を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス2206に接続されている。
キーボード2208、マウス等のポインティングデバイス2209は、操作者により操作される入力デバイスである。ディスプレイ2210は、液晶表示装置又はCRT(Cathode Ray Tube)等があり、各種情報をテキストやイメージ情報として表示する。
HDD(Hard Disk Drive)2211は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU2201によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、入力画像105、第2分割画像122、出力符号140、差分画像157、出力画像195等が格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ2212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体2213に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース2207、外部バス2206、ブリッジ2205、及びホストバス2204を介して接続されているRAM2203に供給する。リムーバブル記録媒体2213も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート2214は、外部接続機器2215を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート2214は、インタフェース2207、及び外部バス2206、ブリッジ2205、ホストバス2204等を介してCPU2201等に接続されている。通信部2216は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部2217は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部2218は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図22に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図22に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図22に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)等に組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…符号化装置
115…第1データ分割モジュール
120…第2データ分割モジュール
125…差分算出モジュール
130…画像格納モジュール
135…符号化モジュール
150…復号装置
155…復号モジュール
160…差分加算モジュール
165…画像格納モジュール
210…照合処理装置
220…認識処理装置
230…プレゼンテーション用端末
240…モバイル端末
290…通信回線
600…符号化装置
610…画像変換モジュール
650…復号装置
670…画像逆変換モジュール
700…符号化装置
710…DCTモジュール
715…階調分割モジュール
720…解像度分割モジュール
725…差分算出モジュール
730…画像格納モジュール
735…Huffman符号化モジュール
750…復号装置
755…Huffman復号モジュール
760…差分加算モジュール
765…画像格納モジュール
770…逆DCTモジュール
1400…符号化装置
1410…予測モジュール
1415…階調分割モジュール
1420…解像度分割モジュール
1425…差分算出モジュール
1430…画像格納モジュール
1435…符号化モジュール
1450…復号装置
1455…復号モジュール
1460…差分加算モジュール
1465…画像格納モジュール
1470…逆予測モジュール
1500…符号化装置
1550…復号装置
1580…操作情報入力モジュール
1585…分割制御モジュール
1600…符号化装置
1610…DCTモジュール
1613…空間分割モジュール
1615…階調分割モジュール
1620…解像度分割モジュール
1625…差分算出モジュール
1630…画像格納モジュール
1635…Huffman符号化モジュール
1650…復号装置
1655…Huffman復号モジュール
1660…差分加算モジュール
1665…画像格納モジュール
1670…逆DCTモジュール
1680…操作情報入力モジュール
1685…分割制御モジュール
2000…符号化装置
2045…符号格納モジュール
2085…分割制御モジュール
2100…符号化装置
2145…符号格納モジュール
2185…分割制御モジュール

Claims (7)

  1. 画像を分割する第1の分割手段と、
    前記第1の分割手段によって分割された画像を、該第1の分割手段による分割の軸とは独立した軸によって分割する第2の分割手段と、
    前記第2の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、
    前記差分手段によって生成された差分画像を符号化する符号化手段
    を具備することを特徴とする画像処理装置。
  2. 前記第1の分割手段と前記第2の分割手段による分割の軸として、解像度、階調、画像位置、色成分のいずれかを用い、該第2の分割手段による分割の軸は、該第1の分割手段による軸とは異なる
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記差分手段は、処理結果である差分を前記画像格納手段に格納し、前回の処理結果である差分を前記画像格納手段から取得する
    ことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 画像を変換する変換手段
    をさらに具備し、
    前記第1の分割手段は、前記変換手段によって変換された画像を分割する
    ことを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
  5. 前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記第1の分割手段又は前記第2の分割手段による処理を制御する制御手段
    をさらに具備することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
  6. 前記符号化手段による処理結果である符号を記憶する記憶手段と、
    前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記記憶手段に記憶された符号を選択する制御を行う制御手段
    をさらに具備することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
  7. コンピュータを、
    画像を分割する第1の分割手段と、
    前記第1の分割手段によって分割された画像を、該第1の分割手段による分割の軸とは独立した軸によって分割する第2の分割手段と、
    前記第2の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、
    前記差分手段によって生成された差分画像を符号化する符号化手段
    として機能させるための画像処理プログラム。
JP2014193875A 2014-09-24 2014-09-24 画像処理装置及び画像処理プログラム Expired - Fee Related JP6497014B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014193875A JP6497014B2 (ja) 2014-09-24 2014-09-24 画像処理装置及び画像処理プログラム
US14/606,300 US9723310B2 (en) 2014-09-24 2015-01-27 Image processing device, image processing method, and non-transitory computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014193875A JP6497014B2 (ja) 2014-09-24 2014-09-24 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016066871A true JP2016066871A (ja) 2016-04-28
JP6497014B2 JP6497014B2 (ja) 2019-04-10

Family

ID=55527006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014193875A Expired - Fee Related JP6497014B2 (ja) 2014-09-24 2014-09-24 画像処理装置及び画像処理プログラム

Country Status (2)

Country Link
US (1) US9723310B2 (ja)
JP (1) JP6497014B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438483A (zh) * 2020-03-23 2021-09-24 浙江大学 一种众包的视频编码方法与装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213085A (ja) * 1988-02-22 1989-08-25 Canon Inc 画像符号化伝送方法
US4922340A (en) * 1986-09-25 1990-05-01 Nippon Board Computer Co., Ltd. Method and an apparatus of compressing information content of multilevel digital image data
JPH05268480A (ja) * 1992-03-17 1993-10-15 Toppan Printing Co Ltd 画像検索システム
JPH07154608A (ja) * 1993-12-01 1995-06-16 Canon Inc 画像符号化装置およびその方法
JPH08191397A (ja) * 1995-01-10 1996-07-23 Fuji Xerox Co Ltd 符号化装置
JPH1070725A (ja) * 1996-02-07 1998-03-10 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH10304364A (ja) * 1997-03-07 1998-11-13 Nextlevel Syst Inc インターレースされたデジタルビデオ用のイントラ−マクロブロックのdc及びac係数予測
JP2001128006A (ja) * 1999-10-25 2001-05-11 Oki Electric Ind Co Ltd 多値画像データ処理システム
JP2004201350A (ja) * 2004-03-15 2004-07-15 Toshiba Corp 画像符号化装置および画像復号化装置
US6804403B1 (en) * 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
JP2005295106A (ja) * 2004-03-31 2005-10-20 Secom Co Ltd 符号化信号蓄積配信システム、符号化信号選択転送装置、符号化信号分離送信装置、符号化信号受信合成装置
JP2006186995A (ja) * 1997-02-12 2006-07-13 Mediatek Inc ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法
JP2013537388A (ja) * 2010-09-14 2013-09-30 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
JP2013539610A (ja) * 2010-07-06 2013-10-24 コーニンクレッカ フィリップス エヌ ヴェ 低いダイナミックレンジ画像から高いダイナミックレンジ画像の生成
JP2014168107A (ja) * 2011-06-24 2014-09-11 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3634939A1 (de) * 1986-10-14 1988-04-28 Du Pont Deutschland Verfahren zum aufzeichnen von quasihalbtonbildern
CN100531292C (zh) * 2003-02-20 2009-08-19 株式会社理光 图像处理方法及装置
WO2009150801A1 (ja) * 2008-06-10 2009-12-17 パナソニック株式会社 復号化装置、復号化方法及び受信装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922340A (en) * 1986-09-25 1990-05-01 Nippon Board Computer Co., Ltd. Method and an apparatus of compressing information content of multilevel digital image data
JPH01213085A (ja) * 1988-02-22 1989-08-25 Canon Inc 画像符号化伝送方法
JPH05268480A (ja) * 1992-03-17 1993-10-15 Toppan Printing Co Ltd 画像検索システム
JPH07154608A (ja) * 1993-12-01 1995-06-16 Canon Inc 画像符号化装置およびその方法
JPH08191397A (ja) * 1995-01-10 1996-07-23 Fuji Xerox Co Ltd 符号化装置
JPH1070725A (ja) * 1996-02-07 1998-03-10 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2006186995A (ja) * 1997-02-12 2006-07-13 Mediatek Inc ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法
JPH10304364A (ja) * 1997-03-07 1998-11-13 Nextlevel Syst Inc インターレースされたデジタルビデオ用のイントラ−マクロブロックのdc及びac係数予測
US6804403B1 (en) * 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
JP2001128006A (ja) * 1999-10-25 2001-05-11 Oki Electric Ind Co Ltd 多値画像データ処理システム
JP2004201350A (ja) * 2004-03-15 2004-07-15 Toshiba Corp 画像符号化装置および画像復号化装置
JP2005295106A (ja) * 2004-03-31 2005-10-20 Secom Co Ltd 符号化信号蓄積配信システム、符号化信号選択転送装置、符号化信号分離送信装置、符号化信号受信合成装置
JP2013539610A (ja) * 2010-07-06 2013-10-24 コーニンクレッカ フィリップス エヌ ヴェ 低いダイナミックレンジ画像から高いダイナミックレンジ画像の生成
JP2013537388A (ja) * 2010-09-14 2013-09-30 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
JP2014168107A (ja) * 2011-06-24 2014-09-11 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大久保 榮等, H.265/HEVC教科書, vol. 第1版, JPN6018025334, 21 October 2013 (2013-10-21), ISSN: 0003923822 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438483A (zh) * 2020-03-23 2021-09-24 浙江大学 一种众包的视频编码方法与装置
CN113438483B (zh) * 2020-03-23 2022-05-10 浙江大学 一种众包的视频编码方法与装置

Also Published As

Publication number Publication date
US9723310B2 (en) 2017-08-01
JP6497014B2 (ja) 2019-04-10
US20160088315A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
JP4919743B2 (ja) デジタルイメージでサムネイルを生成する方法及び装置
US8331766B2 (en) Image supply apparatus, image supply system, image supply method, and computer program product
JP2013013085A (ja) 高ビット深度画像の圧縮
JP4112187B2 (ja) 画像処理方法および装置並びにプログラム
JP2004242290A (ja) 画像処理装置および画像処理方法、画像編集処理システム、画像処理プログラム及び記憶媒体
JP6497014B2 (ja) 画像処理装置及び画像処理プログラム
JP2008193263A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および、記録媒体
JP6186429B2 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
JP3869992B2 (ja) 情報処理装置、画像処理装置およびそれらの方法
JP5842357B2 (ja) 画像処理装置及び画像処理プログラム
JP6417815B2 (ja) 情報処理装置及び情報処理プログラム
JP7008425B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US10448037B2 (en) Decoding apparatus and method for discrete wavelet transform with buffer management
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
JP6569242B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
JP2001218208A (ja) 画像復号装置及びその方法
JP6431803B2 (ja) 画像記録装置および画像再生装置ならびにそれらの方法およびそれらのプログラム
JP6377222B2 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
JP6575746B2 (ja) 画像処理装置及び画像処理プログラム、画像形成装置
JP5752323B2 (ja) 表示装置及びコンピュータ
JP2001069508A (ja) 画像蓄積方法、画像蓄積装置及び記録媒体
JP2000013610A (ja) 符号化画像ファイル作成方法および装置、復号化方法および装置、並びに符号化画像ファイル作成方法および復号化方法をコンピュータに実行させるプログラムを記録したコンピュータ読取り可能な記録媒体
JP2016189546A5 (ja)
JP2001251623A (ja) 画像処理装置、表示装置、システム、それらの制御方法及び記憶媒体
JP2016021782A (ja) 画像処理システム及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R150 Certificate of patent or registration of utility model

Ref document number: 6497014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees