JP2004166096A - Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method - Google Patents

Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method Download PDF

Info

Publication number
JP2004166096A
JP2004166096A JP2002331597A JP2002331597A JP2004166096A JP 2004166096 A JP2004166096 A JP 2004166096A JP 2002331597 A JP2002331597 A JP 2002331597A JP 2002331597 A JP2002331597 A JP 2002331597A JP 2004166096 A JP2004166096 A JP 2004166096A
Authority
JP
Japan
Prior art keywords
image
code
range
predetermined range
code string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002331597A
Other languages
Japanese (ja)
Inventor
Minoru Fukuda
実 福田
Shogo Oneda
章吾 大根田
Keiichi Suzuki
啓一 鈴木
Toru Suino
水納  亨
Yukio Kadowaki
幸男 門脇
Yutaka Sano
豊 佐野
Takanori Yano
隆則 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002331597A priority Critical patent/JP2004166096A/en
Publication of JP2004166096A publication Critical patent/JP2004166096A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent such a critical malfunction that an image can not be reproduced at all and to prevent a processing burden from being too large even though a burst mode occurs in which a communication error temporally continues when image data are communicated. <P>SOLUTION: A code sequence converting part 21 converts a code sequence obtained by compressively encoding image data by a JPEG 2000 or Motion JPEG 2000 system into a new code sequence by rearranging a code arrangement in a prescribed range of the code sequence, for example, within a range about an ROI (region of interest) area and by not performing the rearrangement outside the range. The converted code sequence is transmitted through a network. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法に関する。
【0002】
【従来の技術】
特許文献1には、動画像データの通信において、動画像データを受信した際に、欠けているデータフレームの優先度が閾値よりも高ければ、再送する技術について開示されている。
【0003】
【特許文献1】特開2001−274861公報
【発明が解決しようとする課題】
画像データを通信している際に、時間的に連続して通信エラーとなるバーストモードが発生することがある。このようなバーストモードが発生し、画像データが伝達されない場合、特に通信エラーにかかるのが画像データの重要部分であった場合には、その画像を全く利用できなくなってしまう。このような通信エラーが生じたときにはデータの再送等を要求するしかない。
【0004】
そこで、このようなバーストモードに対応するために、画像データのデータの順番を組替えて、危険性を分散させることが考えられる。
【0005】
しかしながら、画像データ全体を組替えるのでは、その組換え処理の負担が大きく、また、送信後に元のデータに戻す処理の負担も過大なものとなってしまうという不具合がある。
【0006】
本発明の目的は、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生しても、画像をまったく再生できないような致命的な不具合を防止し、しかも処理の負担が過大なものとならないようにすることである。
【0007】
【課題を解決するための手段】
請求項1に記載の発明は、ネットワークと接続されている通信インターフェイスと、画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶する記憶装置と、前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、と備えている画像送信装置である。
【0008】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【0009】
請求項2に記載の発明は、ネットワークと接続されている通信インターフェイスと、画像データを圧縮符号化した符号列を記憶している記憶装置と、その所定の範囲については当該範囲内で符号の配列を並べ替え、前記範囲以外については前記並べ替えを行なわないことにより、前記符号列を新たな符号列に変換する符号列変換手段と、前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、を備えている画像送信装置である。
【0010】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【0011】
請求項3に記載の発明は、請求項1又は2に記載の画像送信装置において、前記圧縮符号化の方式はJPEG2000又はMotion JPEG2000である。
【0012】
したがって、JPEG2000又はMotion JPEG2000で圧縮符号化された符号を並べ替えて、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0013】
請求項4に記載の発明は、請求項3に記載の画像送信装置において、前記所定範囲は、ROI(Region Of Interest)領域である。
【0014】
したがって、画像の重要な領域であるROI領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0015】
請求項5に記載の発明は、請求項3に記載の画像送信装置において、前記所定範囲は、前記符号列をその送信側でプログレッシブに再生するときは、プログレッシブオーダに応じて選択する。
【0016】
したがって、プログレッシブオーダに応じた符号列の重要な領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0017】
請求項6に記載の発明は、請求項5に記載の画像送信装置において、前記所定範囲は、前記プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときは、前記符号列の先頭側の一定の範囲である。
【0018】
したがって、プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときに、符号列の重要な領域となる符号列の先頭側の一定の範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0019】
請求項7に記載の発明は、請求項5に記載の画像送信装置において、前記所定範囲は、前記プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データの範囲である。
【0020】
したがって、プログレッシブオーダがコンポーネントプログレッシブであるとき、符号列の重要な領域となる輝度データの範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0021】
請求項8に記載の発明は、画像データを圧縮符号化した符号列を受信する受信手段と、この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換手段と、を備えている画像受信装置である。
【0022】
したがって、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【0023】
請求項9に記載の発明は、請求項1〜7の何れかの一に記載の画像送信装置と、この画像送信装置とネットワークを介して接続され当該画像送信装置が送信する符号列を受信する請求項8に記載の画像受信装置と、を備えているネットワークシステムである。
【0024】
したがって、請求項1〜7の何れかの一に記載の発明及び請求項8に記載の発明と同様の作用、効果を奏することができる。
【0025】
請求項10に記載の発明は、請求項1〜8の何れかの一に記載の発明の前記各手段をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【0026】
したがって、コンピュータ上で動作することにより、請求項1〜8の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【0027】
請求項11に記載の発明は、請求項10に記載のプログラムを記憶している記憶媒体である。
【0028】
したがって、記憶しているプログラムにより請求項10に記載の発明と同様の作用、効果を奏することができる。
【0029】
請求項12に記載の発明は、画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶装置に記憶されているものを、ネットワークと接続されている通信インターフェイス前記ネットワークを介して送信する、画像送信方法である。
【0030】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【0031】
請求項13に記載の発明は、画像データを圧縮符号化した符号列を受信する受信工程と、この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換工程と、を備えている画像受信方法である。
【0032】
したがって、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【0033】
【発明の実施の形態】
[JPEG2000アルゴリズムの概要]
まず、本発明の実施の形態における前提技術となるJPEG2000アルゴリズムの概要について説明する。
【0034】
図1は、JPEG2000アルゴリズムの基本を説明するための説明図である。JPEG2000のアルゴリズムは、色空間変換・逆変換部111、2次元ウェーブレット変換・逆変換部112、量子化・逆量子化部113、エントロピー符号化・復号化部114、タグ処理部115で構成されている。
【0035】
図2に示すように、カラー画像は、一般に、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)121,122,123によって分割される。そして、個々のタイル、例えば、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【0036】
画像データの符号化時には、各コンポーネントの各タイルのデータが、図1の色空間変換・逆変換部111に入力され、色空間変換を施されたのち、2次元ウェーブレット変換・逆変換部112で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
【0037】
図3には、デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0(131))に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1(132)に示すサブ・バンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2(133)に示すサブ・バンド(2LL,2HL,2LH,2HH)を分離する。順次、同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3(134)に示すサブ・バンド(3LL,3HL,3LH,3HH)を分離する。さらに、図3では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、斜線で表してある。例えば、デコンポジション・レベル数を3とした時、斜線で示したサブ・バンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブ・バンドは符号化されない。
【0038】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1の量子化・逆量子化部113で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図5に示すように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。
【0039】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なうことができる。図6には、その手順を簡単に示した。この例は、原画像(32×32画素)を16×16画素のタイル4つで分割した場合で、デコンポジション・レベル1のプレシンクトとコード・ブロックの大きさは、各々8×8画素と4×4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆(5×3)フィルタでウェーブレット変換を行ない、デコンポジションレベル1のウェーブレット係数値を求めている。また、タイル0/プレシンクト3/コード・ブロック3について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。1つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー0,1,2,3は、各々、1,3,1の3つのビットプレーンから成っている。そして、LSBに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、MSBに近いレイヤーは最後まで量子化されずに残ることになる。LSBに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【0040】
エントロピー符号化・復号化部114(図1参照)では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部115は、エントロピコーダ部からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行なう。図4には、コード・ストリームの構造を簡単に示した。図4に示すように、コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【0041】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図1を用いて簡単に説明する。この場合、タグ処理部115は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部113で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部114で、このコンテキストとコード・ストリームから確率推定によって復号化を行ない、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部112で2次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部111によって元の表色系のデータに変換される。
【0042】
[発明の実施の形態]
本発明の一実施の形態について説明する。
【0043】
図7は、本実施の形態1のネットワークシステム10を示すブロック図である。図7に示すように、本ネットワークシステム10は、動画の画像データをMotion JPEG2000等のアルゴリズムで圧縮符号化した符号列をインターネットなどのネットワーク3を介して送信するサーバ1と、このサーバ1から符号列を受信するクライアント2からなる。
【0044】
図8は、サーバ1、クライアント2の電気的な接続を示すブロック図である。図8に示すように、サーバ1、クライアント2は、それぞれ本発明の画像送信装置、画像受信装置を実施するもので、各種演算を行ないサーバ1(またはクライアント2)の各部を集中的に制御するCPU11と、各種のROMやRAMからなるメモリ12とが、バス13で接続されている。
【0045】
バス13には、所定のインターフェイスを介して、記憶装置となるハードディスクなどの磁気記憶装置14と、マウスやキーボードなどで構成される入力装置15と、LCDやCRTなどの表示装置16と、光ディスクなどの本発明の記憶媒体を実施する記憶媒体17を読取る記憶媒体読取装置18と、ネットワーク3と通信を行なう通信装置となる所定の通信インターフェイス19とが接続されている。なお、記憶媒体17としては、CDやDVDなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置18は、具体的には記憶媒体17の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【0046】
磁気記憶装置14には、本発明のプログラムを実施する画像送信プログラム(または画像受信プログラム)が記憶されている。一般的には、この画像送信プログラム(または画像受信プログラム)は、このプログラムを記憶している記憶媒体17から記憶媒体読取装置18により読取ることでサーバ1(またはクライアント2)にインストールするが、ネットワーク3からダウンロードするなどして、磁気記憶装置14にインストールしたものである。このインストールによりサーバ1、クライアント2は動作可能な状態となる。この画像送信プログラム、画像受信プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のOS上で動作するものであってもよい。
【0047】
次に、サーバ1が画像送信プログラムに基づいて行なう処理について説明する。図9は、かかる処理のフローチャートである。図9に示すように、サーバ1は、画像送信プログラムにより、クライアント2から画像の送信の要求を受付けたときは(ステップS1のY)、磁気記憶装置14に記憶されている符号列を後述のように並べ替えた別の符号列に変換し(符号列変換手段)(ステップS2)、この並べ替え後の符号列をクライアント2に送信する(送信手段)(ステップS3)。また、ステップS2の処理を省略し、予め並べ替えてある符号列をそのままクライアント2に送信するようにしてもよい。
【0048】
磁気記憶装置14に記憶されている符号列は、動画や静止画の画像データを、例えば、JPEG2000アルゴリズム、あるいは、Motion JPEG2000アルゴリズムに従って圧縮符号化した符号列である(以下では、このような圧縮方式を前提として説明する)。
【0049】
図10は、ステップS2の符号列の並べ替えにかかる機能ブロック図である。すなわち、サーバ1は、画像送信プログラムに基づくCPU11の処理、あるいは、所定の符号列変換回路が実行する処理により、符号列変換部21を実現している。この符号列変換部21は、画像読込部22、ヘッダ・符号データ分割処理部23、ヘッダ処理部24、符号データ合成部25及び並替指定部26からなる。
【0050】
まず、画像読込部22は、磁気記憶装置14に記憶されている符号列aを読み込む。並替指定部26は、この符号列aのどの部分を並べ替えるが、どのように並べ替えるかを指定する。すなわち、この指定は、符号列aの所定の範囲内の符号を並べ替えの対象とし、その範囲内で符号を所定の手順で並べ替える(これらの詳細については後述する)。画像読込部22で読み込まれた符号列aは、ヘッダ・符号データ分割処理部23で、ヘッダ部分と、符号部分とに分割される。そして、ヘッダ処理部24で、前述の並べ替えがなされるように新たなタイルパートヘッダなどのヘッダ情報が生成される。そして、符号データ合成部25が符号部分を並べ替えて、これに新たに生成されたヘッダ情報と合成し、符号の並べ替え後の新たな符号列bを生成して出力する。この符号列bがステップS3でクライアント2に送信されることになる。なお、符号列bのヘッダ情報には、符号列aのどの範囲をどのように並べ替えたかの情報を記録しておくことができる。
【0051】
符号列変換部21で行なう符号列aの並べ替えは、符号列aのヘッダ情報から符号列aの所定範囲のデータの範囲を判断し、その範囲内で符号を並べ替えるものである。
【0052】
この場合の所定範囲とは、符号列aの中の重要部分である。具体的には、まず、通常画像の中央部にあるROI(Region Of Interest)領域に該当するタイルが考えられる(その範囲はヘッダ情報から明らかになる)。
【0053】
また、符号列bをクライアント2側でプログレッシブに再生するときは、プログレッシブオーダに応じて所定範囲を選択することもできる。具体的には、プログレッシブオーダが画像又は解像度プログレッシブであるときは、符号列aの先頭側に重要なデータが含まれるため、この符号列aの先頭側の所定範囲とすることができる。また、プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データが重要となるため、輝度データの範囲のみを所定範囲とすることができる(これらの範囲もヘッダ情報から明らかになる)。
【0054】
次に、前記のような所定範囲内で符号をどのように並べ替えるかについて具体例を示す。図11は、この符号列bの所定範囲内の符号の並びを概念的に示した説明図である。図11において、符号31で示す“○”はそれぞれが単一の符号である。符号列b中で符号の並ぶ順序は、図11に矢印で示すように左から右である。そして、図11の例では符号32〜35の4列の符号列が示されているが、これは上の符号列ほど先頭に位置している。本実施の形態のような並べ替えを行なわないで符号列bを直接送信するときは、この符号の順番どおりに送信される。すなわち1番上の列32の符号列から右方向に各符号31が順番に選択されて送信される。
【0055】
これに対して、本実施の形態では、例えば、1番上の列32の先頭の符号31を選び、次に第2列33の第2番目の符号31を選び、次に第3列34の第3番目の符号31を選び、…というように順次符号を選択する(矢印41)。符号データ群の最後の列35まで処理すると、最初の列32に戻り、最初から4番目の符号31を選ぶ。次に第2列33の第5番目の符号31を選び、次に第3列34の第6番目の符号31を選び、…というように順次選んで行く(矢印42)。
【0056】
このように、符号31を二つとばしで各列32〜35の各符号を選択したら、今度は、1番上の列32の2番目の符号31を選び、次に第2列33の第3番目の符号31を選び、次に第4列34の第3番目の符号31を選び、…というように順次符号を選択していく。次に、1番上の列32の3番目の符号31を選び、次に第2列33の第4番目の符号31を選び、次に第5列34の第3番目の符号31を選び、…というように順次符号を選択していく。このような処理を実行すれば、一定のルールに従って所定範囲内の符号31を並べ替えることができる。もちろん、この並べ替えの手順は一例であり、これ以外にも様々な手順で符号31を並べえ変えることができる。この並べ替えにより、符号列bは、その所定範囲においては、本来のJPEG2000、Motion JPEG2000の規格に従った並びとは異なる配列で符号が並んでいて、その所定範囲以外は本来のJPEG2000、あるいは、Motion JPEG2000の規格に従った並びで符号が並んでいる。よって、符号列bにおいて、所定範囲内の符号については元の並びに戻さないと、画像データを伸張することができない。
【0057】
図12は、符号列bを受信するクライアント2が行なう処理のフローチャートである。図12に示すように、クライアント2では、所定範囲内で符号を並べ替えた符号列bを受信すると(受信手段、受信工程)(ステップS11のY)、受信した符号列bの所定範囲内の符号については、符号の並びを元に戻す処理を行なう(変換手段、変換工程)(ステップS12)。そして、その符号の並びを元通りとした符号列(符号列a)については、磁気記憶装置14に保存する(ステップS13)。よって、この符号列aの画像を利用したいときは、磁気記憶装置14から呼び出して伸張すればよい。
【0058】
ステップS12の処理には、サーバ1で用いたのと同様の符号列変換部21(図10参照)を用いることができる。すなわち、画像読込部22は、磁気記憶装置14に記憶されている符号列bを読み込む。並替指定部26は、この符号列bのどの部分を並べ替えるか、どのように並べ替えるかを指定する。すなわち、符号列bにおいて符号が並べ替えられている所定範囲は、ヘッダ情報から読取ってもよいし、クライアント2、サーバ1間で所定範囲が一義的に定まっているときは、ヘッダ情報によらずに所定範囲を判断することができる。その所定範囲において符号をどのように並べ替えて元に戻すかも、サーバ1で行われた並べ替えの手順をヘッダ情報から読取ってもよいし、クライアント2、サーバ1間で所定範囲が一義的に定まっているときは(例えば、図11を参照して説明したようなアルゴリズムで並べ替えるということが一義的に定まっているような場合)、ヘッダ情報によらずに判断することができる。
【0059】
画像読込部22で読み込まれた符号列bは、ヘッダ・符号データ分割処理部23で、ヘッダ部分と、符号部分とに分割される。そして、ヘッダ処理部24で、前述の並べ替えがなされるように新たなタイルパートヘッダなどのヘッダ情報が生成される。そして、符号データ合成部25が符号部分を並べ替えて、これに新たに生成されたヘッダ情報と合成し、符号の並べ替え後の新たな符号列、すなわち元の符号列aを生成して出力する。
【0060】
【発明の効果】
請求項1,2,12に記載の発明は、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【0061】
請求項3に記載の発明は、請求項1又は2に記載の発明において、JPEG2000又はMotion JPEG2000で圧縮符号化された符号を並べ替えて、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0062】
請求項4に記載の発明は、請求項3に記載の発明において、画像の重要な領域であるROI領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0063】
請求項5に記載の発明は、請求項3に記載の発明において、プログレッシブオーダに応じた符号列の重要な領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0064】
請求項6に記載の発明は、請求項5に記載の発明において、プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときに、符号列の重要な領域となる符号列の先頭側の一定の範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0065】
請求項7に記載の発明は、請求項5に記載の発明において、プログレッシブオーダがコンポーネントプログレッシブであるとき、符号列の重要な領域となる輝度データの範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【0066】
請求項8,13に記載の発明は、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【0067】
請求項9に記載の発明は、請求項1〜7の何れかの一に記載の発明及び請求項8に記載の発明と同様の作用、効果を奏することができる。
【0068】
請求項10に記載の発明は、コンピュータ上で動作することにより、請求項1〜8の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【0069】
請求項11に記載の発明は、記憶しているプログラムにより請求項10に記載の発明と同様の作用、効果を奏することができる。
【図面の簡単な説明】
【図1】JPEG2000アルゴリズムの基本を説明するための説明図である。
【図2】カラー画像の各コンポーネントについて説明するための説明図である。
【図3】デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す説明図である。
【図4】コード・ストリームの構造の説明図である。
【図5】一つのプレシンクトが空間的に一致した3つの矩形領域からなっていることの説明図である。
【図6】係数値をビットプレーン単位に分解し、画素あるいはコード・ブロック毎にビットプレーンに順位付けを行なうことの説明図である。
【図7】本発明の実施の形態におけるネットワークシステムの概略構成のブロック図である。
【図8】サーバ、クライアントの電気的な接続のブロック図である。
【図9】サーバが行なう処理のフローチャートである。
【図10】サーバ、クライアントの機能ブロック図である。
【図11】符号の並べ替えの一例を示す説明図である。
【図12】クライアントが行なう処理のフローチャートである。
【符号の説明】
a,b 符号列
1 画像送信装置
2 画像受信装置
3 ネットワーク
14 記憶装置
17 記憶媒体
10 ネットワークシステム
31 符号
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image transmission device, an image reception device, a network system, a program, a storage medium, an image transmission method, and an image reception method.
[0002]
[Prior art]
Patent Literature 1 discloses a technique of retransmitting, when receiving moving image data, if the priority of a missing data frame is higher than a threshold in communication of moving image data.
[0003]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2001-274861 [Problems to be Solved by the Invention]
During communication of image data, a burst mode in which a communication error occurs continuously in time may occur. When such a burst mode occurs and the image data is not transmitted, especially when a communication error is an important part of the image data, the image cannot be used at all. When such a communication error occurs, the only option is to request data retransmission.
[0004]
In order to cope with such a burst mode, it is conceivable to rearrange the danger by rearranging the order of the image data.
[0005]
However, recombining the entire image data has a disadvantage that the load of the recombining process is large, and the load of the process of returning to the original data after transmission is too large.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to prevent a catastrophic failure such that an image cannot be reproduced at all even when a burst mode in which a communication error occurs continuously in time while communicating image data is performed, and furthermore, processing is performed. Is not to be overly burdensome.
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is a communication interface connected to a network and a code string obtained by compression-encoding image data, and a predetermined range is different from the compression-coding standard within the range. A storage device that is arranged in a sequence of codes, and stores a sequence other than the range, arranged in the sequence of the standard, and a transmission unit that transmits the code sequence via the network by the communication interface. And an image transmitting apparatus.
[0008]
Therefore, even when a burst mode in which a communication error occurs consecutively in time during communication of image data occurs and continuous image data is not transmitted, a predetermined range of the code of the original image is obtained. Since the important part of is transmitted in a distributed manner, it is possible to use a partial code that is received without causing a communication error, and it is possible to prevent a fatal problem that an image cannot be reproduced at all. . Moreover, since the code rearrangement is performed only in a predetermined range of the code string, the load of the code rearrangement processing does not become excessive.
[0009]
According to a second aspect of the present invention, there is provided a communication interface connected to a network, a storage device for storing a code sequence obtained by compressing and encoding image data, and an arrangement of codes within a predetermined range of the storage device. And a code string conversion means for converting the code string into a new code string by not performing the rearrangement except for the range, and transmitting the code string via the network by the communication interface. An image transmitting apparatus comprising: a transmitting unit.
[0010]
Therefore, even when a burst mode in which a communication error occurs consecutively in time during communication of image data occurs and continuous image data is not transmitted, a predetermined range of the code of the original image is obtained. Since the important part of is transmitted in a distributed manner, it is possible to use a partial code that is received without causing a communication error, and it is possible to prevent a fatal problem that an image cannot be reproduced at all. . Moreover, since the code rearrangement is performed only in a predetermined range of the code string, the load of the code rearrangement processing does not become excessive.
[0011]
According to a third aspect of the present invention, in the image transmission device according to the first or second aspect, the compression encoding method is JPEG2000 or Motion JPEG2000.
[0012]
Therefore, it is possible to rearrange codes that are compression-encoded by JPEG2000 or Motion JPEG2000, thereby preventing a fatal problem that an image cannot be reproduced at all without increasing the load of the code rearrangement process.
[0013]
According to a fourth aspect of the present invention, in the image transmission device according to the third aspect, the predetermined range is a region of interest (ROI) region.
[0014]
Therefore, the ROI area, which is an important area of the image, is transmitted in a distributed manner, and a fatal problem that the image cannot be reproduced at all can be prevented without increasing the load of the code rearrangement process.
[0015]
According to a fifth aspect of the present invention, in the image transmitting apparatus according to the third aspect, when the code string is progressively reproduced on the transmitting side, the predetermined range is selected according to a progressive order.
[0016]
Therefore, the important area of the code string according to the progressive order is transmitted in a distributed manner, and a fatal problem that an image cannot be reproduced at all can be prevented without excessively burdening the code rearrangement processing. it can.
[0017]
The invention according to claim 6 is the image transmission device according to claim 5, wherein the predetermined range is a certain range at the head of the code string when the progressive order is image progressive or resolution progressive. is there.
[0018]
Therefore, when the progressive order is image progressive or resolution progressive, a certain range at the head of the code string, which is an important area of the code string, is distributed and transmitted, and the load of code rearrangement processing becomes excessive. Thus, it is possible to prevent a catastrophic failure such that an image cannot be reproduced at all.
[0019]
The invention according to claim 7 is the image transmission device according to claim 5, wherein the predetermined range is a range of luminance data when the progressive order is a component progressive.
[0020]
Therefore, when the progressive order is the component progressive, the range of the luminance data, which is an important area of the code string, is transmitted in a distributed manner, so that the load of the code rearrangement processing is not excessive, and the image cannot be reproduced at all. Fatal inconvenience can be prevented.
[0021]
According to an eighth aspect of the present invention, there is provided a receiving means for receiving a code sequence obtained by compressing and encoding image data, and the received code sequence is different from the standard of the compression encoding within a predetermined range within the predetermined range. And a conversion means for rearranging the codes and converting the codes to the original code sequence when the codes are rearranged in an array of codes, and the ranges other than the range are arranged in an array of the standard. Device.
[0022]
Therefore, it is possible to reproduce the image by rearranging the received code string into the original code string.
[0023]
According to a ninth aspect of the present invention, there is provided the image transmitting apparatus according to any one of the first to seventh aspects, wherein the image transmitting apparatus is connected to the image transmitting apparatus via a network and receives a code string transmitted by the image transmitting apparatus. A network system comprising: the image receiving device according to claim 8.
[0024]
Therefore, the same operation and effect as the invention described in any one of claims 1 to 7 and the invention described in claim 8 can be obtained.
[0025]
According to a tenth aspect of the present invention, there is provided a computer-readable program that causes a computer to execute each of the means according to the first aspect of the present invention.
[0026]
Therefore, by operating on a computer, the same operation and effect as the invention according to any one of claims 1 to 8 can be obtained.
[0027]
The invention according to claim 11 is a storage medium storing the program according to claim 10.
[0028]
Therefore, the same operation and effect as those of the tenth aspect can be obtained by the stored program.
[0029]
The invention according to claim 12 is a code string obtained by compression-encoding image data, and a predetermined range is rearranged within the range into an array of codes different from the compression encoding standard, An image transmission method for transmitting an arrangement other than the range arranged in the standard array in a storage device via a communication interface connected to the network through the network.
[0030]
Therefore, even when a burst mode in which a communication error occurs consecutively in time during communication of image data occurs and continuous image data is not transmitted, a predetermined range of the code of the original image is obtained. Since the important part of is transmitted in a distributed manner, it is possible to use a partial code that is received without causing a communication error, and it is possible to prevent a fatal problem that an image cannot be reproduced at all. . Moreover, since the code rearrangement is performed only in a predetermined range of the code string, the load of the code rearrangement processing does not become excessive.
[0031]
According to a thirteenth aspect of the present invention, a receiving step of receiving a code sequence obtained by compressing and encoding image data, and the received code sequence is different from the standard of the compression encoding within a predetermined range within the predetermined range. And a conversion step of rearranging the codes and converting the codes into the original code sequence when the codes are rearranged in an array of codes and other than the range are arranged in an array of the standard. Is the way.
[0032]
Therefore, it is possible to reproduce the image by rearranging the received code string into the original code string.
[0033]
BEST MODE FOR CARRYING OUT THE INVENTION
[Overview of JPEG2000 algorithm]
First, an outline of a JPEG2000 algorithm which is a prerequisite technique in an embodiment of the present invention will be described.
[0034]
FIG. 1 is an explanatory diagram for explaining the basics of the JPEG2000 algorithm. The JPEG2000 algorithm includes a color space conversion / inverse conversion unit 111, a two-dimensional wavelet conversion / inverse conversion unit 112, a quantization / inverse quantization unit 113, an entropy encoding / decoding unit 114, and a tag processing unit 115. I have.
[0035]
As shown in FIG. 2, in the color image, generally, each component (here, RGB primary color system) of the original image is divided by rectangular regions (tiles) 121, 122, and 123. Each of the tiles, for example, R00, R01, ..., R15 / G00, G01, ..., G15 / B00, B01, ..., B15 is a basic unit when executing the compression / decompression process. Therefore, the compression / expansion operation is performed independently for each component and for each tile.
[0036]
When encoding the image data, the data of each tile of each component is input to the color space conversion / inverse conversion unit 111 of FIG. 1 and subjected to color space conversion. A two-dimensional wavelet transform (forward transform) is applied to perform spatial division into frequency bands.
[0037]
FIG. 3 shows subbands at each decomposition level when the number of decomposition levels is three. That is, a two-dimensional wavelet transform is performed on the tile original image (0LL) (decomposition level 0 (131)) obtained by the tile division of the original image, and the sub-level shown in the decomposition level 1 (132) Separate the bands (1LL, 1HL, 1LH, 1HH). Subsequently, two-dimensional wavelet transform is performed on the low-frequency component 1LL in this layer to separate the sub-bands (2LL, 2HL, 2LH, 2HH) indicated by the decomposition level 2 (133). Similarly, two-dimensional wavelet transform is similarly performed on the low-frequency component 2LL to separate the sub-bands (3LL, 3HL, 3LH, 3HH) indicated by the decomposition level 3 (134). Further, in FIG. 3, the sub-bands to be encoded at each decomposition level are indicated by oblique lines. For example, when the number of decomposition levels is 3, the sub-bands (3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, 1HH) indicated by oblique lines are to be encoded, and the 3LL sub-band is Not encoded.
[0038]
Next, bits to be encoded are determined in the specified encoding order, and the quantization / inverse quantization unit 113 in FIG. 1 generates a context from bits around the target bit. The wavelet coefficients after the quantization process are divided into non-overlapping rectangles called “precincts” for each subband. This was introduced to make efficient use of memory in the implementation. As shown in FIG. 5, one precinct is formed of three spatially coincident rectangular areas. Further, each precinct is divided into non-overlapping rectangular "code blocks". This is a basic unit when performing entropy coding.
[0039]
The coefficient value after wavelet transform can be quantized and encoded as it is. However, in JPEG2000, in order to increase the encoding efficiency, the coefficient value is decomposed into “bit plane” units, and each pixel or code block is decomposed. "Bit planes" can be ranked. FIG. 6 briefly shows the procedure. In this example, the original image (32 × 32 pixels) is divided by four tiles of 16 × 16 pixels, and the size of the precinct and the code block at the decomposition level 1 are 8 × 8 pixels and 4 pixels, respectively. × 4 pixels. Precincts and code blocks are numbered in raster order. The pixel expansion outside the tile boundary is performed using a mirroring method, and a wavelet transform is performed by a reversible (5 × 3) filter to obtain a wavelet coefficient value of decomposition level 1. In addition, a conceptual diagram of a representative “layer” for tile 0 / precinct 3 / code block 3 is also shown. The layer structure is easy to understand when the wavelet coefficient values are viewed from the horizontal direction (bit plane direction). One layer is composed of an arbitrary number of bit planes. In this example, layers 0, 1, 2, and 3 are each composed of three bit planes of 1, 3, and 1. Then, a layer including a bit plane closer to the LSB is subject to quantization first, and conversely, a layer closer to the MSB remains without being quantized to the end. A method of discarding from a layer close to the LSB is called truncation, and it is possible to finely control the quantization rate.
[0040]
The entropy encoding / decoding unit 114 (see FIG. 1) encodes each component tile by probability estimation from the context and the target bit. In this way, the encoding process is performed for all the components of the original image in tile units. Finally, the tag processing unit 115 combines all encoded data from the entropy coder unit into one code stream, and performs a process of adding a tag to the code stream. FIG. 4 briefly shows the structure of the code stream. As shown in FIG. 4, tag information called a header is added to the head of the code stream and the head of the partial tiles constituting each tile, followed by the encoded data of each tile. Then, the tag is placed again at the end of the code stream.
[0041]
On the other hand, at the time of decoding, image data is generated from the code stream of each tile of each component, contrary to the encoding. This will be briefly described with reference to FIG. In this case, the tag processing unit 115 interprets the tag information added to the code stream input from the outside, decomposes the code stream into a code stream of each tile of each component, and Decoding processing is performed for each code stream. The position of the bit to be decoded is determined in the order based on the tag information in the code stream, and the quantization / dequantization unit 113 sets the peripheral bits of the target bit position (decoding has already been completed). ) Generates a context. The entropy coding / decoding unit 114 performs decoding by probability estimation from the context and the code stream, generates a target bit, and writes it to the position of the target bit. Since the data decoded in this way is spatially divided for each frequency band, the two-dimensional wavelet transform / inverse transform unit 112 performs an inverse two-dimensional wavelet transform on each of the components, thereby obtaining each component of the image data. The tile is restored. The restored data is converted by the color space conversion / inverse conversion unit 111 into the original color system data.
[0042]
[Embodiment of the invention]
An embodiment of the present invention will be described.
[0043]
FIG. 7 is a block diagram illustrating the network system 10 according to the first embodiment. As shown in FIG. 7, the network system 10 includes a server 1 that transmits a code string obtained by compressing and encoding moving image data using an algorithm such as Motion JPEG2000 via a network 3 such as the Internet, and a code from the server 1. It consists of a client 2 receiving the queue.
[0044]
FIG. 8 is a block diagram showing an electrical connection between the server 1 and the client 2. As shown in FIG. 8, the server 1 and the client 2 implement the image transmitting apparatus and the image receiving apparatus of the present invention, respectively, and perform various operations to centrally control each unit of the server 1 (or the client 2). A CPU 11 and a memory 12 including various ROMs and RAMs are connected by a bus 13.
[0045]
The bus 13 is provided with a magnetic storage device 14 such as a hard disk serving as a storage device, an input device 15 including a mouse and a keyboard, a display device 16 such as an LCD and a CRT, an optical disk A storage medium reading device 18 that reads a storage medium 17 that implements the storage medium of the present invention, and a predetermined communication interface 19 that is a communication device that communicates with the network 3 are connected. As the storage medium 17, various types of media such as optical disks such as CDs and DVDs, magneto-optical disks, and flexible disks can be used. Further, as the storage medium reading device 18, specifically, an optical disk drive, a magneto-optical disk drive, a flexible disk drive, or the like is used according to the type of the storage medium 17.
[0046]
The magnetic storage device 14 stores an image transmission program (or an image reception program) for executing the program of the present invention. Generally, the image transmission program (or the image reception program) is installed on the server 1 (or the client 2) by reading from the storage medium 17 storing the program by the storage medium reading device 18, 3 and installed in the magnetic storage device 14, for example, by downloading it from With this installation, the server 1 and the client 2 become operable. The image transmission program and the image reception program may be a part of specific application software. Further, it may operate on a predetermined OS.
[0047]
Next, processing performed by the server 1 based on the image transmission program will be described. FIG. 9 is a flowchart of such processing. As shown in FIG. 9, when the server 1 receives an image transmission request from the client 2 by the image transmission program (Y in step S1), the server 1 converts the code string stored in the magnetic storage device 14 into a file to be described later. The code sequence is converted into another code sequence rearranged as described above (code sequence conversion unit) (step S2), and the rearranged code sequence is transmitted to the client 2 (transmission unit) (step S3). Alternatively, the process of step S2 may be omitted, and the pre-arranged code string may be transmitted to the client 2 as it is.
[0048]
The code string stored in the magnetic storage device 14 is a code string obtained by compression-coding image data of a moving image or a still image in accordance with, for example, the JPEG2000 algorithm or the Motion JPEG2000 algorithm (hereinafter, such a compression method is used). It is explained on the assumption of).
[0049]
FIG. 10 is a functional block diagram relating to the rearrangement of the code string in step S2. That is, the server 1 realizes the code string conversion unit 21 by the processing of the CPU 11 based on the image transmission program or the processing executed by a predetermined code string conversion circuit. The code string conversion unit 21 includes an image reading unit 22, a header / code data division processing unit 23, a header processing unit 24, a code data synthesis unit 25, and a rearrangement designation unit 26.
[0050]
First, the image reading unit 22 reads the code string a stored in the magnetic storage device 14. The rearrangement specifying unit 26 specifies which part of the code string a is to be rearranged, and specifies how to rearrange. That is, in this designation, codes within a predetermined range of the code string a are to be rearranged, and the codes are rearranged within the range by a predetermined procedure (the details thereof will be described later). The code string a read by the image reading unit 22 is divided into a header part and a code part by a header / code data division processing unit 23. Then, the header processing unit 24 generates header information such as a new tile part header so that the above-described rearrangement is performed. Then, the code data synthesizing unit 25 rearranges the code part, synthesizes the code part with the newly generated header information, and generates and outputs a new code string b after the code rearrangement. This code string b is transmitted to the client 2 in step S3. In the header information of the code string b, information on which range of the code string a is rearranged and how can be recorded.
[0051]
The rearrangement of the code string a performed by the code string conversion unit 21 is to determine a predetermined range of data of the code string a from the header information of the code string a and rearrange the codes within the range.
[0052]
The predetermined range in this case is an important part in the code string a. Specifically, first, a tile corresponding to a ROI (Region Of Interest) region at the center of the normal image is considered (the range is clear from the header information).
[0053]
When the code string b is progressively reproduced on the client 2 side, a predetermined range can be selected according to the progressive order. Specifically, when the progressive order is an image or a resolution progressive, since important data is included at the head of the code string a, the predetermined range at the head of the code string a can be set. Further, when the progressive order is component progressive, since the luminance data is important, only the range of the luminance data can be set to a predetermined range (these ranges are also apparent from the header information).
[0054]
Next, a specific example of how to rearrange codes within the above-described predetermined range will be described. FIG. 11 is an explanatory diagram conceptually showing an arrangement of codes within a predetermined range of the code string b. In FIG. 11, “O” indicated by reference numeral 31 is a single reference. The order in which the codes are arranged in the code string b is from left to right as indicated by the arrow in FIG. In addition, in the example of FIG. 11, four code strings 32 to 35 are shown, but the upper code string is located at the top. When the code string b is directly transmitted without rearrangement as in the present embodiment, the transmission is performed in the order of the codes. That is, each code 31 is sequentially selected and transmitted rightward from the code string in the top row 32.
[0055]
On the other hand, in the present embodiment, for example, the leading code 31 of the top column 32 is selected, the second code 31 of the second column 33 is selected, and then the third code 34 of the third column 34 is selected. A third code 31 is selected, and codes are sequentially selected, such as... (Arrow 41). When the processing is performed up to the last column 35 of the code data group, the process returns to the first column 32, and the fourth code 31 from the beginning is selected. Next, the fifth code 31 in the second column 33 is selected, then the sixth code 31 in the third column 34 is selected, and so on (arrow 42).
[0056]
As described above, when the codes 31 in the columns 32 to 35 are selected by skipping the two codes 31, the second code 31 in the uppermost column 32 is selected, and then the third code 31 in the second column 33 is selected. The third code 31 is selected, then the third code 31 in the fourth column 34 is selected, and so on. Next, the third code 31 in the top column 32 is selected, the fourth code 31 in the second column 33 is selected, and then the third code 31 in the fifth column 34 is selected. .. Are sequentially selected. By executing such processing, the codes 31 within a predetermined range can be rearranged according to a certain rule. Of course, this rearrangement procedure is an example, and the code 31 can be rearranged and changed in various other procedures. As a result of this rearrangement, the code string b has, in a predetermined range, codes arranged in an arrangement different from the original JPEG2000 and Motion JPEG2000 standards, and other than the predetermined range, the original JPEG2000 or The codes are arranged in an arrangement according to the Motion JPEG2000 standard. Therefore, in the code string b, the image data cannot be expanded unless the codes within the predetermined range are returned to the original order.
[0057]
FIG. 12 is a flowchart of a process performed by the client 2 that receives the code string b. As shown in FIG. 12, when the client 2 receives the code string b in which the codes are rearranged within the predetermined range (receiving means, receiving step) (Y in step S11), the client 2 receives the code string b within the predetermined range. For the codes, a process of restoring the arrangement of the codes is performed (conversion means, conversion step) (step S12). Then, the code string (code string a) in which the arrangement of the codes is restored is stored in the magnetic storage device 14 (step S13). Therefore, when it is desired to use the image of the code string a, the image may be called from the magnetic storage device 14 and expanded.
[0058]
For the processing in step S12, the same code string conversion unit 21 (see FIG. 10) as used in the server 1 can be used. That is, the image reading unit 22 reads the code string b stored in the magnetic storage device 14. The rearrangement specifying unit 26 specifies which part of the code string b is rearranged and how the rearrangement is performed. That is, the predetermined range in which the codes are rearranged in the code string b may be read from the header information, or when the predetermined range is uniquely determined between the client 2 and the server 1, regardless of the header information. The predetermined range can be determined. How the codes are rearranged and restored in the predetermined range may be read from the header information on the rearrangement procedure performed in the server 1, or the predetermined range may be uniquely defined between the client 2 and the server 1. When it is determined (for example, when it is uniquely determined that rearrangement is performed by the algorithm described with reference to FIG. 11), the determination can be made without using the header information.
[0059]
The code string b read by the image reading unit 22 is divided into a header part and a code part by a header / code data division processing unit 23. Then, the header processing unit 24 generates header information such as a new tile part header so that the above-described rearrangement is performed. Then, the code data synthesizing unit 25 rearranges the code part, synthesizes it with the newly generated header information, and generates and outputs a new code sequence after code rearrangement, that is, the original code sequence a. I do.
[0060]
【The invention's effect】
The invention according to claims 1, 2 and 12 is a case where a burst mode in which a communication error occurs continuously in time during communication of image data occurs and continuous image data is not transmitted. Also, since an important part of a predetermined range of the code of the original image is distributed and transmitted, it is possible to use the partial code received without causing a communication error, so that the image cannot be reproduced at all. Fatal inconvenience can be prevented. Moreover, since the code rearrangement is performed only in a predetermined range of the code string, the load of the code rearrangement processing does not become excessive.
[0061]
According to a third aspect of the present invention, in the first or the second aspect of the present invention, the codes compressed and encoded by JPEG2000 or Motion JPEG2000 are rearranged, so that the load of the code rearrangement process is not excessively increased. It is possible to prevent a catastrophic failure such that an image cannot be reproduced at all.
[0062]
According to a fourth aspect of the present invention, in the third aspect of the present invention, the ROI area, which is an important area of the image, is transmitted in a distributed manner, so that the load of the code rearrangement processing is not excessively increased. It is possible to prevent a catastrophic failure that cannot be reproduced at all.
[0063]
According to a fifth aspect of the present invention, in the third aspect of the present invention, an important area of a code sequence according to a progressive order is distributed and transmitted, and a load of code rearrangement processing is not excessively increased. It is possible to prevent a catastrophic failure such that an image cannot be reproduced at all.
[0064]
According to a sixth aspect of the present invention, in the invention of the fifth aspect, when the progressive order is an image progressive or a resolution progressive, a certain range on the leading side of the code string which is an important area of the code string is distributed. It is possible to prevent a fatal inconvenience that an image cannot be reproduced at all without increasing the load of the code rearrangement process.
[0065]
According to a seventh aspect of the present invention, in the fifth aspect of the invention, when the progressive order is a component progressive, a range of luminance data which is an important area of a code string is transmitted in a distributed manner, and codes are rearranged. It is possible to prevent a catastrophic failure such that an image cannot be reproduced at all without excessive processing load.
[0066]
According to the eighth and thirteenth aspects, an image can be reproduced by rearranging a received code string into an original code string.
[0067]
According to the ninth aspect, the same operation and effect as those of the first aspect and the eighth aspect can be obtained.
[0068]
The invention according to claim 10 operates on a computer, and can provide the same operation and effect as the invention according to any one of claims 1 to 8.
[0069]
According to the eleventh aspect of the present invention, the same operation and effect as those of the tenth aspect of the invention can be achieved by the stored program.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram for explaining the basics of a JPEG2000 algorithm.
FIG. 2 is an explanatory diagram for describing each component of a color image.
FIG. 3 is an explanatory diagram showing sub-bands at each decomposition level when the number of decomposition levels is three.
FIG. 4 is an explanatory diagram of a structure of a code stream.
FIG. 5 is an explanatory diagram showing that one precinct is formed of three spatially coincident rectangular regions.
FIG. 6 is an explanatory diagram of decomposing a coefficient value in units of bit planes and ranking the bit planes for each pixel or code block.
FIG. 7 is a block diagram of a schematic configuration of a network system according to the embodiment of the present invention.
FIG. 8 is a block diagram of electrical connection between a server and a client.
FIG. 9 is a flowchart of a process performed by a server.
FIG. 10 is a functional block diagram of a server and a client.
FIG. 11 is an explanatory diagram showing an example of code rearrangement.
FIG. 12 is a flowchart of a process performed by a client.
[Explanation of symbols]
a, b Code string 1 Image transmitting device 2 Image receiving device 3 Network 14 Storage device 17 Storage medium 10 Network system 31 Code

Claims (13)

ネットワークと接続されている通信インターフェイスと、
画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶する記憶装置と、
前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、
を備えている画像送信装置。
A communication interface connected to the network;
A code sequence obtained by compression-encoding the image data, wherein a predetermined range is rearranged within the range into an array of codes different from the standard of the compression encoding, and an array of the standard other than the range is arranged. A storage device for storing the items arranged in
Transmitting means for transmitting the code string via the network by the communication interface,
An image transmission device comprising:
ネットワークと接続されている通信インターフェイスと、
画像データを圧縮符号化した符号列を記憶している記憶装置と、
その所定の範囲については当該範囲内で符号の配列を並べ替え、前記範囲以外については前記並べ替えを行なわないことにより、前記符号列を新たな符号列に変換する符号列変換手段と、
前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、
を備えている画像送信装置。
A communication interface connected to the network;
A storage device that stores a code sequence obtained by compression-encoding the image data,
Code sequence conversion means for converting the code sequence into a new code sequence by rearranging the arrangement of codes within the predetermined range and not performing the rearrangement outside the range.
Transmitting means for transmitting the code string via the network by the communication interface,
An image transmission device comprising:
前記圧縮符号化の方式はJPEG2000又はMotion JPEG2000である、請求項1又は2に記載の画像送信装置。3. The image transmitting apparatus according to claim 1, wherein the compression encoding method is JPEG2000 or Motion JPEG2000. 前記所定範囲は、ROI(Region Of Interest)領域である、請求項3に記載の画像送信装置。The image transmission device according to claim 3, wherein the predetermined range is a region of interest (ROI) area. 前記所定範囲は、前記符号列をその送信側でプログレッシブに再生するときは、プログレッシブオーダに応じて選択する、請求項3に記載の画像送信装置。The image transmitting apparatus according to claim 3, wherein the predetermined range is selected in accordance with a progressive order when the code string is progressively reproduced on a transmission side. 前記所定範囲は、前記プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときは、前記符号列の先頭側の一定の範囲である、請求項5に記載の画像送信装置。The image transmission device according to claim 5, wherein the predetermined range is a certain range on the leading side of the code string when the progressive order is image progressive or resolution progressive. 前記所定範囲は、前記プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データの範囲である、請求項5に記載の画像送信装置。The image transmission device according to claim 5, wherein the predetermined range is a range of luminance data when the progressive order is component progressive. 画像データを圧縮符号化した符号列を受信する受信手段と、
この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換手段と、
を備えている画像受信装置。
Receiving means for receiving a code string obtained by compressing and encoding image data,
When the received code string is rearranged in an array of codes different from the compression encoding standard within the predetermined range for the predetermined range, and is arranged in an array of the standard for other than the range. Conversion means for rearranging the code and converting it to the original code string;
An image receiving device comprising:
請求項1〜7の何れかの一に記載の画像送信装置と、
この画像送信装置とネットワークを介して接続され当該画像送信装置が送信する符号列を受信する請求項8に記載の画像受信装置と、
を備えているネットワークシステム。
An image transmission device according to any one of claims 1 to 7,
The image receiving apparatus according to claim 8, wherein the image receiving apparatus is connected to the image transmitting apparatus via a network and receives a code string transmitted by the image transmitting apparatus.
A network system comprising:
請求項1〜8の何れかの一に記載の発明の前記各手段をコンピュータに実行させるコンピュータに読取り可能なプログラム。A computer-readable program that causes a computer to execute the means according to any one of claims 1 to 8. 請求項10に記載のプログラムを記憶している記憶媒体。A storage medium storing the program according to claim 10. 画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶装置に記憶されているものを、ネットワークと接続されている通信インターフェイス前記ネットワークを介して送信する、画像送信方法。A code sequence obtained by compression-encoding the image data, wherein a predetermined range is rearranged within the range into an array of codes different from the compression-encoding standard, and an array of the standard other than the range is arranged. An image transmission method, comprising transmitting, via a communication interface connected to a network, those stored in a storage device. 画像データを圧縮符号化した符号列を受信する受信工程と、
この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換工程と、
を備えている画像受信方法。
A receiving step of receiving a code string obtained by compression-encoding the image data,
When the received code string is rearranged in an array of codes different from the compression encoding standard within the predetermined range for the predetermined range, and is arranged in an array of the standard for other than the range. Is a conversion step of rearranging the code and converting it to the original code sequence,
An image receiving method comprising:
JP2002331597A 2002-11-15 2002-11-15 Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method Pending JP2004166096A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002331597A JP2004166096A (en) 2002-11-15 2002-11-15 Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002331597A JP2004166096A (en) 2002-11-15 2002-11-15 Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method

Publications (1)

Publication Number Publication Date
JP2004166096A true JP2004166096A (en) 2004-06-10

Family

ID=32808918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002331597A Pending JP2004166096A (en) 2002-11-15 2002-11-15 Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method

Country Status (1)

Country Link
JP (1) JP2004166096A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008143157A1 (en) * 2007-05-17 2008-11-27 Sony Corporation Information processing device and method
JP2009278609A (en) * 2008-05-16 2009-11-26 Sony Corp Information processing device and method
US8422553B2 (en) 2007-05-17 2013-04-16 Sony Corporation Information processing device and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008143157A1 (en) * 2007-05-17 2008-11-27 Sony Corporation Information processing device and method
WO2008143156A1 (en) * 2007-05-17 2008-11-27 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US8260068B2 (en) 2007-05-17 2012-09-04 Sony Corporation Encoding and decoding device and associated methodology for obtaining a decoded image with low delay
JP5152598B2 (en) * 2007-05-17 2013-02-27 ソニー株式会社 Encoding apparatus, encoding method, decoding apparatus, and decoding method
US8422553B2 (en) 2007-05-17 2013-04-16 Sony Corporation Information processing device and method
US8503809B2 (en) 2007-05-17 2013-08-06 Sony Corporation Information processing apparatus and method to entropy code upon processing of predetermined number of precincts
JP2009278609A (en) * 2008-05-16 2009-11-26 Sony Corp Information processing device and method

Similar Documents

Publication Publication Date Title
JP3922919B2 (en) Still image expansion apparatus and still image expansion method
JP2004254298A (en) Image processing device, program, and storage medium
JP3952459B2 (en) Image processing apparatus, program, storage medium, and image processing method
JP2004242290A (en) Image processing apparatus and image processing method, image edit processing system, image processing program, and storage medium
JP2004214828A (en) Image processing apparatus, image processing method, computer program for image processing, and storage medium for storing the image processing computer program
JP2004186871A (en) Image processing apparatus, imaging apparatus, program, and storage medium
JPWO2004064405A1 (en) Encoding method, decoding method, encoding device, and decoding device
JP2004166096A (en) Image transmitter, image receiver, network system, program, storage medium, image transmission method and image reception method
JP2007014002A (en) Image processing apparatus, image processing program and recording medium
JP4812071B2 (en) Image processing apparatus, image processing method, program, and information recording medium
JP3986398B2 (en) Image receiving apparatus and image receiving method
JP2006086579A (en) Image processing apparatus, program and storage medium
JP3891424B2 (en) Image processing device
JP4059399B2 (en) Image processing apparatus, image processing system, image output control method, program, and recording medium
JP2004112566A (en) Image processor, image processing method, image processing program, and storage medium for storing the image processing program
JP4124436B2 (en) Motion estimation device, program, storage medium, and motion estimation method
JP3989801B2 (en) Image processing apparatus, image processing program, and storage medium
JP4021307B2 (en) Image receiving apparatus, image reproducing apparatus, network system, program, storage medium, and image receiving method
JP2006303669A (en) Encoded data processor and processing program
JP2004166132A (en) Image transmitter, network system, program and storage medium
JP4034236B2 (en) Specific transform coefficient priority coding apparatus, specific transform coefficient priority coding decoding system, and specific transform coefficient priority coding method
JP3993033B2 (en) Image processing apparatus, image processing method, image processing program, and storage medium for storing image processing program
JP4280752B2 (en) Image processing apparatus such as a computer, image processing program, and storage medium
JP2004166156A (en) Image transmitter, network system, program, and storage medium
JP4629424B2 (en) Image distribution system, server device, client device, cache control method, program, and information recording medium

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041007