JP2003319402A - 画像処理装置、画像記録装置、画像再生装置、カメラシステム、プログラム及び記憶媒体 - Google Patents

画像処理装置、画像記録装置、画像再生装置、カメラシステム、プログラム及び記憶媒体

Info

Publication number
JP2003319402A
JP2003319402A JP2002126423A JP2002126423A JP2003319402A JP 2003319402 A JP2003319402 A JP 2003319402A JP 2002126423 A JP2002126423 A JP 2002126423A JP 2002126423 A JP2002126423 A JP 2002126423A JP 2003319402 A JP2003319402 A JP 2003319402A
Authority
JP
Japan
Prior art keywords
data
code string
image
code
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002126423A
Other languages
English (en)
Other versions
JP4350342B2 (ja
Inventor
Yutaka Sano
豊 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002126423A priority Critical patent/JP4350342B2/ja
Priority to US10/420,887 priority patent/US7158682B2/en
Publication of JP2003319402A publication Critical patent/JP2003319402A/ja
Priority to US11/567,640 priority patent/US7308147B2/en
Application granted granted Critical
Publication of JP4350342B2 publication Critical patent/JP4350342B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 汎用性が高く、Motion JPEG2000方式を採用
した標準的なシステムで利用することができる符号列デ
ータを生成する。 【解決手段】 画像圧縮装置３は、動画像データについ
てフレームごとに複数のタイルに分割し、タイルごとに
画素値を離散ウェーブレット変換して階層的に圧縮符号
化する。符号列変換装置４は、この圧縮符号化後の符号
列データについて次のように処理する。まず、その構文
を構文解析手段５２で解析する。この解析の結果によ
り、比較手段５６ａでフレームごとに先行するフレーム
とを比較して類似度を判定する。そして、この判定によ
り、符号列作成手段５３はタイルごとに符号データを削
減した新たな符号列データを作成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、画像処理装置、
画像記録装置、画像再生装置、カメラシステム、プログ
ラム及び記憶媒体に関する。
【０００２】
【従来の技術】従来から、画像圧縮伸長アルゴリズムと
して、動画像専用のMPEG1／MPEG2／MPEG4や、静止画像
を連続したフレームとして扱うMotion JPEGが使用され
ている。また、最近、後者のMotion静止画像の符号化に
ついては、国際標準としてMotionJPEG2000という新しい
方式が規格化されつつある。
【０００３】MPEG方式とMotion静止画像方式の違いは、
後者がフレーム内符号化だけを行なうのに対し、前者は
同一フレーム内の画像ばかりではなく、異なるフレーム
間画像においても相関をとり、より圧縮率を上げること
ができることにある。一方、各々のフレームを独立に扱
う後者の方式は、前者に比較して、フレーム毎の編集が
可能であり、また、通信時のエラーが他フレームに及ぶ
こともない。このように、MPEG方式、Motion静止画像方
式は、各々特長を持っている。そして、アプリケーショ
ン毎に、適宜、方式が使い分けられている。
【０００４】Motion JPEG2000方式では、変換方式とし
て離散ウェーブレット変換を用いているが、離散ウェー
ブレット変換を用いて画像データを圧縮符号化する技術
としては、特開2001-309381公報に開示のものが知られ
ている。
【０００５】
【発明が解決しようとする課題】この特開2001-309381
公報に開示の技術では、画素値を離散ウェーブレット変
換して圧縮符号化するのみならず、異なるフレーム間の
画像においても相関をとり、フレーム間で画像の動きが
ない場合の動画像データの冗長性も解消するようにして
いるので、よりデータの圧縮率を向上することができ
る。
【０００６】しかしながら、かかる従来技術において
は、動画像データの画素値を離散ウェーブレット変換し
た後、量子化、符号化する前のウェーブレット変換値を
用いて、異なるフレーム間の画像においても相関をと
り、フレーム間で画像の動きがない場合の動画像データ
の冗長性も解消するようにしている。
【０００７】そのため、かかる技術を用いて最終的に生
成されるデータ圧縮後の符号列データは、Motion JPEG2
000方式で圧縮されたデータ形式を扱う標準のシステム
では利用しにくい。また、Motion JPEG2000方式で圧縮
符号化したのみで、フレーム間で画像の動きがない場合
の画像データの冗長性は解消されないままの符号列デー
タを残しておくこともできない。よって、かかる技術に
より生成された符号列データは、汎用性が薄く、Motion
JPEG2000方式を採用した標準的なシステムでは利用す
ることができず、専用の特殊なシステムを用意する必要
があるという不具合がある。
【０００８】この発明の目的は、画素値を離散ウェーブ
レット変換して圧縮符号化するのみならず、異なるフレ
ーム間の画像においても相関をとり、フレーム間で画像
の動きがない場合の画像データの冗長性も解消するよう
にした場合に、汎用性が高く、Motion JPEG2000方式を
採用した標準的なシステムで利用することができる符号
列データを生成することである。
【０００９】この発明の別の目的は、この場合に、符号
列データの伸長を行なうことができる、Motion JPEG200
0方式を採用した標準的なシステムを提供することであ
る。
【００１０】
【課題を解決するための手段】請求項１に記載の発明
は、動画像データについてフレームごとに１又は複数の
矩形領域に分割し当該矩形領域ごとに画素値を離散ウェ
ーブレット変換し階層的に圧縮符号化する画像圧縮装置
と、この圧縮符号化後の符号列データについてフレーム
間の比較により符号データを削減して圧縮する符号列変
換装置と、を備え、前記符号列変換装置は、前記圧縮符
号化後の符号列データの構文を解析する構文解析手段
と、この解析の結果によりフレームごとに先行するフレ
ームと比較して類似度を判定する比較手段と、この判定
により前記矩形領域ごとに符号データを削減する符号列
作成手段と、を備えている、画像処理装置である。
【００１１】したがって、画像圧縮装置でMotion JPEG2
000方式の標準のデータ形式で圧縮符号化した後に、フ
レーム間で画像の動きがない場合の画像データの冗長性
を符号列変換装置により解消することができるので、符
号列変換装置で処理後の符号列データは削減した符号デ
ータを補うだけでMotion JPEG2000方式で圧縮した標準
のデータ形式に簡易に変換することができ、また、画像
圧縮装置で処理後のままのデータによりMotion JPEG200
0方式で圧縮した標準のデータ形式を残しておくことも
できるので、汎用性が高く、Motion JPEG2000方式を採
用した標準的なシステムで利用することができる符号列
データを生成することができる。
【００１２】請求項２に記載の発明は、動画像データに
ついてフレームごとに１又は複数の矩形領域に分割され
て当該矩形領域ごとに画素値を離散ウェーブレット変換
により階層的に圧縮符号化され、さらに、フレーム間の
比較により符号データが削減されている符号列データに
ついて、前記削減がされている符号データを補って当該
符号列データの復元を行う符号列変換装置と、この復元
後の符号列データについてウェーブレット係数値までの
変換を行なうウェーブレット伸長装置と、を備え、前記
符号列変換装置は、前記符号列データの構文を解析する
構文解析手段と、前記符号データの削減されている前記
矩形領域については、前記解析の結果により当該矩形領
域の削減されている符号データに代替すべく指定されて
いる先行するフレームの符号データを判断して当該矩形
領域に補なうことで、符号列データの復元を行なう符号
列作成手段と、を備えている、画像処理装置である。
【００１３】したがって、Motion JPEG2000方式の標準
のデータ形式で圧縮符号化した後に、フレーム間で画像
の動きがない場合の画像データの冗長性の解消を図った
符号列データを、符号列変換装置によりMotion JPEG200
0方式で圧縮した標準のデータ形式にもどすことがで
き、さらに、画像伸長装置により元の動画像データに伸
長することができるので、Motion JPEG2000方式を採用
した標準的なシステムを利用して、符号列データの伸長
を行なうことができる。
【００１４】請求項３に記載の発明は、請求項１に記載
の画像処理装置において、前記比較手段は、対象となる
フレームと当該フレームに先行するフレームとの間で類
似度を求めるために、この両フレームのウェーブレット
係数値の相関係数値を求めて所定の閾値と比較するもの
である。
【００１５】したがって、ウェーブレット係数値の相関
係数を求めて閾値と比較することにより、フレーム間で
画像の動きがない場合の画像データの冗長性を解消する
ことができる。
【００１６】請求項４に記載の発明は、請求項３に記載
の画像処理装置において、前記符号列変換装置は、前記
比較手段で用いる両フレームのウェーブレット係数値を
復号化及び逆量子化する変換手段を備えている。
【００１７】したがって、復号化及び逆量子化の処理に
より求められたウェーブレット係数値を比較することに
より、両フレームのウェーブレット係数値間の相関係数
値を求めることができる。
【００１８】請求項５に記載の発明は、請求項３又は４
に記載の画像処理装置において、前記符号列変換装置
は、前記符号列作成手段で符号量を削減された後の符号
列データを構成するパケットの順序を任意に並び替え、
当該並び替えに関する情報を当該符号列データに記述す
るパケット・スクランブル手段を備えている。
【００１９】したがって、圧縮後の符号列データを通信
ネットワークを介して送信する場合等に、動画像データ
の秘密性を高めることができる。
【００２０】請求項６に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、前記比較手
段による前記両フレームの比較の内容を変更する比較内
容変更手段を備えている。
【００２１】したがって、ユーザの意図を反映させなが
ら符号データの削減量を調節することができる。
【００２２】請求項７に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、前記比較内
容変更手段は、前記閾値を変更する。
【００２３】したがって、閾値を変更することで、ユー
ザの意図を反映させながら符号データの削減量を調節す
ることができる。
【００２４】請求項８に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、前記比較内
容変更手段は、前記比較手段による前記両フレームの比
較する領域を変更する。
【００２５】したがって、フレームの比較領域を変更す
ることで、ユーザの意図を反映させながら符号データの
削減量を調節することができる。
【００２６】請求項９に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、前記比較内
容変更手段は、前記比較手段による前記両フレームの比
較する色成分のコンポーネントを変更する。
【００２７】したがって、比較する色成分のコンポーネ
ントを変更することで、ユーザの意図を反映させながら
符号データの削減量を調節することができる。
【００２８】請求項１０に記載の発明は、請求項３〜５
の何れかの一に記載の画像処理装置において、前記比較
内容変更手段は、前記比較手段により比較する前記先行
するフレームを変更する。
【００２９】したがって、比較する先行のフレームを変
更することで、ユーザの意図を反映させながら符号デー
タの削減量を調節することができる。
【００３０】請求項１１に記載の発明は、請求項３〜５
の何れかの一に記載の画像処理装置において、前記比較
内容変更手段は、前記比較手段による前記両フレームの
比較するサブバンドを変更する。
【００３１】したがって、比較するサブバンドを変更す
ることで、ユーザの意図を反映させながら符号データの
削減量を調節することができる。
【００３２】請求項１２に記載の発明は、請求項２に記
載の画像処理装置において、前記符号列変換装置は、前
記符号列データの復元を行なう前に当該符号列データに
記述されている当該符号列データに施されているパケッ
トの並べ替えに関する情報を参照して、パケットの順序
が並び替えられている当該符号列データを元の順序に並
べ替えるパケット・デスクランブル手段を備えている。
【００３３】したがって、符号量を削減された後の符号
列データを通信ネットワークを介して送信する場合等
に、動画像データの秘密性を高めることができる。
【００３４】請求項１３に記載の発明は、請求項２又は
１２に記載の画像処理装置において、前記符号列変換装
置は、前記復元を行なうことができないときは、当該フ
レームの符号列データに当該フレームの直前のフレーム
の符号列データを補うことで前記復元を代替する代替手
段を備えている。
【００３５】したがって、圧縮後の符号列データを通信
ネットワークを介して送信する場合等に、符号列データ
の一部が失われても、当該フレームの直前のフレームの
符号列データを補うことで、符号列データを代替的に復
元することができる。
【００３６】請求項１４に記載の発明は、動画像を撮像
する画像入力装置と、この撮像した動画像データを処理
する請求項１，３〜１１に記載の画像処理装置と、を備
えている画像記録装置である。
【００３７】したがって、動画像を撮像して圧縮する際
に、請求項１の発明と同様の作用、効果を奏することが
できる。
【００３８】請求項１５に記載の発明は、動画像データ
についてフレームごとに１又は複数の矩形領域に分割し
て当該矩形領域ごとに階層的に圧縮符号化し、また、フ
レーム間の圧縮を行なっている符号列データを処理する
請求項２，１２，１３に記載の画像処理装置と、この処
理後の動画像データに基づいて動画像を表示する画像表
示装置と、を備えている画像再生装置である。
【００３９】したがって、圧縮された動画像データを伸
長して表示する際に、請求項２の発明と同様の作用、効
果を奏することができる。
【００４０】請求項１６に記載の発明は、請求項１４に
記載の画像記録装置と、請求項１５に記載の画像再生装
置と、を備えていて、前記画像記録装置の画像処理装置
で処理後の符号列データを前記画像再生装置の画像処理
装置で処理する、カメラシステムである。
【００４１】したがって、画像記録装置で動画像を撮像
して圧縮し、その状態で保存、送信等を行ない、画像記
録装置で圧縮された動画像データを伸長して表示する際
に、請求項１，２の発明と同様の作用、効果を奏するこ
とができる。
【００４２】請求項１７に記載の発明は、動画像データ
についてフレームごとに１又は複数の矩形領域に分割さ
れ当該矩形領域ごとに画素値が離散ウェーブレット変換
により階層的に圧縮符号化されている符号列データにつ
いて、当該符号列データの構文を解析する構文解析処理
と、この解析の結果によりフレームごとに先行するフレ
ームとを比較して類似度を判定する比較処理と、この判
定により前記矩形領域ごとに符号データを削減する符号
列作成処理と、をコンピュータに実行させるコンピュー
タに読取り可能なプログラムである。
【００４３】したがって、所定の画像圧縮装置でMotion
JPEG2000方式の標準のデータ形式で圧縮符号化した後
に、フレーム間で画像の動きがない場合の画像データの
冗長性を本プログラムに基づく処理により解消すること
ができるので、この処理後の符号列データは削減した符
号データを補うだけでMotion JPEG2000方式で圧縮した
標準のデータ形式に簡易に変換することができ、また、
画像圧縮装置で処理後のままのデータによりMotion JPE
G2000方式で圧縮した標準のデータ形式を残しておくこ
ともできるので、汎用性が高く、Motion JPEG2000方式
を採用した標準的なシステムで利用することができる符
号列データを生成することができる。
【００４４】請求項１８に記載の発明は、動画像データ
についてフレームごとに１又は複数の矩形領域に分割さ
れて当該矩形領域ごとに画素値を離散ウェーブレット変
換により階層的に圧縮符号化され、さらに、前記矩形領
域ごとに符号データが削減されている符号列データにつ
いて、当該符号列データの構文を解析する構文解析処理
と、前記符号データの削減されている前記矩形領域につ
いては、前記解析の結果により当該矩形領域の削減され
ている符号データに代替すべく指定されている先行する
フレームの符号データを判断して当該矩形領域に補なう
ことで、符号列データの復元を行なう符号列作成処理
と、をコンピュータに実行させるコンピュータに読取り
可能なプログラムである。
【００４５】したがって、Motion JPEG2000方式の標準
のデータ形式で圧縮符号化した後に、フレーム間で画像
の動きがない場合の画像データの冗長性の解消を図った
符号列データを、本プログラムに基づく処理によりMoti
on JPEG2000方式で圧縮した標準のデータ形式にもどす
ことができ、さらに、所定の画像伸長装置により元の動
画像データに伸長することができるので、Motion JPEG2
000方式を採用した標準的なシステムを利用して、符号
列データの伸長を行なうことができる。
【００４６】請求項１９に記載の発明は、請求項１７に
記載のプログラムにおいて、前記比較処理は、対象とな
るフレームと当該フレームに先行するフレームとの間で
類似度を求めるために、この両フレームのウェーブレッ
ト係数値の相関係数値を求めて所定の閾値と比較するも
のである。
【００４７】したがって、ウェーブレット係数値の相関
係数値を求めて閾値と比較することにより、フレーム間
で画像の動きがない場合の画像データの冗長性を解消す
ることができる。
【００４８】請求項２０に記載の発明は、請求項１９に
記載のプログラムにおいて、前記比較処理で用いる両フ
レームのウェーブレット係数値を求めるために、復号化
及び逆量子化する変換処理をコンピュータに実行させ
る。
【００４９】したがって、復号化及び逆量子化の処理に
より求めたれたウェーブレット係数値を比較することに
より、両フレームのウェーブレット係数値間の相関係数
を求めることができる。
【００５０】請求項２１に記載の発明は、請求項１９又
は２０に記載のプログラムにおいて、前記符号列作成処
理で符号量を削減された後の符号列データを構成するパ
ケットの順序を任意に並び替え、当該並び替えに関する
情報を当該符号列データに記述するパケット・スクラン
ブル処理をコンピュータに実行させる。
【００５１】したがって、符号量を削減された後の符号
列データを通信ネットワークを介して送信する場合等
に、動画像データの秘密性を高めることができる。
【００５２】請求項２２に記載の発明は、請求項１９〜
２１の何れかの一に記載のプログラムにおいて、前記比
較処理による前記両フレームの比較の内容を変更する比
較内容変更処理をコンピュータに実行させる。
【００５３】したがって、ユーザの意図を反映させなが
ら符号データの削減量を調節することができる。
【００５４】請求項２３に記載の発明は、請求項１８に
記載のプログラムにおいて、前記符号列データの復元を
行なう前に当該符号列データに記述されている当該符号
列データに施されているパケットの並べ替えに関する情
報を参照して、パケットの順序が並び替えられている当
該符号列データを元の順序に並べ替えるパケット・デス
クランブル処理をコンピュータに実行させる。
【００５５】したがって、符号量を削減された後の符号
列データを通信ネットワークを介して送信する場合等
に、動画像データの秘密性を高めることができる。
【００５６】請求項２４に記載の発明は、請求項１８又
は２３に記載のプログラムにおいて、前記復元を行なう
ことができないときは、当該フレームの符号列データに
当該フレームの直前のフレームの符号列データを補うこ
とで前記復元を代替する代替処理をコンピュータに実行
させる。
【００５７】したがって、符号量を削減された後の符号
列データを通信ネットワークを介して送信する場合等
に、符号列データの一部が失われても、当該フレームの
直前のフレームの符号列データを補うことで、符号列デ
ータを代替的に復元することができる。
【００５８】請求項２５に記載の発明は、請求項１７〜
２４の何れかの一に記載のプログラムを記憶している記
憶媒体である。
【００５９】したがって、請求項１７〜２４の何れかの
一に記載の発明と同様の作用、効果を奏する。
【００６０】
【発明の実施の形態】最初に、本実施の形態の前提とな
る「階層符号化アルゴリズム」及び「JPEG2000アルゴリ
ズム」の概要について説明する。
【００６１】図１は、JPEG2000方式の基本となる階層符
号化アルゴリズムを実現するシステムの機能ブロック図
である。このシステムは、色空間変換・逆変換部１０
１、２次元ウェーブレット変換・逆変換部１０２、量子
化・逆量子化部１０３、エントロピー符号化・復号化部
１０４、タグ処理部１０５の各機能ブロックにより構成
されている。
【００６２】このシステムが従来のJPEGアルゴリズムと
比較して最も大きく異なる点の一つは変換方式である。
JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine
Transform）を用いているのに対し、この階層符号化ア
ルゴリズムでは、２次元ウェーブレット変換・逆変換部
１０２において、離散ウェーブレット変換（ＤＷＴ：Di
screte Wavelet Transform）を用いている。ＤＷＴはＤ
ＣＴに比べて、高圧縮領域における画質が良いという長
所をもち、この点が、JPEGの後継アルゴリズムであるJP
EG2000でＤＷＴが採用された大きな理由の一つとなって
いる。
【００６３】また、他の大きな相違点は、この階層符号
化アルゴリズムでは、システムの最終段に符号形成をお
こなうために、タグ処理部１０５の機能ブロックが追加
されていることである。このタグ処理部１０５で、画像
の圧縮動作時には圧縮データが符号列データとして生成
され、伸長動作時には伸長に必要な符号列データの解釈
が行われる。そして、符号列データによって、JPEG2000
は様々な便利な機能を実現できるようになった。例え
ば、図３に示すように、ブロック・ベースでのＤＷＴに
おけるオクターブ分割に対応した任意の階層（デコンポ
ジション・レベル）で、静止画像の圧縮伸長動作を自由
に停止させることができるようになる。
【００６４】原画像の入出力部分には、色空間変換部・
逆変換部１０１が接続される場合が多い。例えば、原色
系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネント
からなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼ
ンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭ
Ｃ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変
換又は逆変換を行なう部分がこれに相当する。
【００６５】次に、JPEG2000アルゴリズムについて説明
する。
【００６６】カラー画像は、一般に、図２に示すよう
に、原画像の各コンポーネント１１１（ここではＲＧＢ
原色系）が、矩形をした領域によって分割される。この
分割された矩形領域は、一般にブロックあるいはタイル
と呼ばれているものであるが、JPEG2000では、タイルと
呼ぶことが一般的であるため、以下、このような分割さ
れた矩形領域をタイルと記述することにする（図２の例
では、各コンポーネント１１１が縦横４×４、合計１６
個の矩形のタイル１１２に分割されている）。このよう
な個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，
…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ
０１，…，Ｂ１５）が、画像データの圧縮伸長プロセス
を実行する際の基本単位となる。従って、画像データの
圧縮伸長動作は、コンポーネントごと、また、タイル１
１２ごとに、独立に行なわれる。
【００６７】画像データの符号化時には、各コンポーネ
ント１１１の各タイル１１２のデータが、図１の色空間
変換・逆変換部１０１に入力され、色空間変換を施され
た後、２次元ウェーブレット変換部１０２で２次元ウェ
ーブレット変換（順変換）が施されて、周波数帯に空間
分割される。
【００６８】図３には、デコンポジション・レベル数が
３の場合の、各デコンポジション・レベルにおけるサブ
バンドを示している。すなわち、原画像のタイル分割に
よって得られたタイル原画像（０ＬＬ）（デコンポジシ
ョン・レベル０）に対して、２次元ウェーブレット変換
を施し、デコンポジション・レベル１に示すサブバンド
（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そし
て引き続き、この階層における低周波成分１ＬＬに対し
て、２次元ウェーブレット変換を施し、デコンポジショ
ン・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２Ｌ
Ｈ，２ＨＨ）を分離する。順次同様に、低周波成分２Ｌ
Ｌに対しても、２次元ウェーブレット変換を施し、デコ
ンポジション・レベル３に示すサブバンド（３ＬＬ，３
ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコ
ンポジション・レベルにおいて符号化の対象となるサブ
バンドを、グレーで表してある。例えば、デコンポジシ
ョン・レベル数を３としたとき、グレーで示したサブバ
ンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２Ｈ
Ｈ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３
ＬＬサブバンドは符号化されない。
【００６９】次いで、指定した符号化の順番で符号化の
対象となるビットが定められ、図１に示す量子化・逆量
子化部１０３で対象ビット周辺のビットからコンテキス
トが生成される。
【００７０】この量子化の処理が終わったウェーブレッ
ト係数は、個々のサブバンド毎に、「プレシンクト」と
呼ばれる重複しない矩形に分割される。これは、インプ
リメンテーションでメモリを効率的に使うために導入さ
れたものである。図５に示したように、一つのプレシン
クトは、空間的に一致した３つの矩形領域からなってい
る。更に、個々のプレシンクトは、重複しない矩形の
「コード・ブロック」に分けられる。これは、エントロ
ピー・コーディングを行なう際の基本単位となる。
【００７１】図１に示すエントロピー符号化・復号化部
１０４では、コンテキストと対象ビットから確率推定に
よって、各コンポーネント１１１のタイル１１２に対す
る符号化を行なう。こうして、原画像の全てのコンポー
ネント１１１について、タイル１１２単位で符号化処理
が行われる。最後にタグ処理部１０５は、エントロピー
符号化・復号化部１０４からの全符号化データを１本の
符号列データに結合するとともに、それにタグを付加す
る処理を行なう。
【００７２】図４には、この符号列データの１フレーム
分の概略構成を示している。この符号列データの先頭と
各タイルの符号データ（bit stream）の先頭にはヘッダ
（header）と呼ばれるタグ情報が付加され、その後に、
各タイルの符号化データが続く。そして、符号列データ
の終端には、再びタグ（end of codestream）が置かれ
る。
【００７３】一方、符号化データの復号化時には、画像
データの符号化時とは逆に、各コンポーネント１１１の
各タイル１１２の符号列データから画像データを生成す
る。この場合、タグ処理部１０５は、外部より入力した
符号列データに付加されたタグ情報を解釈し、符号列デ
ータを各コンポーネント１１１の各タイル１１２の符号
列データに分解し、その各コンポーネント１１１の各タ
イル１１２の符号列データ毎に復号化処理を行なう。こ
のとき、符号列データ内のタグ情報に基づく順番で復号
化の対象となるビットの位置が定められるとともに、量
子化・逆量子化部１０３で、その対象ビット位置の周辺
ビット（既に復号化を終えている）の並びからコンテキ
ストが生成される。エントロピー符号化・復号化部１０
４で、このコンテキストと符号列データから確率推定に
よって復号化を行い、対象ビットを生成し、それを対象
ビットの位置に書き込む。このようにして復号化された
データは周波数帯域毎に空間分割されているため、これ
を２次元ウェーブレット変換・逆変換部１０２で２次元
ウェーブレット逆変換を行なうことにより、画像データ
の各コンポーネントの各タイルが復元される。復元され
たデータは色空間変換・逆変換部１０１によって元の表
色系の画像データに変換される。
【００７４】以上が、「JPEG2000アルゴリズム」の概要
であり、静止画像、すなわち単フレームに対する方式を
複数フレームに拡張したものが、「Motion JPEG2000ア
ルゴリズム」である。
【００７５】以下、本発明の一実施の形態について詳細
に説明する。
【００７６】ここでは、Motion JPEG2000を代表とする
動画像圧縮伸長技術に関する例について説明するが、い
うまでもなく、本発明は以下の説明の内容に限定される
ものではない。
【００７７】図６は、この実施の形態である監視カメラ
システム１の概略構成を示すブロック図である。この監
視カメラシステム１は、本発明のカメラシステムを実施
するものであり、図６に示すように、この監視カメラシ
ステム１は、動画像を撮影する画像入力装置２と、この
撮影した画像データを圧縮符号化する画像圧縮装置３
と、この圧縮符号化された符号列から別の符号列を作成
する画像圧縮用の符号列変換装置４と、この符号列変換
装置４が出力する符号列から別の符号列を作成する画像
伸長用の符号列変換装置５と、この作成された符号列を
伸長して動画像の画像データとする画像伸長装置６と、
この伸長後の画像データによる画像を表示する画像表示
装置７と、符号列変換装置４が出力する符号列を記憶す
る外部符号列記憶装置９とを備えている。符号列変換装
置４と符号列変換装置５とはシリアル接続され、その接
続の仕方は、両装置４，５間を直接繋いでもよいし、ネ
ットワークを介して接続していてもよい。外部符号列記
憶装置９は、一般的なバッファとしての機能、あるい
は、長期間に渡る動画像の符号列データの貯蔵庫として
機能し、用途により使い分けられる。画像圧縮装置３及
び符号列変換装置４で動画像データの圧縮処理を行なう
本発明の画像処理装置を実施し、符号列変換装置５及び
画像伸長装置６により圧縮された動画像の符号列データ
を伸長する本発明の画像処理装置を実施している。
【００７８】図７は、監視カメラシステム１のハードウ
エア構成の一例を示すブロック図である。監視カメラシ
ステム１は、図７に示す画像記録装置１０ａ，画像再生
装置１０ｂを用いて構成している。すなわち、このコン
ピュータシステム１０ａ，１０ｂは、それぞれ各種演算
を行ない、装置の各部を集中的に制御するＣＰＵ１１
ａ，１１ｂと、各種のＲＯＭ、ＲＡＭからなる記憶媒体
であるメモリ１２ａ，１２ｂと、ネットワークと通信を
行なう所定の通信インターフェイス１３ａ，１３ｂと、
ユーザから各種の操作を受付ける操作パネル１８ａ，１
８ｂが、バス１４ａ，１４ｂで接続されている。
【００７９】画像記録装置１０ａは、画像入力装置２、
画像圧縮装置３、論理回路１５も、バス１３ａに接続さ
れている。
【００８０】画像再生装置１０ｂは、画像伸長装置６、
画像表示装置７、論理回路１６、ハードディスク１７
も、バス１４ｂに接続されている。
【００８１】このような構成の画像記録装置１０ａ、画
像再生装置１０ｂの記憶媒体であるメモリ１２ａ，１２
ｂ（のＲＯＭ）には、それぞれ動画像を処理する動画プ
ログラムが記憶されている。この動画プログラムは本発
明のプログラムを実施するものである。そして、この動
画プログラムに基づいてＣＰＵ１１ａ，１１ｂが実行す
る処理により、符号列変換装置４、符号列変換装置５の
機能を実現する。また、外部符号列記憶装置９は、ハー
ドディスク１７により実現している。
【００８２】図８、図９を参照して、監視カメラシステ
ム１の各部について説明する。
【００８３】まず、画像記録装置１０ａについて、図８
を参照して説明する。
【００８４】画像入力装置２は、ＣＣＤ、ＭＯＳイメー
ジセンサ等の光電変換デバイスを用いて動画像をフレー
ム単位でキャプチャし、動画像のデジタル画素値信号を
画像圧縮装置３に出力する。
【００８５】画像圧縮装置３は、動画像のデジタル画素
値信号の入力を、イメージＩ／Ｏ４１を介して受付け
る。この画像圧縮装置３は、動画像のデジタル画素値信
号をJPEG2000アルゴリズムで圧縮符号化する。すなわ
ち、イメージＩ／Ｏ４１を介して受付けた動画像のデジ
タル画素値信号は、以後、Ｒ，Ｇ，Ｂの各成分別に以下
のように処理される。
【００８６】まず、Ｒ，Ｇ，Ｂの各コンポーネントの画
素値Ｉ（ｘ，ｙ）は、各メモリ４２で一旦バッファされ
る。そして、このＲ，Ｇ，Ｂの各コンポーネントは１又
は複数のタイルに分割されて、このタイルごとの画素値
Ｉ（ｘ、ｙ）は、各離散ウェーブレット変換器４３によ
りウェーブレット変換係数値ａ（ｕ，ｖ）に変換され
る。なお、このときのデコンポジション・レベル数、い
わゆるウェーブレット階層数は、符号列データを操作す
る時に各種機能の幅を大きく左右するので重要である。
原画像の画素数にもよるが、ＶＧＡクラスの画像サイズ
では、通常、３から５の値が採用されることになる。
【００８７】さらに、ウェーブレット係数値ａ（ｕ，
ｖ）は、階層毎、タイル毎、コンポーネント毎に各量子
化器４４で量子化される。量子化の方法や量子化ステッ
プ・サイズは、非可逆圧縮伸長した場合に画像品質に大
きな影響を与えるので、これもまた重要である。その
後、ウェーブレット係数値ａ（ｕ，ｖ）は、各符号化器
４５で階層毎、タイル毎、コンポーネント毎に符号化さ
れ、各メモリ４６に記憶される。そして、図示しないタ
グ処理部により、一連の符号列データ全体に関わる情
報、あるいは各フレーム単位に関わる情報が、それぞれ
ヘッダに記述されて、各メモリ４６に記憶される符号列
データに付加され、完成した符号列データとしてコード
Ｉ／Ｏ４７から符号列変換装置４に出力される。
【００８８】このような画像圧縮装置３における処理に
より、元の動画像の各コンポーネントの動画像データ
は、フレームごとに１又は複数（通常は複数）のタイル
に分割され、このタイルごとに階層的に圧縮符号化され
た符号化データとなるので、元の動画像データの同一フ
レームかつ同一タイル内の冗長性は除去される。
【００８９】符号列変換装置４では、画像圧縮装置３か
ら出力される符号列データについて、フレーム間の相関
をとることによるフレーム間圧縮を行ない、タイルごと
の符号データの削減を行なって、よりデータ量の少ない
符号列データに変換する。なお、以下に説明する例で
は、タイルごとに選択あるいは非選択の処理を行うが、
後述するように、サブバンドやコンポーネントといった
比較対照の内容を絞り込むことにより、アプリケーショ
ンに対して柔軟に対応することができる。
【００９０】この符号列変換装置４は、符号列入力手段
５１、構文解析手段５２、符号列作成手段５３、符号列
出力手段５４、符号列記憶手段５５、入力画像選択手段
５６（比較手段５６ａ、パケット・スイッチ５６ｂから
なる）などから構成される。符号列入力手段５１、符号
列作成手段５３、符号列出力手段５４、符号列記憶手段
５５、比較手段５６ａなどは、前述の動画プログラムに
したがってＣＰＵ１１ａが行なう処理により実現してい
る。構文解析手段５２、入力画像選択手段５６も動画プ
ログラムにしたがってＣＰＵ１１ａが行なう処理により
実現することも可能ではあるが、リアルタイム性が重要
視される場合には、処理を高速化する必要がある。その
ためには、論理回路１５の動作により、入力画像選択手
段５６、符号列作成手段５３の機能を実現するようにす
るのが望ましい。
【００９１】すなわち、画像圧縮装置３から入力された
符号列データの構文すなわちヘッダのデータに記述され
た情報をＣＰＵ１１ａが動画プログラムにしたがって実
現する構文解析手段５２が解析し、入力した符号列デー
タがどのように符号化されたのかを判断する。ヘッダの
情報の内容がわかれば、後は、符号列データの具体的処
理方法を決めることが可能である。
【００９２】符号列データ中の各タイルの符号データを
入力画像として選択するか選択しないかを決定するに
は、いくつかの手段が考えられるが、ここでは、各フレ
ームにおける特定のサブバンドのウェーブレット係数値
を比較する手段を例として説明する。
【００９３】先行して符号列変換装置４に入力した現フ
レームに先行するフレームのヘッダデータ及びウェーブ
レット係数値は、符号列データの選択、非選択を決める
上で必要なデータなので、構文解析手段５２で解析した
構文に基づいて、別途メモリ１２ａの所定エリアに格納
する。これが符号列記憶手段５５である。この場合、ウ
ェーブレット係数値については変換手段５７で変換して
から格納する。すなわち、変換手段５７は、復号化手段
５７ａ、逆量子化手段５７ｂを備えていて、ウェーブレ
ット係数値を復号化、逆量子化して、ウェーブレット係
数値を量子化前のウェーブレット係数値に戻す。
【００９４】そして、比較手段５６ａにおいて、この復
号化、逆量子化後のウェーブレット係数値を用い、現フ
レームと先行するフレームとのウェーブレット係数値を
各々比較して相関係数を求め、それを所定の閾値と比較
することにより、現フレームと先行するフレームとの類
似度を判定する。この比較のために過去に遡って参照さ
れるフレーム数は、少なくとも１つ（直近フレームの
み）から数フレーム程度が適当である。
【００９５】比較手段５６ａにおいて、現フレームと先
行するフレームとの相関係数値が、あらかじめ設定され
た閾値に達し、すなわち、現フレームと先行するフレー
ムとの間に大きな相違がない場合、現フレームは入力画
像として選択されない。このように、現フレームが入力
画像として選択されなかった場合は、スイッチ５６ｂを
オフにして、現フレームの画像部分の符号列データを一
連の符号列データから冗長であると判断されたタイルの
符号データを削除し、符号列データのデータ量の削減を
行なう。同時に、符号列作成手段５３において、削除さ
れたデータの代替となるよう指定されたフレーム番号
が、現フレームのフレーム・ヘッダに記述される。こう
して、フレーム・ヘッダだけで構成される現フレームの
符号列が符号列出力手段５４によりネットワークに出力
される。
【００９６】一方、現フレームと先行するフレームとの
相関係数値が、あらかじめ設定された閾値に達しない、
すなわち、現フレームと先行するフレームとの間に大き
な相違がある場合、現フレームは入力画像として選択さ
れる。この場合は、スイッチ５６ｂはオン状態のままと
して、現フレームの符号列データは、削除されることな
く符号列出力手段５４によりネットワークに出力され
る。
【００９７】先行するフレームとして比較手段５６ａで
参照されるフレーム数が多ければ、フレーム間の相関は
高くなり、結果として一連の符号列データのデータ量の
削減に大きく寄与する。その一方で、ウェーブレット係
数値を保存しておくバッファ・メモリに大きな容量を必
要とし、また、係数値の比較や、フレーム毎のヘッダ情
報書き換えに要する処理時間が長くなる。したがって、
符号列変換装置４を使うにあたっては、実際の使用状況
を十分に考慮した上で、参照すべき先行するフレーム数
を最適化する必要がある。
【００９８】符号列変換装置４の処理の流れの概要を図
１９のフローチャートを参照して説明すると、次のとお
りである。
【００９９】すなわち、構文解析手段５２により符号列
データのヘッダ情報の構文解析を行ない（ステップＳ
１）、この解析した構文内容に基づいて、複数フレーム
分のヘッダデータ及びウェーブレット係数値（符号デー
タ）について、後者については前述のように変換手段５
７で復号化、逆量子化してから（ステップＳ２）、それ
ぞれ符号列記憶手段５５で記憶する（ステップＳ３）。
ステップＳ１により構文解析処理を、ステップＳ２によ
り変換処理を実現している。
【０１００】そして、比較手段５６ａにおいて、復号
化、逆量子化後のウェーブレット係数値を用い、現フレ
ームと先行するフレームとのウェーブレット係数値を各
々比較して相関係数を求め、それを所定の閾値と比較す
ることにより、現フレームと先行するフレームとの類似
度を判定する（ステップＳ４）。この判定により、相関
係数値が閾値より大きい、すなわち、現フレームと先行
するフレームとの類似度が高いタイルについては、パケ
ット・スイッチ５６ｂをＯＦＦして、タイルごとに符号
データを削減し、相関係数値が閾値以下、すなわち、現
フレームと先行するフレームとの類似度が低いタイルに
ついては、パケット・スイッチ５６ｂをＯＮして、タイ
ルごとに符号データを残すように、選別する（ステップ
Ｓ５）。このような処理を最終フレームまで行なって
（ステップＳ６）、符号列作成手段５３では、ステップ
Ｓ５の処理により残った符号データに新たなヘッダデー
タを付加して、新たな符号列データを作成し、符号列デ
ータのタイル間の圧縮を行なう。ステップＳ５により符
号列作成処理を実現している。
【０１０１】次に、図７に示す画像再生装置１０ｂにつ
いて説明する。
【０１０２】圧縮用の符号列変換装置４（図６参照）を
出力してネットワークを介して画像再生装置１０ｂに送
信された符号列データは、画像再生装置１０ｂにおい
て、外部符号列記憶装置９（図６参照）に格納され、ま
た、符号列変換装置５（図６参照）で処理される。
【０１０３】すなわち、図９に示すように、符号列変換
装置５では、受信した符号列データについて、符号列変
換装置４で削減したタイルごとに、符号データの復元処
理を行なう。この符号列変換装置５は、符号列入力手段
６１、構文解析手段６２、符号列作成手段６３、符号列
出力手段６４、符号列記憶手段６５、入力画像符号デー
タ挿入手段６７（削減符号データ検出手段６６、パケッ
ト・スイッチ６８からなる）などから構成される。符号
列入力手段６１、符号列作成手段６３、符号列出力手段
６４、符号列記憶手段６５、削減符号データ検出手段６
６などは、前述の動画プログラムにしたがってＣＰＵ１
１ｂが行なう処理により実現している。入力画像符号デ
ータ挿入手段６７、符号列作成手段６３なども動画プロ
グラムにしたがってＣＰＵ１１ｂが行なう処理により実
現することができるが、処理の高速化のためには、論理
回路１６の動作により入力画像符号データ挿入手段６
７、符号列作成手段６３の機能を実現するのが望まし
い。
【０１０４】まず、符号列入力手段６１に入力された符
号列データの構文すなわちヘッダに記述された情報を構
文解析手段６２が解析し、入力された符号列データが圧
縮用の符号列変換装置４でどのようにデータ量を削減さ
れたのかを判断する。このヘッダの情報が判れば、後
は、後述のように符号列データの復元処理が進められる
ことになる。
【０１０５】つまり、構文解析手段６２による解析結果
に基づいて、先行する複数フレーム分のヘッダデータ及
びウェーブレット係数値（符号データ）について、別途
メモリ１２ｂ（図７参照）の所定エリアに格納する。こ
れが図９に示す符号列記憶手段６５である。符号列変換
装置４（図８参照）における前述の処理で、現フレーム
が入力画像として選択されていない場合は、符号列デー
タはヘッダデータだけで構成されている。そこで、削減
されてしまって存在しない画像部分の符号データを、別
のデータで代替する必要がある。そのために、削除符号
データ検出手段６６は、スイッチ６８を一時オフにし
て、ヘッダ情報で代替として指定されているフレーム番
号の完全な形で残っている符号データを符号列記憶手段
６５から呼び出し、符号列作成手段６３は、その符号デ
ータを、後続の符号データが存在しないヘッダの後に挿
入する処理を行なう。そして、このように復元処理がな
された後の符号列データが符号列出力手段６４により画
像伸長装置６に出力される。
【０１０６】一方、符号列変換装置４（図８参照）で符
号量削減の対象とならなかったタイルの符号データの場
合は、削除符号データ検出手段６６は、スイッチ６８を
オン状態のままにして、現フレームの符号データを、そ
のままの状態で符号列出力手段６４により画像伸長装置
６に出力する。
【０１０７】符号列変換装置５の処理の流れの概要を図
２０のフローチャートを参照して説明すると、次のとお
りである。
【０１０８】すなわち、構文解析手段６２により符号列
データのヘッダ情報の構文解析を行ない（ステップＳ１
１）、この解析した構文内容に基づいて、複数フレーム
分のヘッダデータ及びウェーブレット係数値（符号デー
タ）について、符号列記憶手段６５で記憶する（ステッ
プＳ１２）。ステップＳ１１により構文解析処理を実現
している。
【０１０９】そして、削除符号データ検出手段６６は、
ヘッダのみで符号列データが存在しないタイルには、ス
イッチ６８を一時オフにして、ヘッダの情報で代替とし
て指定されているフレーム番号の完全な形で残っている
符号データを符号列記憶手段６５から呼び出し、符号列
作成手段６３は、その符号データを、後続の符号データ
が存在しないヘッダの後に挿入する処理を行なってデー
タの補充を行い、そうでないタイルには、スイッチ６８
をオン状態のままにして、現フレームの符号データを、
そのまま符号列作成手段６３に出力する（ステップＳ１
３）。このような処理を最終フレームまで行なって（ス
テップＳ１４）、符号列作成手段６３では、ステップＳ
１３の処理により挿入された符号データに新たなヘッダ
データを付加して、新たな符号列データを作成し、符号
列データのタイル間の復元を行なう。ステップＳ１３に
より符号列作成処理を実現している。
【０１１０】図９に示すように、符号列変換装置５でタ
イルごとの符号データの復元を行なった符号列データ
は、画像伸長装置６のコードＩ／Ｏ７１に入力される。
この画像伸長装置６は、符号列データをJPEG2000アルゴ
リズムで伸長する。すなわち、コードＩ／Ｏ７１を介し
て受付けた符号列データは、以後、Ｒ，Ｇ，Ｂの各成分
別に以下のように処理される。
【０１１１】すなわち、Ｒ，Ｇ，Ｂの各コンポーネント
のウェーブレット変換係数値ａ（ｕ，ｖ）は各メモリ７
２に入力され、このウェーブレット変換係数値ａ（ｕ，
ｖ）は、各逆符号化器７３で逆符号化され、各逆量子化
器７４で逆量子化される。そして、各タイルのウェーブ
レット変換係数値ａ（ｕ，ｖ）は、各逆ウェーブレット
変換器７５に入力されて逆ウェーブレット変換がされ、
デジタル動画像データの画素値Ｉ（ｘ，ｙ）に変換され
て、各メモリ７６に記憶される。
【０１１２】こうして、タイルごとに伸長されたデジタ
ル動画像データは、イメージＩ／Ｏ７７を介して表示装
置７に出力されて動画像が再生される。
【０１１３】次に、圧縮用の符号列変換装置４が行な
う、フレーム間の類似度を検出して符号列データのデー
タ量を削減する処理の詳細について説明する。
【０１１４】図１０、図１１は、かかる処理の説明図で
ある。図１０、図１１に示すように、この例では、動画
像の単一のフレームの画像エリア８１が、縦横が３×５
の合計１５個のタイル８２に分割されている。この画像
エリア８１に、円形のオブジェクト８３が左上から進入
し画面中央下部にぶつかり、今度は右上に向かって動い
ていく様子を、（ａ）〜（ｆ）に順次示している。図
中、フレーム毎に番号をつけられたタイル８２は、直前
フレームから変化のあったタイル８２を、下線付きの数
字を付けられたタイル８２は、過去３フレームまで遡っ
て比較し、変化のあったタイル８２を、各々示してい
る。また、（Ａ）は符号列変換装置４で処理前の符号デ
ータ８４を、（Ｂ）〜（Ｆ）は（ｂ）〜（ｆ）の各場合
について符号列変換装置４でデータ量の削減後の符号デ
ータ８４を、それぞれ示している。また、符号８５は各
タイル８２の符号データであり、符号８６は各符号デー
タ８４のタイル・ヘッダである。符号データ８４の先頭
にはＳＯＣ（start of codestream）が、末尾にはＥＯ
Ｃ（end of codestream）のタグが存在する。
【０１１５】例えば、第４フレーム（図１１（ｄ））に
注目してみると、直前の第３フレームと比較して明らか
に変化があったと判断されたのは、６個のタイル８２
（６，７，８，１１，１２，１３）と左上領域の３個の
タイル８２（０，１，５）、計9個のタイルである。こ
のうち、下線数字で示された３個のタイル８２（０，
１，５）は、３フレーム前に既に現れた第１フレーム
（図１０（ａ））の同番号のタイル８２と全く同じ状態
にあると、比較手段５６ａにより判断されている。
【０１１６】比較手段５６ａで参照されるフレーム数が
１の場合と３の場合とでは、この圧縮用の符号列変換装
置４から出力されるフレーム毎の符号列データは異な
る。前者においては、現フレームの中で９個のタイル全
てが、入力画像として選択され、番号を付けられていな
い６個のタイル（２，３，４，９，１０，１４）につい
ては、画像部分の符号データは削除され、タイル・ヘッ
ダ部だけが残される。一方、後者においては、入力画像
として選択されるのは、６個のタイル（６，７，８，１
１，１２，１３）だけである。残り９個のタイルは、ヘ
ッダ部だけが残される（図１１（Ｄ））。参照フレーム
数を増やせば、より多く符号量を削減することができる
反面、比較やヘッダ書き換えの手間を要する。
【０１１７】もう一つの例として、第５フレーム（図１
１（ｅ））について考えてみる。円形のオブジェクト８
３は静止状態にあるので、直前の第４フレーム（図１１
（ｄ））に比べて変化はない。従って、１５個全てのタ
イル８２から画像部分の符号データが削除され、作成さ
れる新しい符号列データは、タイル・ヘッダ８６が並ん
だだけの非常にコンパクトなデータになる。
【０１１８】次に、圧縮用の符号列変換装置４が行な
う、フレーム間の類似度を検出して符号列データのデー
タ量を削減する処理の他の例について説明する。
【０１１９】図１２、図１３は、かかる例について説明
する説明図である。図１２、図１３を参照して前述した
例と同様に、（Ａ）は符号列変換装置４で処理前の符号
データ８４を、（Ｂ）〜（Ｆ）は（ｂ）〜（ｆ）の各場
合について符号列変換装置４でデータ量の削減後の符号
データ８４を、それぞれ示している。図１０，図１１を
参照して前述した例と異なるのは、相関係数値を算出す
るために設定する画像領域が、画像中央の７番のタイル
８２に特定されていることである。
【０１２０】７番のタイル８２に変化が生ずるのは、オ
ブジェクト８３が横切る、第４、第６フレーム（図１３
（ｄ）（ｅ））である。比較手段５６ａで参照する先行
のフレーム数を最小の１とした場合、入力画像として選
択されるのは、第４フレーム（図１３（ｄ））、第７フ
レーム（図示せず）だけである。更に、参照するフレー
ム数を３とした場合は、第４フレーム（図１３（ｄ））
の７番のタイル８２だけが入力画像として選択される。
【０１２１】次に、伸長用の符号列変換装置５が行な
う、符号列データを復元する処理について説明する。
【０１２２】図１４は、伸長用の符号列変換装置５が、
実際に、どのようにしてフレーム間の類似度に基づい
て、削減された画像領域の符号データを復元するかを詳
細に説明する説明図である。
【０１２３】今、参照する先行のフレーム数を最小の１
とし、第６フレーム（図１４（ｆ））の０番のタイル８
２に注目してみる。画像領域の符号データが残されてい
る一番近いフレームは第４フレームである。従って、復
元用に挿入する符号データは第４フレームにおける０番
のタイル８２のものである。
【０１２４】次に、参照する先行のフレーム数を３と
し、第６フレーム（図１４（ｆ））の６番のタイル８２
に注目してみる。画像領域の符号データが残されている
一番近いフレームは、３フレーム前の第１フレーム（図
１４（ａ））である。従って、復元用に挿入する符号デ
ータは第１フレームの６番のタイル８２のものである。
【０１２５】同様に、参照する先行のフレーム数を３と
し、第６フレーム（図１４（ｆ））の７番タイル８２に
注目してみる。画像領域の符号データが残されている一
番近いフレームは、２フレーム前の第１フレーム（図１
４（ａ））である。従って、復元用に挿入する符号デー
タは第１フレームの７番のタイル８２のものとなる。
【０１２６】次に、比較手段５６ａにおけるフレーム間
の相関を検出する処理について説明する。図１５は、か
かる処理を説明する説明図である。図１５には、連続す
る３フレーム分の符号列データを並べて示している。各
符号列は、ＹＵＶの３コンポーネントで構成されてい
る。デコンポジション・レベル数は３でる。
【０１２７】ここで、３ＬＬサブバンドのウェーブレッ
ト係数値を、フレーム間で比較する。元画像のデジタル
画素値が各ピクセルに８ビットの深さを持っている場
合、ウェーブレット係数値も各ピクセルに対して８ビッ
トの値を持つ。そして、３ＬＬの係数値を比較し、その
結果が、あらかじめ設定した閾値を超えなかった場合に
は、現フレームは入力画像として選択しないようにす
る。閾値は任意に設定することができる。例えば、次第
に下がる傾向に並べると、全ビット一致／下位４ビット
一致／下位２ビット一致／等が考えられる。また、比較
するコンポーネントをＹＵＶの全てではなく、Ｙ成分の
みに限定してもよい。
【０１２８】以上説明した監視カメラシステム１によれ
ば、画像記録装置１０ａは、画像圧縮装置３でMotion J
PEG2000方式の標準のデータ形式で圧縮符号化した後
に、フレーム間で画像の動きがない場合の画像データの
冗長性を符号列変換装置４により解消することができる
ので、符号列変換装置４で処理後の符号列データは削減
した符号データを補うだけでMotion JPEG2000方式で圧
縮した標準のデータ形式に簡易に変換することができ、
また、画像圧縮装置３で処理後のままのデータによりMo
tion JPEG2000方式で圧縮した標準のデータ形式を残し
ておくこともできるので、汎用性が高く、Motion JPEG2
000方式を採用した標準的なシステム（画像圧縮装置
３）で利用することができる符号列データを生成するこ
とができる。
【０１２９】また、画像再生装置１０ｂは、画像記録装
置１０ａにより、Motion JPEG2000方式の標準のデータ
形式で圧縮符号化した後に、フレーム間で画像の動きが
ない場合の画像データの冗長性の解消を図った符号列デ
ータを受信して、符号列変換装置５によりMotion JPEG2
000方式で圧縮した標準のデータ形式にもどすことがで
き、さらに、画像伸長装置６により元の動画像データに
伸長することができるので、Motion JPEG2000方式を採
用した標準的なシステム（画像伸長装置６）を利用し
て、符号列データの伸長を行なうことができる。
【０１３０】図８に示すように、符号列変換装置４は比
較内容変更手段５８を備えている。この比較内容変更手
段５８は、比較手段５６ａで参照すべき先行するフレー
ム数をユーザの選択に応じて変更することができる。ま
た、比較手段５６ａにおける他の比較の内容、すなわ
ち、相関係数値の閾値、係数値を比較する画像の領域や
色成分、そしてサブバンドについても変更することがで
きる。
【０１３１】したがって、ユーザの意図を反映させなが
ら符号データの削減量を調節することができる。
【０１３２】例えば、相関係数値の閾値は、前述のよう
に相関係数値が閾値より小さいとき、すなわち、動画像
の動きの変化が大きいシーンのフレームだけを残すため
に用いられる。例えば、図２２（ａ）に示すように、相
関係数値が時間変化した場合に、値の大きな閾値１を用
いれば、残されるフレームが多くなり（図２２（ｂ）参
照）、値の小さな閾値２を用いれば、残されるフレーム
が少なくなる（図２２（ｃ）参照）。そこで、ユーザは
伝送路のバンド幅や外部符号列記憶装置９の記憶容量に
応じて、閾値を最適な値に設定することができる。
【０１３３】この場合に、比較内容変更手段５８におけ
る、比較手段５６ａでの比較の内容を変更は、圧縮用の
符号列変換装置４に符号列データが入力している途中で
行なうようにしてもよい。
【０１３４】図１６は、かかる処理の具体例を示す説明
図である。図１６において、（ａ）に示すように、符号
列データ８７は、各フレームの符号データ８４とフレー
ム・ヘッダ８８とから構成されている。そして、この符
号列データ８７における各フレームの前述の相関係数の
時間変化を（ｂ）に示している。各フレーム画像エリア
８１は縦横が４×４、計１６個のタイル８２により分割
されている（図１６（ｃ）（ｄ））。
【０１３５】第ｎフレームと第ｎ＋１フレームの間で、
フレーム間の比較の条件を変更する。この変更前及び変
更後の各々の条件を条件Ａ及び条件Ｂとする。変更前の
条件Ａでは、比較する領域を全画像エリア８１とし（図
１６（ｃ））、相関係数値に対する閾値は高く設定した
（閾値α）（図１６（ｂ））。ところが、この動画コン
テンツは、画像の周辺部は比較的動きが少なく、画像の
中心領域でのみフレーム毎の変化が大きいことが判明し
たとする。その場合は、条件をＡからＢに途中で変更す
ることができる。この条件Ｂでは、比較領域を画像の中
心付近に存在する５番、６番、９番、１０番の４個のタ
イル８２に限定し（図１６（ｄ））、閾値も条件Ａに較
べて低くした（閾値β）（図１６（ｂ））。その結果、
条件Ｂでは条件Ａに較べて、画質を重視した符号量の削
減ができるようになる。
【０１３６】符号列変換装置４，５に入力する符号列デ
ータは、通信エラー等により正常に伝送されない場合も
ある。以下では，図１７を参照して、この場合の対処方
法について説明する。
【０１３７】すなわち、図１７（ａ）の符号列データに
おいて、第ｎ＋１フレームは、入力時の異常で欠損して
いる。そこで、符号列変換装置４，５の符号列入力手段
５１，６１では、第ｎ＋１フレームの直前の第ｎフレー
ムの符号データ８４を、欠損した箇所に置換する（図１
７（ｂ））。欠損フレームの符号データ８４が、ヘッダ
８８だけを持っていた場合も、その直前のフレームの符
号データ８４を、欠損した箇所に置換する。図１７
（ｃ）の例では、ヘッダ８８だけでなる第ｎ＋１フレー
ムの符号列データが欠損しているので、図１７（ｄ）に
示すように、第ｎフレームの符号データ８４を、欠損し
た箇所に置換している。このような処理により、代替手
段、代替処理を実現している。このように符号列データ
の一部が失われても、当該フレームの直前のフレームの
符号列データを補うことで、符号列データを代替的に復
元することができる。
【０１３８】また、図１８に示すように、符号列変換装
置４，５にパケット・スクランブル機能を組み込ませて
もよい。すなわち、圧縮用の符号列変換装置４のデータ
の出力部には、符号列データを構成するパケットの順序
を任意に並び替えることのできるパケット・スクランブ
ル手段９１を、一方、伸長用の符号列変換装置５のデー
タ入力部には、符号列データを伸長する前に当該符号列
データを構成するパケットを正しく並べ替えることので
きるパケット・デスクランブル手段９２を、各々設け
る。
【０１３９】パケット・スクランブル手段９１における
スクランブルに関する情報は、符号列データのフレーム
・ヘッダに記述され、パケット・デスクランブル手段９
２によるデスクランブル時に、この情報が読み取られ
る。また、外部符号列記憶装置９にも、スクランブル化
された状態で符号列が蓄えられる。パケット・スクラン
ブル手段９１の実行する機能によりパケット・スクラン
ブル処理を、パケット・デスクランブル手段９２の実行
する機能によりパケット・デスクランブル処理を実現し
ている。
【０１４０】なお、前述の説明では、本発明を監視カメ
ラシステム１に適用する例を説明したが、画像再生装置
１０ｂをパーソナルコンピュータ（ＰＣ）、携帯情報端
末装置（ＰＤＡ）、携帯電話などの情報端末装置として
実施することもできる。
【０１４１】図２１は、このような情報端末装置９５の
一例を示す概念図である。図９と同一符号の要素につい
ては前述のとおりであるため、詳細な説明は省略する。
この情報端末装置９５は、通信インターフェイス９６を
介して、前述のように圧縮符号化した動画像データの符
号列データを受信し、符号列変換装置５、画像伸長装置
６で元の動画像データに伸長して、表示装置９７に動画
像を表示する。このような情報端末装置９５に本発明を
適用する場合も、Motion JPEG2000方式を採用した標準
的なシステムを利用して、符号列データの伸長を行なう
ことができる。
【０１４２】この場合に、符号列データが前述のパケッ
ト・スクランブル手段９１により並べ替えられていると
きは、パケット・デスクランブル手段９２も用意し、符
号列データとともにスクランブル解読キーも受信して、
符号列データを構成するパケットを正しく並べ替えるよ
うにすることができる。
【０１４３】
【発明の効果】請求項１に記載の発明は、符号列変換装
置で処理後の符号列データは削減した符号データを補う
だけでMotion JPEG2000方式で圧縮した標準のデータ形
式に簡易に変換することができ、また、画像圧縮装置で
処理後のままのデータによりMotion JPEG2000方式で圧
縮した標準のデータ形式を残しておくこともできるの
で、汎用性が高く、Motion JPEG2000方式を採用した標
準的なシステムで利用することができる符号列データを
生成することができる。
【０１４４】請求項２に記載の発明は、Motion JPEG200
0方式の標準のデータ形式で圧縮符号化した後に、フレ
ーム間で画像の動きがない場合の画像データの冗長性の
解消を図った符号列データについて、Motion JPEG2000
方式を採用した標準的なシステムを利用して、符号列デ
ータの伸長を行なうことができる。
【０１４５】請求項３に記載の発明は、請求項１に記載
の画像処理装置において、ウェーブレット係数値の相関
係数を求めて閾値と比較することにより、フレーム間で
画像の動きがない場合の画像データの冗長性を解消する
ことができる。
【０１４６】請求項４に記載の発明は、請求項３に記載
の画像処理装置において、復号化及び逆量子化の処理に
より求められたウェーブレット係数値を比較することに
より、両フレームのウェーブレット係数値間の相関係数
値を求めることができる。
【０１４７】請求項５に記載の発明は、請求項３又は４
に記載の画像処理装置において、圧縮後の符号列データ
を通信ネットワークを介して送信する場合等に、動画像
データの秘密性を高めることができる。
【０１４８】請求項６に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、ユーザの意
図を反映させながら符号データの削減量を調節すること
ができる。
【０１４９】請求項７に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、閾値を変更
することで、ユーザの意図を反映させながら符号データ
の削減量を調節することができる。
【０１５０】請求項８に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、フレームの
比較領域を変更することで、ユーザの意図を反映させな
がら符号データの削減量を調節することができる。
【０１５１】請求項９に記載の発明は、請求項３〜５の
何れかの一に記載の画像処理装置において、比較する色
成分のコンポーネントを変更することで、ユーザの意図
を反映させながら符号データの削減量を調節することが
できる。
【０１５２】請求項１０に記載の発明は、請求項３〜５
の何れかの一に記載の画像処理装置において、比較する
先行のフレームを変更することで、ユーザの意図を反映
させながら符号データの削減量を調節することができ
る。
【０１５３】請求項１１に記載の発明は、請求項３〜５
の何れかの一に記載の画像処理装置において、比較する
サブバンドを変更することで、ユーザの意図を反映させ
ながら符号データの削減量を調節することができる。
【０１５４】請求項１２に記載の発明は、請求項２に記
載の画像処理装置において、符号量を削減された後の符
号列データを通信ネットワークを介して送信する場合等
に、動画像データの秘密性を高めることができる。
【０１５５】請求項１３に記載の発明は、請求項２又は
１２に記載の画像処理装置において、圧縮後の符号列デ
ータを通信ネットワークを介して送信する場合等に、符
号列データの一部が失われても、当該フレームの直前の
フレームの符号列データを補うことで、符号列データを
代替的に復元することができる。
【０１５６】請求項１４に記載の発明は、動画像を撮像
して圧縮する際に、請求項１の発明と同様の効果を奏す
ることができる。
【０１５７】請求項１５に記載の発明は、圧縮された動
画像データを伸長して表示する際に、請求項２の発明と
同様の効果を奏することができる。
【０１５８】請求項１６に記載の発明は、画像記録装置
で動画像を撮像して圧縮し、その状態で保存、送信等を
行ない、画像記録装置で圧縮された動画像データを伸長
して表示する際に、請求項１，２の発明と同様の効果を
奏することができる。
【０１５９】請求項１７に記載の発明は、本プログラム
に基づく処理後の符号列データは、削減した符号データ
を補うだけでMotion JPEG2000方式で圧縮した標準のデ
ータ形式に簡易に変換することができ、また、所定の画
像圧縮装置で処理後のままのデータによりMotion JPEG2
000方式で圧縮した標準のデータ形式を残しておくこと
もできるので、汎用性が高く、Motion JPEG2000方式を
採用した標準的なシステムで利用することができる符号
列データを生成することができる。
【０１６０】請求項１８に記載の発明は、Motion JPEG2
000方式の標準のデータ形式で圧縮符号化した後に、フ
レーム間で画像の動きがない場合の画像データの冗長性
の解消を図った符号列データについて、Motion JPEG200
0方式を採用した標準的なシステムを利用して、符号列
データの伸長を行なうことができる。
【０１６１】請求項１９に記載の発明は、請求項１７に
記載のプログラムにおいて、ウェーブレット係数値の相
関係数値を求めて閾値と比較することにより、フレーム
間で画像の動きがない場合の画像データの冗長性を解消
することができる。
【０１６２】請求項２０に記載の発明は、請求項１９に
記載のプログラムにおいて、復号化及び逆量子化の処理
により求められたウェーブレット係数値を比較すること
により、両フレームのウェーブレット係数値間の相関係
数値を求めることができる。
【０１６３】請求項２１に記載の発明は、請求項１９又
は２０に記載のプログラムにおいて、符号量を削減され
た後の符号列データを通信ネットワークを介して送信す
る場合等に、動画像データの秘密性を高めることができ
る。
【０１６４】請求項２２に記載の発明は、請求項１９〜
２１の何れかの一に記載のプログラムにおいて、ユーザ
の意図を反映させながら符号データの削減量を調節する
ことができる。
【０１６５】請求項２３に記載の発明は、請求項１８に
記載のプログラムにおいて、符号量を削減された後の符
号列データを通信ネットワークを介して送信する場合等
に、動画像データの秘密性を高めることができる。
【０１６６】請求項２４に記載の発明は、請求項１８又
は２３に記載のプログラムにおいて、符号量を削減され
た後の符号列データを通信ネットワークを介して送信す
る場合等に、符号列データの一部が失われても、当該フ
レームの直前のフレームの符号列データを補うことで、
符号列データを代替的に復元することができる。
【０１６７】請求項２５に記載の発明は、請求項１７〜
２４の何れかの一に記載の発明と同様の効果を奏する。
【図面の簡単な説明】
【図１】JPEG2000方式の基本となる階層符号化アルゴリ
ズムを実現するシステムの機能ブロック図である。
【図２】「階層符号化アルゴリズム」及び「JPEG2000ア
ルゴリズム」について説明する説明図である。
【図３】「階層符号化アルゴリズム」及び「JPEG2000ア
ルゴリズム」について説明する説明図である。
【図４】「階層符号化アルゴリズム」及び「JPEG2000ア
ルゴリズム」について説明する説明図である。
【図５】「階層符号化アルゴリズム」及び「JPEG2000ア
ルゴリズム」について説明する説明図である。
【図６】本実施の形態である監視カメラシステムの全体
構成を示すブロック図である。
【図７】監視カメラシステムの電気的な接続を示すブロ
ック図である。
【図８】監視カメラシステムを構成する画像記録装置の
構成を示すブロック図である。
【図９】監視カメラシステムを構成する画像再生装置の
構成を示すブロック図である。
【図１０】画像記録装置が行なう処理を説明する説明図
である。
【図１１】画像記録装置が行なう処理を説明する説明図
である。
【図１２】画像記録装置が行なう処理の他の例を説明す
る説明図である。
【図１３】画像記録装置が行なう処理の他の例を説明す
る説明図である。
【図１４】画像記録装置が行なう処理を説明する説明図
である。
【図１５】画像記録装置が行なう処理を説明する説明図
である。
【図１６】比較内容変更手段が行なう処理を説明する説
明図である。
【図１７】代替手段が行なう処理を説明する説明図であ
る。
【図１８】符号列データの並べ替えについて説明する説
明図である。
【図１９】画像記録装置が行なう処理のフローチャート
である。
【図２０】画像再生装置が行なう処理のフローチャート
である。
【図２１】別の実施の形態である情報端末装置の全体構
成を示すブロック図である。
【図２２】相関係数値の閾値の変更について説明する説
明図である。
【符号の説明】
１ カメラシステム ２ 画像入力装置 ３ 画像圧縮装置 ４ 符号列変換装置 ５ 符号列変換装置 ６ 画像伸長装置 ７ 画像表示装置 １０ａ 画像記録装置 １０ｂ 画像再生装置 １２ａ 記憶媒体 １２ｂ 記憶媒体 ５２ 構文解析手段 ５３ 符号列作成手段 ５６ａ 比較手段 ５８ 比較内容変更手段 ６２ 構文解析手段 ６３ 符号列作成手段 ９５ 画像再生装置 ９７ 表示装置
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 GB23 GB26 GB28 GB30 GB32 LA01 LA14 5C059 KK43 MA00 MA05 MA24 MA32 MC11 ME01 PP04 PP15 PP16 RB02 RB09 RC01 RF01 RF09 RF21 SS10 SS11 SS14 SS20 SS26 TA22 TB08 TC04 TC34 TC41 TC50 TD05 TD12 UA02 UA05 5C064 CA14 CB01 5J064 AA02 BA16 BB13 BC14 BC16 BC22 BC27 BC29 BD03

Claims (25)

    【特許請求の範囲】
  1. 【請求項１】 動画像データについてフレームごとに１
    又は複数の矩形領域に分割し当該矩形領域ごとに画素値
    を離散ウェーブレット変換し階層的に圧縮符号化する画
    像圧縮装置と、 この圧縮符号化後の符号列データについてフレーム間の
    比較により符号データを削減する符号列変換装置と、を
    備え、 前記符号列変換装置は、 前記圧縮符号化後の符号列データの構文を解析する構文
    解析手段と、 この解析の結果によりフレームごとに先行するフレーム
    と比較して類似度を判定する比較手段と、 この判定により前記矩形領域ごとに符号データを削減す
    る符号列作成手段と、を備えている、画像処理装置。
  2. 【請求項２】 動画像データについてフレームごとに１
    又は複数の矩形領域に分割されて当該矩形領域ごとに画
    素値を離散ウェーブレット変換により階層的に圧縮符号
    化され、さらに、フレーム間の比較により符号データが
    削減されている符号列データについて、前記削減がされ
    ている符号データを補って当該符号列データの復元を行
    なう符号列変換装置と、 この復元後の符号列データについてウェーブレット係数
    値までの変換を行なうウェーブレット伸長装置と、を備
    え、 前記符号列変換装置は、 前記符号列データの構文を解析する構文解析手段と、 前記符号データの削減されている前記矩形領域について
    は、前記解析の結果により当該矩形領域の削減されてい
    る符号データに代替すべく指定されている先行するフレ
    ームの符号データを判断して当該矩形領域に補なうこと
    で、符号列データの復元を行なう符号列作成手段と、を
    備えている、画像処理装置。
  3. 【請求項３】 前記比較手段は、対象となるフレームと
    当該フレームに先行するフレームとの間で類似度を求め
    るために、この両フレームのウェーブレット係数値の相
    関係数値を求めて所定の閾値と比較するものである、請
    求項１に記載の画像処理装置。
  4. 【請求項４】 前記符号列変換装置は、前記比較手段で
    用いる両フレームのウェーブレット係数値を求めるため
    に復号化及び逆量子化する変換手段を備えている、請求
    項３に記載の画像処理装置。
  5. 【請求項５】 前記符号列変換装置は、前記符号列作成
    手段で符号量を削減された後の符号列データを構成する
    パケットの順序を任意に並び替え、当該並び替えに関す
    る情報を当該符号列データに記述するパケット・スクラ
    ンブル手段を備えている、請求項３又は４に記載の画像
    処理装置。
  6. 【請求項６】 前記比較手段による前記両フレームの比
    較の内容を変更する比較内容変更手段を備えている、請
    求項３〜５の何れかの一に記載の画像処理装置。
  7. 【請求項７】 前記比較内容変更手段は、前記閾値を変
    更する、請求項３〜５の何れかの一に記載の画像処理装
    置。
  8. 【請求項８】 前記比較内容変更手段は、前記比較手段
    による前記両フレームの比較する領域を変更する、請求
    項３〜５の何れかの一に記載の画像処理装置。
  9. 【請求項９】 前記比較内容変更手段は、前記比較手段
    による前記両フレームの比較する色成分のコンポーネン
    トを変更する、請求項３〜５の何れかの一に記載の画像
    処理装置。
  10. 【請求項１０】 前記比較内容変更手段は、前記比較手
    段により比較する前記先行するフレームを変更する、請
    求項３〜５の何れかの一に記載の画像処理装置。
  11. 【請求項１１】 前記比較内容変更手段は、前記比較手
    段による前記両フレームの比較するサブバンドを変更す
    る、請求項３〜５の何れかの一に記載の画像処理装置。
  12. 【請求項１２】 前記符号列変換装置は、前記符号列デ
    ータの復元を行なう前に当該符号列データに記述されて
    いる当該符号列データに施されているパケットの並べ替
    えに関する情報を参照して、パケットの順序が並び替え
    られている当該符号列データを元の順序に並べ替えるパ
    ケット・デスクランブル手段を備えている、請求項２に
    記載の画像処理装置。
  13. 【請求項１３】 前記符号列変換装置は、前記復元を行
    なうことができないときは、当該フレームの符号列デー
    タに当該フレームの直前のフレームの符号列データを補
    うことで前記復元を代替する代替手段を備えている、請
    求項２又は１２に記載の画像処理装置。
  14. 【請求項１４】 動画像を撮像する画像入力装置と、こ
    の撮像した動画像データを処理する請求項１，３〜１１
    に記載の画像処理装置と、を備えている画像記録装置。
  15. 【請求項１５】 動画像データについてフレームごとに
    １又は複数の矩形領域に分割して当該矩形領域ごとに階
    層的に圧縮符号化し、また、フレーム間の圧縮を行なっ
    ている符号列データを処理する請求項２、１２，１３に
    記載の画像処理装置と、 この処理後の動画像データに基づいて動画像を表示する
    画像表示装置と、を備えている画像再生装置。
  16. 【請求項１６】 請求項１４に記載の画像記録装置と、
    請求項１５に記載の画像再生装置と、を備えていて、前
    記画像記録装置の画像処理装置で処理後の符号列データ
    を前記画像再生装置の画像処理装置で処理する、カメラ
    システム。
  17. 【請求項１７】 動画像データについてフレームごとに
    １又は複数の矩形領域に分割され当該矩形領域ごとに画
    素値を離散ウェーブレット変換により階層的に圧縮符号
    化されている符号列データについて、当該符号列データ
    の構文を解析する構文解析処理と、 この解析の結果によりフレームごとに先行するフレーム
    とを比較して類似度を判定する比較処理と、 この判定により前記矩形領域ごとに符号データを削減す
    る符号列作成処理と、をコンピュータに実行させるコン
    ピュータに読取り可能なプログラム。
  18. 【請求項１８】 動画像データについてフレームごとに
    １又は複数の矩形領域に分割され当該矩形領域ごとに画
    素値が離散ウェーブレット変換により階層的に圧縮符号
    化され、さらに、前記矩形領域ごとに符号データが削減
    されている符号列データについて、当該符号列データの
    構文を解析する構文解析処理と、 前記符号データの削減されている前記矩形領域について
    は、前記解析の結果により当該矩形領域の削減されてい
    る符号データに代替すべく指定されている先行するフレ
    ームの符号データを判断して当該矩形領域に補なうこと
    で、符号列データの復元を行なう符号列作成処理と、を
    コンピュータに実行させるコンピュータに読取り可能な
    プログラム。
  19. 【請求項１９】 前記比較処理は、対象となるフレーム
    と当該フレームに先行するフレームとの間で類似度を求
    めるために、この両フレームのウェーブレット係数値の
    相関係数値を求めて所定の閾値と比較するものである、
    請求項１７に記載のプログラム。
  20. 【請求項２０】 前記比較処理で用いる両フレームのウ
    ェーブレット係数値を求めるために復号化及び逆量子化
    する変換処理をコンピュータに実行させる、請求項１９
    に記載のプログラム。
  21. 【請求項２１】 前記符号列作成処理で符号量を削減さ
    れた後の符号列データを構成するパケットの順序を任意
    に並び替え、当該並び替えに関する情報を当該符号列デ
    ータに記述するパケット・スクランブル処理をコンピュ
    ータに実行させる、請求項１９又は２０に記載のプログ
    ラム。
  22. 【請求項２２】 前記比較処理による前記両フレームの
    比較の内容を変更する比較内容変更処理をコンピュータ
    に実行させる、請求項１９〜２１の何れかの一に記載の
    プログラム。
  23. 【請求項２３】 前記符号列データの復元を行なう前に
    当該符号列データに記述されている当該符号列データに
    施されているパケットの並べ替えに関する情報を参照し
    て、パケットの順序が並び替えられている当該符号列デ
    ータを元の順序に並べ替えるパケット・デスクランブル
    処理をコンピュータに実行させる、請求項１８に記載の
    プログラム。
  24. 【請求項２４】 前記復元を行なうことができないとき
    は、当該フレームの符号列データに当該フレームの直前
    のフレームの符号列データを補うことで前記復元を代替
    する代替処理をコンピュータに実行させる、請求項１８
    又は２３に記載のプログラム。
  25. 【請求項２５】 請求項１７〜２４の何れかの一に記載
    のプログラムを記憶している記憶媒体。
JP2002126423A 2002-04-26 2002-04-26 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法 Expired - Fee Related JP4350342B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002126423A JP4350342B2 (ja) 2002-04-26 2002-04-26 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法
US10/420,887 US7158682B2 (en) 2002-04-26 2003-04-23 Image processing apparatus, image recording apparatus, image reproducing apparatus, camera system, computer program, and storage medium
US11/567,640 US7308147B2 (en) 2002-04-26 2006-12-06 Image processing apparatus, image recording apparatus, image reproducing apparatus, camera system, computer program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002126423A JP4350342B2 (ja) 2002-04-26 2002-04-26 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2003319402A true JP2003319402A (ja) 2003-11-07
JP4350342B2 JP4350342B2 (ja) 2009-10-21

Family

ID=29540839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002126423A Expired - Fee Related JP4350342B2 (ja) 2002-04-26 2002-04-26 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法

Country Status (2)

Country Link
US (2) US7158682B2 (ja)
JP (1) JP4350342B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988990B2 (ja) * 2002-08-27 2007-10-10 株式会社リコー 符号変換装置、符号変換方法、プログラム及び記録媒体
JP2004104347A (ja) * 2002-09-06 2004-04-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4229323B2 (ja) * 2003-09-05 2009-02-25 株式会社リコー 符号化装置、符号化方法及びプログラム
US7912291B2 (en) * 2003-11-10 2011-03-22 Ricoh Co., Ltd Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain
CA2455043A1 (en) * 2004-01-09 2005-07-09 Digital Multitools Inc. Method and apparatus for facilitating control of a target computer by a remote computer
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
EP1889370A4 (en) * 2005-06-03 2009-04-22 Commw Of Australia MATRIX COMPRESSION ARRANGEMENTS
JP4755012B2 (ja) * 2005-06-29 2011-08-24 株式会社エヌ・ティ・ティ・ドコモ 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
US20070067726A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Content sharing user interface for mobile devices
US7933632B2 (en) * 2005-09-16 2011-04-26 Microsoft Corporation Tile space user interface for mobile devices
US7873356B2 (en) * 2005-09-16 2011-01-18 Microsoft Corporation Search interface for mobile devices
US7365658B2 (en) * 2006-02-28 2008-04-29 The Board Of Trustees Of The University Of Arkansas Method and apparatus for lossless run-length data encoding
WO2008007760A1 (fr) * 2006-07-13 2008-01-17 Nec Corporation Dispositif de codage et de décodage, procédé de codage et procédé de décodage
KR101197146B1 (ko) * 2007-08-30 2012-11-08 삼성전자주식회사 화상형성장치 및 시스템과, 이 장치의 파일 관리방법
GB0810205D0 (en) * 2008-06-04 2008-07-09 Advanced Risc Mach Ltd Graphics processing systems
KR101199166B1 (ko) * 2010-08-27 2012-11-07 현대자동차주식회사 보간 프레임 생성 시스템
US10698918B2 (en) * 2013-11-20 2020-06-30 Qliktech International Ab Methods and systems for wavelet based representation
US9992252B2 (en) 2015-09-29 2018-06-05 Rgb Systems, Inc. Method and apparatus for adaptively compressing streaming video
KR102554419B1 (ko) 2017-12-26 2023-07-11 삼성전자주식회사 프리페칭된 그래픽스 데이터를 이용하여 타일 기반 렌더링을 수행하는 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3616607A1 (de) 1985-05-17 1986-11-20 Ricoh Co., Ltd., Tokio/Tokyo Lichtempfindliches material fuer die elektrophotographie
JP3149328B2 (ja) * 1995-01-09 2001-03-26 松下電器産業株式会社 送信装置と受信装置
US6218703B1 (en) 1995-07-23 2001-04-17 Ricoh Company, Ltd. Semiconductor device with control electrodes formed from semiconductor material
JP3337599B2 (ja) 1995-07-24 2002-10-21 株式会社リコー 半導体装置およびインバータ回路並びにコンパレータ並びにａ／ｄコンバータ回路
US6449392B1 (en) * 1999-01-14 2002-09-10 Mitsubishi Electric Research Laboratories, Inc. Methods of scene change detection and fade detection for indexing of video sequences
JP2001309381A (ja) 2000-04-25 2001-11-02 Canon Inc 画像処理装置及びその方法と記憶媒体
TW530495B (en) * 2001-05-16 2003-05-01 Cyberlink Corp System and method for processing compressed data stream
US20020191698A1 (en) * 2001-06-15 2002-12-19 Solidstreaming, Inc. Video data CODEC system with low computational complexity

Also Published As

Publication number Publication date
US7158682B2 (en) 2007-01-02
US7308147B2 (en) 2007-12-11
US20070086661A1 (en) 2007-04-19
JP4350342B2 (ja) 2009-10-21
US20030219162A1 (en) 2003-11-27

Similar Documents

Publication Publication Date Title
JP4350342B2 (ja) 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法
US8000542B2 (en) Apparatus and method for processing image data based on object movement speed within a frame
JP4365957B2 (ja) 画像処理方法及びその装置及び記憶媒体
JPH10257502A (ja) 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
JPH06153180A (ja) 画像データ符号化方法及び装置
WO1999027715A1 (en) Method and apparatus for compressing reference frames in an interframe video codec
US8855198B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
US7113644B2 (en) Image coding apparatus and image coding method
JP3918263B2 (ja) 圧縮符号化装置および符号化方法
US7492951B2 (en) Image processing method and apparatus, and computer-readable storage medium
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
CN112672164B (zh) 视频压缩系统及方法、视频解压缩系统及方法
JP2005533432A (ja) ３ｄウェーブレットビデオコーディング方法、デコーディング方法及び対応する装置
KR20070058637A (ko) 순열 지연
KR101421231B1 (ko) 웨이블릿 변환을 이용한 영상 압축 장치
JP2001309381A (ja) 画像処理装置及びその方法と記憶媒体
JP4124436B2 (ja) 動き量推定装置、プログラム、記憶媒体および動き量推定方法
JP3141149B2 (ja) 画像符号化装置
KR100535338B1 (ko) 고속 검색이 가능한 디지털 감시 장치 및 방법
JP4040404B2 (ja) 符号列変換装置及び方法、画像処理装置並びに画像記録装置
JP4934808B2 (ja) 画像通信装置及び画像通信方法
JP2004215155A (ja) 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム
JP2000209592A (ja) 画像伝送装置と方法及びシステムとその制御方法
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP2005110145A (ja) 符号列変換装置、符号列変換方法、撮影システム、画像表示システム、監視システム、プログラム、及び、情報記録媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050414

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20060922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070309

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090722

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees