JP2004215155A - 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム - Google Patents
動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム Download PDFInfo
- Publication number
- JP2004215155A JP2004215155A JP2003002103A JP2003002103A JP2004215155A JP 2004215155 A JP2004215155 A JP 2004215155A JP 2003002103 A JP2003002103 A JP 2003002103A JP 2003002103 A JP2003002103 A JP 2003002103A JP 2004215155 A JP2004215155 A JP 2004215155A
- Authority
- JP
- Japan
- Prior art keywords
- code
- code string
- image
- frame
- motion amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Abstract
【課題】簡単な方法で、かつ、短い処理時間、少ない消費エネルギーで、画像の動き量を検出できるようにする。
【解決手段】パケット長読取手段１２は、動画像を圧縮符号化した符号列のヘッダ部に記述されたペイロード部のパケット長情報を解読する。この場合、解読に使用されるデータは直交変換係数値の数の和、すなわち符号量であり、直交変換係数値そのものではない。差分検出手段１４は、符号列に含まれる現フレームと参照フレームとの間で、注目している領域、色成分、あるいは、サブバンド等における符号量に関して差分値を算出する。
【選択図】 図２
【解決手段】パケット長読取手段１２は、動画像を圧縮符号化した符号列のヘッダ部に記述されたペイロード部のパケット長情報を解読する。この場合、解読に使用されるデータは直交変換係数値の数の和、すなわち符号量であり、直交変換係数値そのものではない。差分検出手段１４は、符号列に含まれる現フレームと参照フレームとの間で、注目している領域、色成分、あるいは、サブバンド等における符号量に関して差分値を算出する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の動き量を検出する動き量検出装置、動き量検出装置を備えている符号列変換装置、画像圧縮装置及び撮像装置並びにこれらの装置の機能を実行するプログラムに関する。
【０００２】
【従来の技術】
従来、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ ＪＰＥＧが使用されている。また、最近、Ｍｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００３】
Ｍｏｔｉｏｎ静止画像で、フレーム間の動き量の情報は、直交変換係数値を直接比較することにより得ることができる。直交変換に、離散ウエーブレット変換（ＤＷＴ）を使用した技術としては、特許文献１に開示のものがある。また、離散コサイン変換（ＤＣＴ）を使用した技術としては、特許文献２に開示のものがある。
【０００４】
【特許文献１】特開２００１−３０９３８１公報
【特許文献２】特開平６−１９７３２７号公報
【発明が解決しようとする課題】
ＭＰＥＧ方式とＭｏｔｉｏｎ静止画像方式の違いは、後者はフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともないという利点がある。このように、ＭＰＥＧ方式、Ｍｏｔｉｏｎ静止画像方式は、各々特長を持っている。そして、アプリケーション毎に方式が適宜使い分けられている。
【０００５】
そして、フレーム内符号化だけを行うのが、標準的なＭｏｔｉｏｎ静止画像方式であったが、特許文献１，２の例のように、最近になってフレーム間の相関を使って、より圧縮率を上げる試みが始められている。その背景には、静止画像入力デバイスの高精細化、Ｍｏｔｉｏｎ静止画像符号化の高速処理化、ネットワークのブロードバンド化等により、静止画と動画像の境界が次第に不明瞭になってきていることがあると考えられる。
【０００６】
しかしながら、フレーム間の相関を求める従来の技術には、次の（１）〜（３）のような不具合がある。
【０００７】
（１）処理速度の遅さ
フレーム間の相関を求めるのに、詳細な直交変換係数値を使う従来の方法は、処理に時間がかかるという不具合があった。なぜなら、対象となる符号列の直交変換係数値を復号化し、更に、逆量子化するという、複雑な処理を経る必要があるからである。すなわち、従来の方法は、符号列を復号化、逆量子化した後の直交変換係数値を対象として、現フレームとそれ以前のフレームとの直交変換係数値同士を比較することにより画像の動き量を検出するものであり、符号列の直交変換係数値を復号化し、更に、逆量子化するという処理に時間を要し、また、消費電力を減らすことを妨げてもいた。このことは、電池駆動の携帯情報端末機器の場合、大きな問題であった。
【０００８】
（２）複数動画像の時系列集約の難しさ
従来、同時刻に、異なるカメラで撮影された複数本の動画像を、個々のフレームが撮影された時刻に沿って集約することは、極めて煩雑で、手間のかかる作業であった。また、このように時系列に整理された動画像を、一つのファイルとして保存することも困難であった。すなわち、異なるカメラで撮影された複数本の動画像の各符号列について、その各フレームが撮影時刻に一致するように並べ替えて１本の符号列に集約する必要があるからである。図２３は、この点を説明するものであり、図２３（ａ）の動画像Ａ〜Ｈについて撮影開始時刻、撮影終了時刻が図示のとおりである場合に（画像Ａの場合は撮影開始時刻が４０、撮影終了時刻が１２０）、図２３（ｂ）のような時系列となるように１本の符号列に集約しなければならない。
【０００９】
（３）高画質化
従来、輪郭部分だけがごく僅かに移動する等、画像の動き量が小さい場合、動画領域（画像の動きのある領域）であるにも関わらず背景領域（画像の動きのない領域）とみなしてしまうという不具合があった。その対策として、動画領域であると判断するのに用いる閾値を低く設定すれば、今度は背景領域を動画領域として認識してしまう画像領域が現われてしまう不具合がある。
【００１０】
本発明の目的は、簡単な方法で、かつ、短い処理時間、少ない消費エネルギーで、画像の動き量を検出できるようにすることである。
【００１１】
この発明の別の目的は、複数の動画像を、簡単に時系列集約できるようにすることである。
【００１２】
この発明の別の目的は、動画領域と背景領域とを的確に識別して、不要なフレームを削除しても画像を高画質にできるようにすることである。
【００１３】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換した直交変換係数値の符号量を読み取る符号量読取手段と、前記直交変換係数値の目的のフレームと他のフレームとの間で、前記符号量読取手段で読み取られた符号量同士を比較してその差分値を求めて前記直交変換係数値の画像の動き量を検出する差分検出手段と、を備えている動き量検出装置である。
【００１４】
したがって、画像の動き量を符号量から求めるため、従来のようにまた、直交変換係数値を復号化し、逆量子化する処理は不要となり、処理を高速化し、処理に必要なメモリ要領を低減でき、処理に必要な電力も低減できる。
【００１５】
請求項２に記載の発明は、請求項１に記載の動き量検出装置において、前記検出された差分値と比較する１又は複数の閾値を設定する閾値設定手段を備えている。
【００１６】
したがって、閾値との比較により動き量を判断することができる。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の動き量検出装置において、前記差分検出手段は、前記他のフレームを前記目的のフレームの直前に位置しているフレームとする。
【００１８】
したがって、直前に位置しているフレームと符号量を比較して、目的のフレームについて動き量を検出することができる。
【００１９】
請求項４に記載の発明は、請求項１〜３のいずれかの一に記載の動き量検出装置において、前記動き量について単位時間当たりの変化量を検出する動き量変化量検出手段を備えている。
【００２０】
したがって、動き量の単位時間当たりの変化量から動きの激しさを判断することができる。
【００２１】
請求項５に記載の発明は、請求項１〜３のいずれかの一に記載の動き量検出装置において、前記動き量を検出する対象を、前記直交変換係数値の領域、コンポーネント又はサブバンドごとに指定する動き量検出対象指定手段を備えている。
【００２２】
したがって、所望の領域、コンポーネント又はサブバンドごとに動き量を検出することができる。
【００２３】
請求項６に記載の発明は、請求項１〜５のいずれかの一に記載の動き量検出装置において、前記符号量読取手段は、離散ウエーブレット変換を前記直交変換として用いた前記直交変換係数値の前記符号量を読み取る。
【００２４】
したがって、離散ウエーブレット変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【００２５】
請求項７に記載の発明は、請求項１〜５のいずれかの一に記載の動き量検出装置において、前記符号量読取手段は、離散コサイン変換を前記直交変換として用いた前記直交変換係数値の前記符号量を読み取る。
【００２６】
したがって、離散コサイン変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【００２７】
請求項８に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換して階層的に圧縮符号化した符号列について、前記直交変換係数値の画像の動き量を検出する請求項１〜７のいずれかの一に記載の動き量検出装置と、前記動き量検出装置で検出した前記動き量に基づいて前記符号列中からフレームを取捨選択するフレーム選択手段と、この取捨選択後のフレームを用いた新たな符号列を生成する符号列作成手段と、を備えている符号列変換装置である。
【００２８】
したがって、画像の動き量から不要なフレームを削除した新たな符号列を作成して、符号量を低減することができる。
【００２９】
請求項９に記載の発明は、請求項８に記載の符号列変換装置において、前記符号列作成手段で前記符号列を作成する際に符号化されたデータをコンポーネントに配置するコンポーネント配置手段を備えている。
【００３０】
したがって、符号化されたデータをコンポーネントに配置して新たな符号列を作成することができる。
【００３１】
請求項１０に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換する直交変換手段と、この直交変換後の動画像データを対象として前記動き量の検出を行う請求項１〜７のいずれかの一に記載の動き量検出装置と、前記動き量検出装置で検出した前記動き量に基づいて前記動画像データ中からフレームを取捨選択するフレーム選択手段と、この取捨選択後のフレームにを用いて前記動画像データを階層的に圧縮符号化した符号列を生成する符号列作成手段と、を備えている画像圧縮装置である。
【００３２】
したがって、動画像データについて画像の動き量から不要なフレームを削除した符号列を作成して、符号量を低減することができる。
【００３３】
請求項１１に記載の発明は、請求項１０に記載の画像圧縮装置において、前記符号列作成手段で前記符号列を作成する際に符号化されたデータをコンポーネントに配置するコンポーネント配置手段を備えている。
【００３４】
したがって、符号化されたデータをコンポーネントに配置して動画像データから符号列を作成することができる。
【００３５】
請求項１２に記載の発明は、請求項１１に記載の画像圧縮装置において、前記コンポーネント配置手段は、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置する。
【００３６】
したがって、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置して、動画像データから符号列を作成することができる。
【００３７】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像圧縮装置において、前記コンポーネント配置手段は、各入力符号列にコンポーネントを指定して符号データを配置する。
【００３８】
したがって、各入力符号列にコンポーネントを指定して符号データを配置して、動画像データから符号列を作成することができる。
【００３９】
請求項１４に記載の発明は、動画像を撮像する画像入力装置と、この撮像後の動画像データを圧縮符号化した符号列とする請求項１０〜１３のいずれかの一に記載の符号列変換装置と、を備えている撮像装置である。
【００４０】
したがって、動画像を撮像して画像データを圧縮符号化することができる。
【００４１】
請求項１５に記載の発明は、動画像を撮像する複数の画像入力装置と、この撮像後の各動画像データを圧縮符号化して当該各動画像データを１本の符号列に合成する請求項１１〜１３のいずれかの一に記載の符号列変換装置と、を備えている撮像システムである。
【００４２】
したがって、複数点で動画像を撮像して、各画像データを１本の符号列に圧縮符号化することができる。
【００４３】
請求項１６に記載の発明は、請求項１５に記載の撮像システムにおいて、前記符号列変換装置は、前記各動画像データを異なるコンポーネントに配置するように前記合成を行う。
【００４４】
したがって、複数点で撮像した動画像データを同時に時系列に並べ整理することが容易になる。
【００４５】
請求項１７に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換して階層的に圧縮符号化した符号列を伸長する画像伸長手段と、この伸長後の画像データを画像表示装置に表示する画像表示手段と、前記符号列中からユーザが指定したフレームを削除して残った符号データをコンポーネントに再配置した新しい符号列を作成する符号列変換手段と、を備えている画像編集装置である。
【００４６】
したがって、前述の符号列変換装置、画像圧縮装置で作成された符号列で、画像に動きのない又は少ない背景領域を画像に動きのある又は多い動画領域と誤って判断していても、そのような不要なフレームは画像を表示して確認した上で削除することができるので、背景のチラツキ等の問題を解決し、自然な動画像を再生することが可能となり、画質を向上させることができる。
【００４７】
請求項１８に記載の発明は、請求項１〜７のいずれかの一に記載の動き量検出装置、請求項８若しくは９に記載の符号列変換装置、請求項１０〜１３のいずれかの一に記載の画像圧縮装置又は請求項１７に記載の画像編集装置の前記各手段をコンピュータに実行させるコンピュータに読取可能なプログラムである。
【００４８】
したがって、請求項１〜１７のいずれかの一に記載の発明と同様の作用、効果を奏する。
【００４９】
【発明の実施の形態】
［前提技術の概要］
まず、本実施の形態の前提技術となる「直交変換係数の配置」、「階層符号化アルゴリズム」、及び、「ＪＰＥＧ２０００アルゴリズム」の概要について、各々順に説明する。
【００５０】
（１）「直交変換係数の配置」について
図１４は二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを、図１５は二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を、各々示している。これらの直交変換を採用した、代表的な符号化アルゴリズムとしては、各々、ＪＰＥＧアルゴリズムとＪＰＥＧ２０００アルゴリズムが知られている。
【００５１】
そして、図１６に概念的に示すように、ＪＰＥＧ２０００アルゴリズムで符号化後の符号列は、ＳＯＣ（Ｓｔａｒｔ Ｏｆ Ｃｏｄｅｓｔｒｅａｍ）を先頭、ＥＯＣ（Ｅｎｄ Ｏｆ Ｃｏｄｅｓｔｒｅａｍ）を末尾として配列され、直交変換係数値はペイロード部２１１に、その要約された情報がヘッダ部２１２に、符号列の中で配置される。符号列中のヘッダ部２０２は、構文解析手段２１３により検出され、パケット長読取手段２１４によりパケット長（ペイロード部のサブバンド符号量）が読み出される。
【００５２】
（２）「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」について
図１７は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。この階層符号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２０２、量子化・逆量子化部２０３、エントロピー符号化・復号化部２０４、タグ処理部２０５で構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部２０５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データが符号列として生成され、伸長動作時には伸長に必要な符号列の解釈が行われる。そして、符号列によって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。
【００５３】
例えば、図１８はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図１５に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。なお、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００ ＰａｒｔＩ ＦＤＩＳ（Ｆｉｎａｌ Ｄｒａｆｔ ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ）には、以下のように定義されている。
ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｌｅｖｅｌ：
Ａ ｃｏｌｌｅｃｔｉｏｎ ｏｆ ｗａｖｅｌｅｔ ｓｕｂｂａｎｄｓ ｗｈｅｒｅ ｅａｃｈ ｃｏｅｆｆｉｃｉｅｎｔ ｈａｓ ｔｈｅ ｓａｍｅ ｓｐａｔｉａｌ ｉｍｐａｃｔ ｏｒ ｓｐａｎ ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ ｔｈｅ ｓｏｕｒｃｅ ｃｏｍｐｏｎｅｎｔ ｓａｍｐｌｅｓ． Ｔｈｅｓｅ ｉｎｃｌｕｄｅ ｔｈｅ ＨＬ，ＬＨ，ａｎｄ ＨＨ ｓｕｂｂａｎｄｓ ｏｆ ｔｈｅ ｓａｍｅ ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｂａｎｄ ｄｅｃｏｍｐｏｓｉｔｉｏｎ． Ｆｏｒ ｔｈｅ ｌａｓｔ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｌｅｖｅｌ ｔｈｅ ＬＬ ｓｕｂｂａｎｄ ｉｓ ａｌｓｏ ｉｎｃｌｕｄｅｄ．
なお、図１７において、原画像の入出力部分には、色空間変換部２０１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行なう部分がこれに相当する。
【００５４】
以下、ＪＰＥＧ２０００アルゴリズムについて、詳細に説明する。
【００５５】
図１９は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に図３に示すように、原画像の各コンポーネント２０７Ｒ，２０７Ｇ，２０７Ｂ（ここではＲＧＢ原色系）が、矩形をした矩形領域（タイル）２０７Ｒｔ，２０７Ｇｔ，２０７Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００５６】
符号化時には、各コンポーネントの各タイルのデータが、図１４の色空間変換部１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部２０２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００５７】
図１８は、２次元離散ウェーブレット変換のオクターブ分割の説明図である。デコンポジションレベルは、その数値が大きいほど上位階層レベルである。グレイで表示した部分は、各階層レベルにおいて符号化の対象となるサブバンドである。図１８の例では、デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（２０６０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（２０６１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（２０６２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（２０６３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００５８】
更に図１８では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレイで表してある。例えば、デコンポジションレベル数を３とした時、グレイで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００５９】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１７の量子化部２０３で対象ビット周辺のビットからコンテキストが生成される。
【００６０】
図２０は、プレシンクトとコードブロックの関係を説明するための説明図である。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２０に示したように、一つのプレシンクト、例えばプレシンクト２０８ｐ４は、空間的に一致した３つの矩形領域からなっている。プレシンクト２０８ｐ６も同様である。なお、ここで原画像はデコンポジションレベル１でタイル２０８ｔ０，２０８ｔ１，２０８ｔ２，２０８ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８ｐ４に対してはコードブロック２０８４ｂ０，２０８４ｂ１，…）に分けられる。これは、エントロピーコーディングを行なう際の基本単位となる。符号化効率を上げるために、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行なう。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００６１】
エントロピー符号化部２０４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
【００６２】
最後にタグ処理部２０５は、エントロピコーダ部からの全符号化データを１本の符号列に結合するとともに、それにタグを付加する処理を行なう。図２１には、符号列の構造を簡単に示している。符号列の先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ２０９ｈ及びタイル部ヘッダ２０９ｔｈ）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム２０９ｂ）が続く。そして、符号列の終端には、再びタグ（ＥＯＣタグ２０９ｅ）が置かれる。
【００６３】
更に、図２２は、符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示すものである。タイルによる分割処理を行っても、あるいは行なわなくても、同様のパケット列構造を持っている。
【００６４】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルの符号列から画像データを生成する。図１７を用いて簡単に説明する。この場合、タグ処理部２０５は、外部より入力した符号列に付加されたタグ情報を解釈し、符号列を各コンポーネントの各タイルの符号列に分解し、その各コンポーネントの各タイルの符号列毎に復号化処理が行われる。符号列内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部２０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部２０４で、このコンテキストと符号列から確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００６５】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２０２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部２０１によって元の表色系のデータに変換される。
【００６６】
以上が、「ＪＰＥＧ２０００」アルゴリズムの概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」アルゴリズムである。
【００６７】
［発明の実施の形態］
本発明の一実施の形態について説明する。
【００６８】
なお、ここでは、Ｍｏｔｉｏｎ ＪＰＥＧ２０００を代表とする動画像圧縮伸長方法を中心に説明するが、言うまでもなく、本発明は、以下の説明の内容に限定されるものではない。
【００６９】
図１は、本発明の一実施の形態である符号列変換装置２１のハードウエア構成を示すブロック図である。符号列変換装置２１は、各種演算を行い、符号列変換装置２１の各部を集中的に制御するＭＰＵ２と、各種のＲＯＭ、ＲＡＭなどからなるメモリ３とが、バス４で接続されている。メモリ３（のＲＯＭ）には本発明を実施するプログラムが記憶されている。このプログラムはＭＰＵ２が実行する。
【００７０】
また、バス４には、所定の処理を実行するＡＳＩＣ（又はＦＰＧＡ）５と、ネットワークインターフェイス６とが接続されている。ネットワークインターフェイス６は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク７と符号列変換装置１とを接続するインターフェイスとなる。
【００７１】
さらに、バス４にはＲＣＬ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ Ｌｏｇｉｃ，リコンフィギャラブル・ロジック）８が接続されている。ＲＣＬ８は、符号列変換装置１で実行するアルゴリズムの実行部の上位階層、すなわち、高速処理が要求されるプロセスを担当する。高速処理の内容が固定している場合には、その機能を、ＡＳＩＣ（又はＦＰＧＡ）５のようなハード・ワイヤード・ロジックに任せることができる。その場合、ＲＣＬ８は、頻度が低いが、高速処理が必要とされる特殊な処理にのみ対応すればよい。
【００７２】
図２は、所定のプログラムに基づいて図１を参照して説明したハードウエアが行う処理により実現する動き量検出装置１１の機能ブロック図である。図２に示すように、動き量検出装置１１には、Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズムなどにより、動画像データをフレームごとに１又は複数の矩形領域（タイル）に分割し、この矩形領域ごとに画素値を離散コサイン変換、離散ウェーブレット変換などで直交変換して階層的に符号化することにより作成した符号列が入力される。
【００７３】
パケット長読取手段１２は、符号量読取手段として機能し、この符号列のヘッダ部に記述されたペイロード部のパケット長情報を解読する。この場合、解読に使用されるデータは直交変換係数値の数の和、すなわち符号量であり、直交変換係数値そのものではない。解読したパケット長情報はパケット長記憶手段１３により記憶される。
【００７４】
差分検出手段１４では、符号列に含まれる目的のフレームである現フレームと参照フレーム（現フレーム以外の所定の先行する位置にある他のフレーム）との間で、注目している領域、色成分、あるいは、サブバンド等における符号量に関して差分値を算出する。参照フレームは、例えば、現フレームの直前に位置しているフレームとすることができる。すなわち、パケット長記憶手段１３に記憶している先行するフレームの符号量とパケット長読取手段１２で読み取った現フレームの符号量との差分値を算出する。この差分値は画像の動き量を示す値であり、このフレーム間の符号量差分値に変化が無い、あるいは、非常に少ない場合は、両フレーム間に動きは無いか非常に少ないと判定することができる。逆に、符号量差分値が大きい場合は、フレーム間の動き量が大きい、あるいは、シーンに変化が生じたと判定することができる。図３には、その概念を示した。すなわち、フレーム間の符号量（パケット長）の差分値の絶対値と画像の動き量との間には正比例の関係がある。
【００７５】
また、差分検出手段１４に、検出した差分値と比較する１又は複数の所定の閾値を設定する閾値設定手段１５を設け、フレーム間の符号量（パケット長）の差分値と閾値を比較すれば、ユーザの用途に最も適した形で、差分値を画像の動き量として反映させることができる。
【００７６】
図４は、この閾値の設定につき二つの例を示している。図４（ａ）の例は、単一の閾値を用い、この閾値をパケット長（符号量）の差分値の絶対値と比較して、この値の閾値を上回って以降の大きさを動き量の大きさとするものである。図４（ｂ）の例は、３つの閾値を用い、動き量の大きさを段階的に判断するものである。
【００７７】
図５は、所定のプログラムに基づいて図１を参照して説明したハードウエアが行う処理により実現する符号列変換装置２１の機能ブロック図である。図５に示すように、符号列変換装置２７に入力する、Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズムなどにより動画像を圧縮符号化した符号列は、構文解析手段２２により、そのヘッダ情報から構文の解析がなされる。構文解析手段２２から符号データのヘッダ部情報を受取った動き量検出装置１１は前述と同様の処理を行って、各フレームについて、参照フレームを基準とした画像の動き量を検出する。動き量検出対象指定手段２８は、この際に、動き量を検出するフレーム間の要素を、特定の領域、コンポーネント、あるいは、サブバンドとするように指定する。そして、その結果はフレーム選択手段２３に出力する。フレーム選択手段２３は、受取った動き量の情報に基づき、現フレームの動き量が大きいときはスイッチを閉じて符号データを通過させる。一方、動き量が小さいときはスイッチを開いて符号データを削除する。
【００７８】
コンポーネント配置手段２４は、符号列作成手段２５とともにフレーム選択手段２３のスイッチを通過した符号データから新たな符号列を作成し、符号列出力手段２６が作成した新たな別の符号列を出力する。すなわち、符号列作成手段２５は、新たな符号列のヘッダ情報を作成し、コンポーネント配置手段２４は、新たな符号列中のコンポーネントの配置を指定する。このとき、符号列中でコンポーネントにどのようにして配置するかはユーザの選択による。
【００７９】
図６には、その一例を示した。説明を簡単にするため、入力した１つの符号列が、１つの符号列として出力される場合について考える。動画像フレームのサンプリング間隔は０．１ｓｅｃである。すなわち、入力符号データは、０．１ 秒ごとにキャプチャされた静止画像フレームから成っている。毎０秒時、つまり、ｔ＝０，１．０，２．０，３．０，…の時刻においては、動き量の有無にかかわらず、静止画像フレームは選択される。そして、それ以外のフレームに対しては、動き量に基づいたフレームの選択、非選択が行われる。この例では、“２ｓｅｃ＜ｔ＜８ｓｅｃ”の間で動き量が検出され、そのフレームが選択されている。小数点以下が、１から９までの整数である時刻の符号データは、コンポーネントの番号が１から９のコンポーネントにおかれる。
【００８０】
図７は、本発明の一実施の形態である撮像装置３１の機能ブロック図である。図７に示す撮像装置３１の各手段は、所定のプログラムに基づいて図１を参照して説明したハードウエアが行う処理により実現する。ただし、撮像装置３１においては画像入力装置３２がバス４（図１参照）に接続されている。図７に示すように、動画像は、画像入力装置３２に入力する。画像入力装置３２では、ＣＣＤやＭＯＳイメージセンサ等の画像入力デバイスによりアナログ画像信号に光電変換され、更にノイズ削減回路でＳ／Ｎ比を高められた後、デジタル画像信号に変換される。
【００８１】
こうして得られたデジタル画像信号は、画像圧縮装置を実施する画像圧縮手段３３の直交変換手段３４で直交変換係数値に変換される。この変換には、画像圧縮アルゴリズムがＪＰＥＧの場合は離散コサイン変換、また、ＪＰＥＧ２０００の場合は離散ウェーブレット変換が各々使用される。直交変換は、ある大きさを持った矩形領域（タイルなど）ごとにフレームを分割して、この矩形領域ごとに行われ、その単位にヘッダ情報が付加される。動き量検出装置１１は、このヘッダに記述された情報を読み取り、前述のように現フレームと参照フレームとの直交変換係数値の符号量差から画像の動き量を検出する。
【００８２】
フレーム選択手段３５は、動き量検出装置１１の出力に基づき、スイッチを開閉する。すなわち、通過が許されたフレームに対しては、スイッチをオンにし、削除するフレームに対しては、スイッチをオフにし、フレームの取捨選択を行う。こうして、フレーム選択手段３５を通過したフレームの直交変換係数値は、量子化手段３６で量子化され、引き続き符号化手段３７で新たなヘッダ情報を付加されて符号列に符号化される。量子化手段３６と符号化手段３７は、いずれも、画像圧縮手段３３の一部をなす機能である。
【００８３】
コンポーネント配置手段３８は、符号列作成手段３９とともにフレーム選択手段３５のスイッチを通過した符号データから符号列を作成し、符号列出力手段４０が作成した符号列を出力する。すなわち、符号列作成手段３９は、新たな符号列のヘッダ情報を作成し、コンポーネント配置手段３８は、新たな符号列中のコンポーネントの配置を用途に応じて指定する。このとき、符号列中でコンポーネントにどのようにして配置するかは、たとえば、図６を参照して前述したとおりである。記憶手段４１は、符号列出力手段４０が作成した符号列を所定の記憶メディアに記憶し、ネットワーク出力手段は通信インターフェイス６を介してネットワーク７に符号列を送信する。
【００８４】
なお、動き量検出装置１１で、検出した画像の動き量の単位時間当たりの変化量を検出し（動き量変化量検出手段）、フレーム選択手段３５、コンポーネント配置手段３８が、この変化量に基づいて動作するようにしてもよい。
【００８５】
図８には、撮像装置３１を車載用の監視カメラに応用した場合の例の説明図である。図８（ａ）に示す平面図のように、撮像装置３１が、車の前後左右と上方、合計９箇所に設けられている。各撮像装置３１は、０．１秒間隔で動画像をサンプリングして、静止画像（フレーム）に変換する。また、各撮像装置３１のコンポーネント配置手段３８は、各撮像装置３１で異なるコンポーネント番号を指定し、符号データの配置を行う。この例では、各撮像装置３１のフレーム選択手段３５は、画像の動き量を検出したフレームのみを選択的に残すように設定されている。例えば、車５１の右前方から左後方に向けて（符号５１ａ側が前方）、何かが横切ったとすると、＃＝０〜＃＝３のコンポーネント（コンポーネント＃を図中に示している。これは、車載の各撮像装置３１の番号でもある。（図８（ｂ）も参照））に画像を記録する撮像装置３１で画像が検出されることになる。
【００８６】
図９は、撮像装置３１を複数台使用した撮像システム５１について説明する説明図である。この撮像システム５１は、３台の撮像装置３１を用い、３箇所で撮影するシステムである。３箇所で撮影した各動画像Ａ，Ｂ，Ｃは各々並列に処理され、１本の符号列が作成される。すなわち、画像入力装置３２、直交変換手段３４、フレーム選択手段３５、量子化手段３６、符号化手段３７、動き量検出装置１１は、各撮像装置３１において並列に動作する。しかし、コンポーネント配置手段３８、符号列作成手段３９、符号列出力手段４０などは各撮像装置３１で共通であり、標準形式に従った１本の符号列にまとめられる。
【００８７】
このようなシステムは、多点で同時に撮影し符号化された１本の動画像を得るのに適している。生成した符号列は、記憶手段４１でメモリ３に記憶されるか、あるいは、ネットワーク７に出力される。
【００８８】
図１０は、図９のシステムを用いて得られた符号列の各画像入力装置３２による撮影分の符号データの内容をそれぞれ示している。この例は、入力動画像データの数は３、出力される符号列の数も３（動画像データごとの符号列）の場合である。ここでは、動き量の有無に関わらず、１秒毎にフレームが周期フレームとして選択される。そして、この周期フレームの符号データは、同一のコンポーネント、すなわち、コンポーネント＃＝００に配置される。
【００８９】
また、動き量が閾値を超えたものはフレームとして選択される。符号データの配置されるコンポーネントは、周期フレームの配置されているコンポーネント以外、すなわち、コンポーネント＃＝０１，０２，０３，…である。なお、コンポーネント＃＝０１，０２，０３，…は、動画像が静止画像としてサンプリングされた時刻の、小数点以下の秒数を表わすようにしておくと便利である。例えば、動画像Ａを撮影した符号列＃＝０のコンポーネント＃＝０２には、ｔ＝０．２，１．２，２．２，３．２，４．２，…でキャプチャされた符号データが配置されている。
【００９０】
図１１には、入力動画像データの数が３、出力される符号列の数が１の（３つの動画像データを１本に合成する）場合の符号データの配置を示した。カメラの番号ごとにコンポーネントが指定されている。各動画像データは異なるコンポーネント＃に配置される。ここでは、動き量を検出する画像は周期フレーム（コンポーネント＃＝００）に限定し、動き量を超えたものだけがフレームとして選択される。
【００９１】
図１２は、画像編集装置６１の電気的な接続を示すブロック図である。図１２に示すように、画像編集装置６１は、例えばパーソナルコンピュータを用いており、各種演算を行ない画像編集装置６１の各部を集中的に制御するＣＰＵ６２と、各種のＲＯＭやＲＡＭからなるメモリ６３とが、バス６４で接続されている。
【００９２】
バス６４には、所定のインターフェイスを介して、記憶装置となるハードディスクなどの磁気記憶装置６５と、マウスやキーボードなどで構成される入力装置６６と、ＬＣＤやＣＲＴなどの表示装置６７と、光ディスクなどの記憶媒体６８を読取る記憶媒体読取装置６９と、ネットワーク７０と通信を行なう所定の通信インターフェイス７１とが接続されている。なお、記憶媒体８８としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置６９は、具体的には記憶媒体６８の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００９３】
磁気記憶装置６５には、画像編集プログラムが記憶されている。一般的には、この画像編集プログラムは、記憶媒体６８から記憶媒体読取装置６９により読取ることで磁気記憶装置６５にインストールするが、ネットワーク７０からダウンロードして磁気記憶装置６５にインストールしたものである。このインストールにより、画像編集装置６１は動作可能な状態となる。この画像編集プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００９４】
図１３は、画像編集プログラムに基づいてＣＰＵ６２が実行する処理により実現される画像編集装置６１の機能ブロック図である。この編集装置６１は、まず、符号列入力手段８１で、前述の符号列変換装置２１、撮像装置３１、撮像システム５１で生成された符号列の入力を受け付ける。画像伸長手段８２は、この符号列の各コンポーネントに配置された全ての符号データに対して、復号化、逆量子化、逆直交変換等の処理を施して、符号列を伸長する。この伸長後の画像データは画像表示手段８３により表示装置６７に表示される。
【００９５】
ユーザは、画像表示手段８３で表示された画像を見ながら、動画像が自然な動きになるように動き量が検出されたフレームの妥当性をチェックする。特に、動画領域と背景領域の区別が難しい領域に注目することが重要である。このチェックにより、不要と判断されたフレームは削除することとなる。すなわち、ユーザが入力装置６６を操作して、符号データ操作指示信号を出力すると、構文解析手段８４が符号列の構文を解析し、符号列変換手段８５は符号列からユーザが指定したフレームを削除して、残った符号データをコンポーネントに再配置し、新しい別の符号列を作成する。これにより、動き量検出装置１１により動き量が検出されたフレームの妥当性をチェックすることができる。
【００９６】
【発明の効果】
請求項１に記載の発明は、画像の動き量を符号量から求めるため、従来のようにまた、直交変換係数値を復号化し、逆量子化する処理は不要となり、処理を高速化し、処理に必要なメモリ要領を低減でき、処理に必要な電力も低減できる。
【００９７】
請求項２に記載の発明は、請求項１に記載の発明において、閾値との比較により動き量を判断することができる。
【００９８】
請求項３に記載の発明は、請求項１又は２に記載の発明において、直前に位置しているフレームと符号量を比較して、目的のフレームについて動き量を検出することができる。
【００９９】
請求項４に記載の発明は、請求項１〜３のいずれかの一に記載の発明において、動き量の単位時間当たりの変化量から動きの激しさを判断することができる。
【０１００】
請求項５に記載の発明は、請求項１〜３のいずれかの一に記載の発明において、所望の領域、コンポーネント又はサブバンドごとに動き量を検出することができる。
【０１０１】
請求項６に記載の発明は、請求項１〜５のいずれかの一に記載の発明において、離散ウエーブレット変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【０１０２】
請求項７に記載の発明は、請求項１〜５のいずれかの一に記載の発明において、離散コサイン変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【０１０３】
請求項８に記載の発明は、画像の動き量から不要なフレームを削除した新たな符号列を作成して、符号量を低減することができる。
【０１０４】
請求項９に記載の発明は、請求項８に記載の発明において、符号化されたデータをコンポーネントに配置して新たな符号列を作成することができる。
【０１０５】
請求項１０に記載の発明は、動画像データについて画像の動き量から不要なフレームを削除した符号列を作成して、符号量を低減することができる。
【０１０６】
請求項１１に記載の発明は、請求項１０に記載の発明において、符号化されたデータをコンポーネントに配置して動画像データから符号列を作成することができる。
【０１０７】
請求項１２に記載の発明は、請求項１１に記載の発明において、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置して、動画像データから符号列を作成することができる。
【０１０８】
請求項１３に記載の発明は、請求項１１又は１２に記載の発明において、各入力符号列にコンポーネントを指定して符号データを配置して、動画像データから符号列を作成することができる。
【０１０９】
請求項１４に記載の発明は、動画像を撮像して画像データを圧縮符号化することができる。
【０１１０】
請求項１５に記載の発明は、複数点で動画像を撮像して、各画像データを１本の符号列に圧縮符号化することができる。
【０１１１】
請求項１６に記載の発明は、請求項１５に記載の発明において、複数点で撮像した動画像データを同時に時系列に並べ整理することが容易になる。
【０１１２】
請求項１７に記載の発明は、前述の符号列変換装置、画像圧縮装置で作成された符号列で、画像に動きのない又は少ない背景領域を画像に動きのある又は多い動画領域と誤って判断していても、そのような不要なフレームは画像を表示して確認した上で削除することができるので、背景のチラツキ等の問題を解決し、自然な動画像を再生することが可能となり、画質を向上させることができる。
【０１１３】
請求項１８に記載の発明は、請求項１〜１７のいずれかの一に記載の発明と同様の作用、効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態である符号列変換装置のハードウエア構成を示すブロック図である。
【図２】本発明の一実施の形態である動き量検出装置の機能ブロック図である。
【図３】動き量検出装置の処理を説明する説明図である。
【図４】動き量検出装置の処理を説明する説明図である。
【図５】符号列変換装置の機能ブロック図である。
【図６】符号列中でのコンポーネント配置を説明する説明図である。
【図７】本発明の一実施の形態である撮像装置の機能ブロック図である。
【図８】撮像装置を車両に複数台設置する場合の説明図である。
【図９】本発明の一実施の形態である撮像装置の機能ブロック図である。
【図１０】図９のシステムを用いて得られた符号列の各画像入力装置による撮影分の符号データの内容を説明する説明図である。
【図１１】３つの動画像データを１本の符号列に合成する場合の符号データの配置を示す説明図である。
【図１２】本発明の一実施の形態である画像編集装置の電気的な接続を示すブロック図である。
【図１３】画像編集装置の機能ブロック図である。
【図１４】二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを説明する説明図である。
【図１５】二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を説明する説明図である。
【図１６】ＪＰＥＧ２０００符号列の構文解析、パケット長の読み取りについて説明する概念図である。
【図１７】ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。
【図１８】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図１９】タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図２０】プレシンクトとコードブロックの関係を説明するための図である。
【図２１】符号列の構造を説明するための図である。
【図２２】符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示す説明図である。
【図２３】本発明の課題を説明する説明図である。
【符号の説明】
１１ 動き量検出装置
１２ 符号量読取手段
１４ 差分検出手段
２１ 符号列変換装置
２３ フレーム選択手段
２４ コンポーネント配置手段
２５ 符号列作成手段
２８ 動き量検出対象指定手段
３１ 撮像装置
３２ 画像入力装置
３４ 直交変換手段
３５ フレーム選択手段
３８ コンポーネント配置手段
３９ 符号列作成手段
５１ 撮像システム
６１ 編集装置
８２ 画像伸長手段
８３ 画像表示手段
８５ 符号列変換手段
【発明の属する技術分野】
本発明は、画像の動き量を検出する動き量検出装置、動き量検出装置を備えている符号列変換装置、画像圧縮装置及び撮像装置並びにこれらの装置の機能を実行するプログラムに関する。
【０００２】
【従来の技術】
従来、画像圧縮伸長アルゴリズムとして、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ ＪＰＥＧが使用されている。また、最近、Ｍｏｔｉｏｎ静止画像の符号化については、国際標準としてＭｏｔｉｏｎ ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００３】
Ｍｏｔｉｏｎ静止画像で、フレーム間の動き量の情報は、直交変換係数値を直接比較することにより得ることができる。直交変換に、離散ウエーブレット変換（ＤＷＴ）を使用した技術としては、特許文献１に開示のものがある。また、離散コサイン変換（ＤＣＴ）を使用した技術としては、特許文献２に開示のものがある。
【０００４】
【特許文献１】特開２００１−３０９３８１公報
【特許文献２】特開平６−１９７３２７号公報
【発明が解決しようとする課題】
ＭＰＥＧ方式とＭｏｔｉｏｎ静止画像方式の違いは、後者はフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともないという利点がある。このように、ＭＰＥＧ方式、Ｍｏｔｉｏｎ静止画像方式は、各々特長を持っている。そして、アプリケーション毎に方式が適宜使い分けられている。
【０００５】
そして、フレーム内符号化だけを行うのが、標準的なＭｏｔｉｏｎ静止画像方式であったが、特許文献１，２の例のように、最近になってフレーム間の相関を使って、より圧縮率を上げる試みが始められている。その背景には、静止画像入力デバイスの高精細化、Ｍｏｔｉｏｎ静止画像符号化の高速処理化、ネットワークのブロードバンド化等により、静止画と動画像の境界が次第に不明瞭になってきていることがあると考えられる。
【０００６】
しかしながら、フレーム間の相関を求める従来の技術には、次の（１）〜（３）のような不具合がある。
【０００７】
（１）処理速度の遅さ
フレーム間の相関を求めるのに、詳細な直交変換係数値を使う従来の方法は、処理に時間がかかるという不具合があった。なぜなら、対象となる符号列の直交変換係数値を復号化し、更に、逆量子化するという、複雑な処理を経る必要があるからである。すなわち、従来の方法は、符号列を復号化、逆量子化した後の直交変換係数値を対象として、現フレームとそれ以前のフレームとの直交変換係数値同士を比較することにより画像の動き量を検出するものであり、符号列の直交変換係数値を復号化し、更に、逆量子化するという処理に時間を要し、また、消費電力を減らすことを妨げてもいた。このことは、電池駆動の携帯情報端末機器の場合、大きな問題であった。
【０００８】
（２）複数動画像の時系列集約の難しさ
従来、同時刻に、異なるカメラで撮影された複数本の動画像を、個々のフレームが撮影された時刻に沿って集約することは、極めて煩雑で、手間のかかる作業であった。また、このように時系列に整理された動画像を、一つのファイルとして保存することも困難であった。すなわち、異なるカメラで撮影された複数本の動画像の各符号列について、その各フレームが撮影時刻に一致するように並べ替えて１本の符号列に集約する必要があるからである。図２３は、この点を説明するものであり、図２３（ａ）の動画像Ａ〜Ｈについて撮影開始時刻、撮影終了時刻が図示のとおりである場合に（画像Ａの場合は撮影開始時刻が４０、撮影終了時刻が１２０）、図２３（ｂ）のような時系列となるように１本の符号列に集約しなければならない。
【０００９】
（３）高画質化
従来、輪郭部分だけがごく僅かに移動する等、画像の動き量が小さい場合、動画領域（画像の動きのある領域）であるにも関わらず背景領域（画像の動きのない領域）とみなしてしまうという不具合があった。その対策として、動画領域であると判断するのに用いる閾値を低く設定すれば、今度は背景領域を動画領域として認識してしまう画像領域が現われてしまう不具合がある。
【００１０】
本発明の目的は、簡単な方法で、かつ、短い処理時間、少ない消費エネルギーで、画像の動き量を検出できるようにすることである。
【００１１】
この発明の別の目的は、複数の動画像を、簡単に時系列集約できるようにすることである。
【００１２】
この発明の別の目的は、動画領域と背景領域とを的確に識別して、不要なフレームを削除しても画像を高画質にできるようにすることである。
【００１３】
【課題を解決するための手段】
請求項１に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換した直交変換係数値の符号量を読み取る符号量読取手段と、前記直交変換係数値の目的のフレームと他のフレームとの間で、前記符号量読取手段で読み取られた符号量同士を比較してその差分値を求めて前記直交変換係数値の画像の動き量を検出する差分検出手段と、を備えている動き量検出装置である。
【００１４】
したがって、画像の動き量を符号量から求めるため、従来のようにまた、直交変換係数値を復号化し、逆量子化する処理は不要となり、処理を高速化し、処理に必要なメモリ要領を低減でき、処理に必要な電力も低減できる。
【００１５】
請求項２に記載の発明は、請求項１に記載の動き量検出装置において、前記検出された差分値と比較する１又は複数の閾値を設定する閾値設定手段を備えている。
【００１６】
したがって、閾値との比較により動き量を判断することができる。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の動き量検出装置において、前記差分検出手段は、前記他のフレームを前記目的のフレームの直前に位置しているフレームとする。
【００１８】
したがって、直前に位置しているフレームと符号量を比較して、目的のフレームについて動き量を検出することができる。
【００１９】
請求項４に記載の発明は、請求項１〜３のいずれかの一に記載の動き量検出装置において、前記動き量について単位時間当たりの変化量を検出する動き量変化量検出手段を備えている。
【００２０】
したがって、動き量の単位時間当たりの変化量から動きの激しさを判断することができる。
【００２１】
請求項５に記載の発明は、請求項１〜３のいずれかの一に記載の動き量検出装置において、前記動き量を検出する対象を、前記直交変換係数値の領域、コンポーネント又はサブバンドごとに指定する動き量検出対象指定手段を備えている。
【００２２】
したがって、所望の領域、コンポーネント又はサブバンドごとに動き量を検出することができる。
【００２３】
請求項６に記載の発明は、請求項１〜５のいずれかの一に記載の動き量検出装置において、前記符号量読取手段は、離散ウエーブレット変換を前記直交変換として用いた前記直交変換係数値の前記符号量を読み取る。
【００２４】
したがって、離散ウエーブレット変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【００２５】
請求項７に記載の発明は、請求項１〜５のいずれかの一に記載の動き量検出装置において、前記符号量読取手段は、離散コサイン変換を前記直交変換として用いた前記直交変換係数値の前記符号量を読み取る。
【００２６】
したがって、離散コサイン変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【００２７】
請求項８に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換して階層的に圧縮符号化した符号列について、前記直交変換係数値の画像の動き量を検出する請求項１〜７のいずれかの一に記載の動き量検出装置と、前記動き量検出装置で検出した前記動き量に基づいて前記符号列中からフレームを取捨選択するフレーム選択手段と、この取捨選択後のフレームを用いた新たな符号列を生成する符号列作成手段と、を備えている符号列変換装置である。
【００２８】
したがって、画像の動き量から不要なフレームを削除した新たな符号列を作成して、符号量を低減することができる。
【００２９】
請求項９に記載の発明は、請求項８に記載の符号列変換装置において、前記符号列作成手段で前記符号列を作成する際に符号化されたデータをコンポーネントに配置するコンポーネント配置手段を備えている。
【００３０】
したがって、符号化されたデータをコンポーネントに配置して新たな符号列を作成することができる。
【００３１】
請求項１０に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換する直交変換手段と、この直交変換後の動画像データを対象として前記動き量の検出を行う請求項１〜７のいずれかの一に記載の動き量検出装置と、前記動き量検出装置で検出した前記動き量に基づいて前記動画像データ中からフレームを取捨選択するフレーム選択手段と、この取捨選択後のフレームにを用いて前記動画像データを階層的に圧縮符号化した符号列を生成する符号列作成手段と、を備えている画像圧縮装置である。
【００３２】
したがって、動画像データについて画像の動き量から不要なフレームを削除した符号列を作成して、符号量を低減することができる。
【００３３】
請求項１１に記載の発明は、請求項１０に記載の画像圧縮装置において、前記符号列作成手段で前記符号列を作成する際に符号化されたデータをコンポーネントに配置するコンポーネント配置手段を備えている。
【００３４】
したがって、符号化されたデータをコンポーネントに配置して動画像データから符号列を作成することができる。
【００３５】
請求項１２に記載の発明は、請求項１１に記載の画像圧縮装置において、前記コンポーネント配置手段は、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置する。
【００３６】
したがって、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置して、動画像データから符号列を作成することができる。
【００３７】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像圧縮装置において、前記コンポーネント配置手段は、各入力符号列にコンポーネントを指定して符号データを配置する。
【００３８】
したがって、各入力符号列にコンポーネントを指定して符号データを配置して、動画像データから符号列を作成することができる。
【００３９】
請求項１４に記載の発明は、動画像を撮像する画像入力装置と、この撮像後の動画像データを圧縮符号化した符号列とする請求項１０〜１３のいずれかの一に記載の符号列変換装置と、を備えている撮像装置である。
【００４０】
したがって、動画像を撮像して画像データを圧縮符号化することができる。
【００４１】
請求項１５に記載の発明は、動画像を撮像する複数の画像入力装置と、この撮像後の各動画像データを圧縮符号化して当該各動画像データを１本の符号列に合成する請求項１１〜１３のいずれかの一に記載の符号列変換装置と、を備えている撮像システムである。
【００４２】
したがって、複数点で動画像を撮像して、各画像データを１本の符号列に圧縮符号化することができる。
【００４３】
請求項１６に記載の発明は、請求項１５に記載の撮像システムにおいて、前記符号列変換装置は、前記各動画像データを異なるコンポーネントに配置するように前記合成を行う。
【００４４】
したがって、複数点で撮像した動画像データを同時に時系列に並べ整理することが容易になる。
【００４５】
請求項１７に記載の発明は、動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換して階層的に圧縮符号化した符号列を伸長する画像伸長手段と、この伸長後の画像データを画像表示装置に表示する画像表示手段と、前記符号列中からユーザが指定したフレームを削除して残った符号データをコンポーネントに再配置した新しい符号列を作成する符号列変換手段と、を備えている画像編集装置である。
【００４６】
したがって、前述の符号列変換装置、画像圧縮装置で作成された符号列で、画像に動きのない又は少ない背景領域を画像に動きのある又は多い動画領域と誤って判断していても、そのような不要なフレームは画像を表示して確認した上で削除することができるので、背景のチラツキ等の問題を解決し、自然な動画像を再生することが可能となり、画質を向上させることができる。
【００４７】
請求項１８に記載の発明は、請求項１〜７のいずれかの一に記載の動き量検出装置、請求項８若しくは９に記載の符号列変換装置、請求項１０〜１３のいずれかの一に記載の画像圧縮装置又は請求項１７に記載の画像編集装置の前記各手段をコンピュータに実行させるコンピュータに読取可能なプログラムである。
【００４８】
したがって、請求項１〜１７のいずれかの一に記載の発明と同様の作用、効果を奏する。
【００４９】
【発明の実施の形態】
［前提技術の概要］
まず、本実施の形態の前提技術となる「直交変換係数の配置」、「階層符号化アルゴリズム」、及び、「ＪＰＥＧ２０００アルゴリズム」の概要について、各々順に説明する。
【００５０】
（１）「直交変換係数の配置」について
図１４は二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを、図１５は二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を、各々示している。これらの直交変換を採用した、代表的な符号化アルゴリズムとしては、各々、ＪＰＥＧアルゴリズムとＪＰＥＧ２０００アルゴリズムが知られている。
【００５１】
そして、図１６に概念的に示すように、ＪＰＥＧ２０００アルゴリズムで符号化後の符号列は、ＳＯＣ（Ｓｔａｒｔ Ｏｆ Ｃｏｄｅｓｔｒｅａｍ）を先頭、ＥＯＣ（Ｅｎｄ Ｏｆ Ｃｏｄｅｓｔｒｅａｍ）を末尾として配列され、直交変換係数値はペイロード部２１１に、その要約された情報がヘッダ部２１２に、符号列の中で配置される。符号列中のヘッダ部２０２は、構文解析手段２１３により検出され、パケット長読取手段２１４によりパケット長（ペイロード部のサブバンド符号量）が読み出される。
【００５２】
（２）「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」について
図１７は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。この階層符号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２０２、量子化・逆量子化部２０３、エントロピー符号化・復号化部２０４、タグ処理部２０５で構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部２０５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データが符号列として生成され、伸長動作時には伸長に必要な符号列の解釈が行われる。そして、符号列によって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。
【００５３】
例えば、図１８はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図１５に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。なお、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００ ＰａｒｔＩ ＦＤＩＳ（Ｆｉｎａｌ Ｄｒａｆｔ ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ）には、以下のように定義されている。
ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｌｅｖｅｌ：
Ａ ｃｏｌｌｅｃｔｉｏｎ ｏｆ ｗａｖｅｌｅｔ ｓｕｂｂａｎｄｓ ｗｈｅｒｅ ｅａｃｈ ｃｏｅｆｆｉｃｉｅｎｔ ｈａｓ ｔｈｅ ｓａｍｅ ｓｐａｔｉａｌ ｉｍｐａｃｔ ｏｒ ｓｐａｎ ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ ｔｈｅ ｓｏｕｒｃｅ ｃｏｍｐｏｎｅｎｔ ｓａｍｐｌｅｓ． Ｔｈｅｓｅ ｉｎｃｌｕｄｅ ｔｈｅ ＨＬ，ＬＨ，ａｎｄ ＨＨ ｓｕｂｂａｎｄｓ ｏｆ ｔｈｅ ｓａｍｅ ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｂａｎｄ ｄｅｃｏｍｐｏｓｉｔｉｏｎ． Ｆｏｒ ｔｈｅ ｌａｓｔ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｌｅｖｅｌ ｔｈｅ ＬＬ ｓｕｂｂａｎｄ ｉｓ ａｌｓｏ ｉｎｃｌｕｄｅｄ．
なお、図１７において、原画像の入出力部分には、色空間変換部２０１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行なう部分がこれに相当する。
【００５４】
以下、ＪＰＥＧ２０００アルゴリズムについて、詳細に説明する。
【００５５】
図１９は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に図３に示すように、原画像の各コンポーネント２０７Ｒ，２０７Ｇ，２０７Ｂ（ここではＲＧＢ原色系）が、矩形をした矩形領域（タイル）２０７Ｒｔ，２０７Ｇｔ，２０７Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００５６】
符号化時には、各コンポーネントの各タイルのデータが、図１４の色空間変換部１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部２０２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００５７】
図１８は、２次元離散ウェーブレット変換のオクターブ分割の説明図である。デコンポジションレベルは、その数値が大きいほど上位階層レベルである。グレイで表示した部分は、各階層レベルにおいて符号化の対象となるサブバンドである。図１８の例では、デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（２０６０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（２０６１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（２０６２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（２０６３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００５８】
更に図１８では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレイで表してある。例えば、デコンポジションレベル数を３とした時、グレイで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００５９】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１７の量子化部２０３で対象ビット周辺のビットからコンテキストが生成される。
【００６０】
図２０は、プレシンクトとコードブロックの関係を説明するための説明図である。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２０に示したように、一つのプレシンクト、例えばプレシンクト２０８ｐ４は、空間的に一致した３つの矩形領域からなっている。プレシンクト２０８ｐ６も同様である。なお、ここで原画像はデコンポジションレベル１でタイル２０８ｔ０，２０８ｔ１，２０８ｔ２，２０８ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８ｐ４に対してはコードブロック２０８４ｂ０，２０８４ｂ１，…）に分けられる。これは、エントロピーコーディングを行なう際の基本単位となる。符号化効率を上げるために、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行なう。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００６１】
エントロピー符号化部２０４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
【００６２】
最後にタグ処理部２０５は、エントロピコーダ部からの全符号化データを１本の符号列に結合するとともに、それにタグを付加する処理を行なう。図２１には、符号列の構造を簡単に示している。符号列の先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ２０９ｈ及びタイル部ヘッダ２０９ｔｈ）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム２０９ｂ）が続く。そして、符号列の終端には、再びタグ（ＥＯＣタグ２０９ｅ）が置かれる。
【００６３】
更に、図２２は、符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示すものである。タイルによる分割処理を行っても、あるいは行なわなくても、同様のパケット列構造を持っている。
【００６４】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルの符号列から画像データを生成する。図１７を用いて簡単に説明する。この場合、タグ処理部２０５は、外部より入力した符号列に付加されたタグ情報を解釈し、符号列を各コンポーネントの各タイルの符号列に分解し、その各コンポーネントの各タイルの符号列毎に復号化処理が行われる。符号列内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部２０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部２０４で、このコンテキストと符号列から確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００６５】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２０２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部２０１によって元の表色系のデータに変換される。
【００６６】
以上が、「ＪＰＥＧ２０００」アルゴリズムの概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」アルゴリズムである。
【００６７】
［発明の実施の形態］
本発明の一実施の形態について説明する。
【００６８】
なお、ここでは、Ｍｏｔｉｏｎ ＪＰＥＧ２０００を代表とする動画像圧縮伸長方法を中心に説明するが、言うまでもなく、本発明は、以下の説明の内容に限定されるものではない。
【００６９】
図１は、本発明の一実施の形態である符号列変換装置２１のハードウエア構成を示すブロック図である。符号列変換装置２１は、各種演算を行い、符号列変換装置２１の各部を集中的に制御するＭＰＵ２と、各種のＲＯＭ、ＲＡＭなどからなるメモリ３とが、バス４で接続されている。メモリ３（のＲＯＭ）には本発明を実施するプログラムが記憶されている。このプログラムはＭＰＵ２が実行する。
【００７０】
また、バス４には、所定の処理を実行するＡＳＩＣ（又はＦＰＧＡ）５と、ネットワークインターフェイス６とが接続されている。ネットワークインターフェイス６は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク７と符号列変換装置１とを接続するインターフェイスとなる。
【００７１】
さらに、バス４にはＲＣＬ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ Ｌｏｇｉｃ，リコンフィギャラブル・ロジック）８が接続されている。ＲＣＬ８は、符号列変換装置１で実行するアルゴリズムの実行部の上位階層、すなわち、高速処理が要求されるプロセスを担当する。高速処理の内容が固定している場合には、その機能を、ＡＳＩＣ（又はＦＰＧＡ）５のようなハード・ワイヤード・ロジックに任せることができる。その場合、ＲＣＬ８は、頻度が低いが、高速処理が必要とされる特殊な処理にのみ対応すればよい。
【００７２】
図２は、所定のプログラムに基づいて図１を参照して説明したハードウエアが行う処理により実現する動き量検出装置１１の機能ブロック図である。図２に示すように、動き量検出装置１１には、Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズムなどにより、動画像データをフレームごとに１又は複数の矩形領域（タイル）に分割し、この矩形領域ごとに画素値を離散コサイン変換、離散ウェーブレット変換などで直交変換して階層的に符号化することにより作成した符号列が入力される。
【００７３】
パケット長読取手段１２は、符号量読取手段として機能し、この符号列のヘッダ部に記述されたペイロード部のパケット長情報を解読する。この場合、解読に使用されるデータは直交変換係数値の数の和、すなわち符号量であり、直交変換係数値そのものではない。解読したパケット長情報はパケット長記憶手段１３により記憶される。
【００７４】
差分検出手段１４では、符号列に含まれる目的のフレームである現フレームと参照フレーム（現フレーム以外の所定の先行する位置にある他のフレーム）との間で、注目している領域、色成分、あるいは、サブバンド等における符号量に関して差分値を算出する。参照フレームは、例えば、現フレームの直前に位置しているフレームとすることができる。すなわち、パケット長記憶手段１３に記憶している先行するフレームの符号量とパケット長読取手段１２で読み取った現フレームの符号量との差分値を算出する。この差分値は画像の動き量を示す値であり、このフレーム間の符号量差分値に変化が無い、あるいは、非常に少ない場合は、両フレーム間に動きは無いか非常に少ないと判定することができる。逆に、符号量差分値が大きい場合は、フレーム間の動き量が大きい、あるいは、シーンに変化が生じたと判定することができる。図３には、その概念を示した。すなわち、フレーム間の符号量（パケット長）の差分値の絶対値と画像の動き量との間には正比例の関係がある。
【００７５】
また、差分検出手段１４に、検出した差分値と比較する１又は複数の所定の閾値を設定する閾値設定手段１５を設け、フレーム間の符号量（パケット長）の差分値と閾値を比較すれば、ユーザの用途に最も適した形で、差分値を画像の動き量として反映させることができる。
【００７６】
図４は、この閾値の設定につき二つの例を示している。図４（ａ）の例は、単一の閾値を用い、この閾値をパケット長（符号量）の差分値の絶対値と比較して、この値の閾値を上回って以降の大きさを動き量の大きさとするものである。図４（ｂ）の例は、３つの閾値を用い、動き量の大きさを段階的に判断するものである。
【００７７】
図５は、所定のプログラムに基づいて図１を参照して説明したハードウエアが行う処理により実現する符号列変換装置２１の機能ブロック図である。図５に示すように、符号列変換装置２７に入力する、Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズムなどにより動画像を圧縮符号化した符号列は、構文解析手段２２により、そのヘッダ情報から構文の解析がなされる。構文解析手段２２から符号データのヘッダ部情報を受取った動き量検出装置１１は前述と同様の処理を行って、各フレームについて、参照フレームを基準とした画像の動き量を検出する。動き量検出対象指定手段２８は、この際に、動き量を検出するフレーム間の要素を、特定の領域、コンポーネント、あるいは、サブバンドとするように指定する。そして、その結果はフレーム選択手段２３に出力する。フレーム選択手段２３は、受取った動き量の情報に基づき、現フレームの動き量が大きいときはスイッチを閉じて符号データを通過させる。一方、動き量が小さいときはスイッチを開いて符号データを削除する。
【００７８】
コンポーネント配置手段２４は、符号列作成手段２５とともにフレーム選択手段２３のスイッチを通過した符号データから新たな符号列を作成し、符号列出力手段２６が作成した新たな別の符号列を出力する。すなわち、符号列作成手段２５は、新たな符号列のヘッダ情報を作成し、コンポーネント配置手段２４は、新たな符号列中のコンポーネントの配置を指定する。このとき、符号列中でコンポーネントにどのようにして配置するかはユーザの選択による。
【００７９】
図６には、その一例を示した。説明を簡単にするため、入力した１つの符号列が、１つの符号列として出力される場合について考える。動画像フレームのサンプリング間隔は０．１ｓｅｃである。すなわち、入力符号データは、０．１ 秒ごとにキャプチャされた静止画像フレームから成っている。毎０秒時、つまり、ｔ＝０，１．０，２．０，３．０，…の時刻においては、動き量の有無にかかわらず、静止画像フレームは選択される。そして、それ以外のフレームに対しては、動き量に基づいたフレームの選択、非選択が行われる。この例では、“２ｓｅｃ＜ｔ＜８ｓｅｃ”の間で動き量が検出され、そのフレームが選択されている。小数点以下が、１から９までの整数である時刻の符号データは、コンポーネントの番号が１から９のコンポーネントにおかれる。
【００８０】
図７は、本発明の一実施の形態である撮像装置３１の機能ブロック図である。図７に示す撮像装置３１の各手段は、所定のプログラムに基づいて図１を参照して説明したハードウエアが行う処理により実現する。ただし、撮像装置３１においては画像入力装置３２がバス４（図１参照）に接続されている。図７に示すように、動画像は、画像入力装置３２に入力する。画像入力装置３２では、ＣＣＤやＭＯＳイメージセンサ等の画像入力デバイスによりアナログ画像信号に光電変換され、更にノイズ削減回路でＳ／Ｎ比を高められた後、デジタル画像信号に変換される。
【００８１】
こうして得られたデジタル画像信号は、画像圧縮装置を実施する画像圧縮手段３３の直交変換手段３４で直交変換係数値に変換される。この変換には、画像圧縮アルゴリズムがＪＰＥＧの場合は離散コサイン変換、また、ＪＰＥＧ２０００の場合は離散ウェーブレット変換が各々使用される。直交変換は、ある大きさを持った矩形領域（タイルなど）ごとにフレームを分割して、この矩形領域ごとに行われ、その単位にヘッダ情報が付加される。動き量検出装置１１は、このヘッダに記述された情報を読み取り、前述のように現フレームと参照フレームとの直交変換係数値の符号量差から画像の動き量を検出する。
【００８２】
フレーム選択手段３５は、動き量検出装置１１の出力に基づき、スイッチを開閉する。すなわち、通過が許されたフレームに対しては、スイッチをオンにし、削除するフレームに対しては、スイッチをオフにし、フレームの取捨選択を行う。こうして、フレーム選択手段３５を通過したフレームの直交変換係数値は、量子化手段３６で量子化され、引き続き符号化手段３７で新たなヘッダ情報を付加されて符号列に符号化される。量子化手段３６と符号化手段３７は、いずれも、画像圧縮手段３３の一部をなす機能である。
【００８３】
コンポーネント配置手段３８は、符号列作成手段３９とともにフレーム選択手段３５のスイッチを通過した符号データから符号列を作成し、符号列出力手段４０が作成した符号列を出力する。すなわち、符号列作成手段３９は、新たな符号列のヘッダ情報を作成し、コンポーネント配置手段３８は、新たな符号列中のコンポーネントの配置を用途に応じて指定する。このとき、符号列中でコンポーネントにどのようにして配置するかは、たとえば、図６を参照して前述したとおりである。記憶手段４１は、符号列出力手段４０が作成した符号列を所定の記憶メディアに記憶し、ネットワーク出力手段は通信インターフェイス６を介してネットワーク７に符号列を送信する。
【００８４】
なお、動き量検出装置１１で、検出した画像の動き量の単位時間当たりの変化量を検出し（動き量変化量検出手段）、フレーム選択手段３５、コンポーネント配置手段３８が、この変化量に基づいて動作するようにしてもよい。
【００８５】
図８には、撮像装置３１を車載用の監視カメラに応用した場合の例の説明図である。図８（ａ）に示す平面図のように、撮像装置３１が、車の前後左右と上方、合計９箇所に設けられている。各撮像装置３１は、０．１秒間隔で動画像をサンプリングして、静止画像（フレーム）に変換する。また、各撮像装置３１のコンポーネント配置手段３８は、各撮像装置３１で異なるコンポーネント番号を指定し、符号データの配置を行う。この例では、各撮像装置３１のフレーム選択手段３５は、画像の動き量を検出したフレームのみを選択的に残すように設定されている。例えば、車５１の右前方から左後方に向けて（符号５１ａ側が前方）、何かが横切ったとすると、＃＝０〜＃＝３のコンポーネント（コンポーネント＃を図中に示している。これは、車載の各撮像装置３１の番号でもある。（図８（ｂ）も参照））に画像を記録する撮像装置３１で画像が検出されることになる。
【００８６】
図９は、撮像装置３１を複数台使用した撮像システム５１について説明する説明図である。この撮像システム５１は、３台の撮像装置３１を用い、３箇所で撮影するシステムである。３箇所で撮影した各動画像Ａ，Ｂ，Ｃは各々並列に処理され、１本の符号列が作成される。すなわち、画像入力装置３２、直交変換手段３４、フレーム選択手段３５、量子化手段３６、符号化手段３７、動き量検出装置１１は、各撮像装置３１において並列に動作する。しかし、コンポーネント配置手段３８、符号列作成手段３９、符号列出力手段４０などは各撮像装置３１で共通であり、標準形式に従った１本の符号列にまとめられる。
【００８７】
このようなシステムは、多点で同時に撮影し符号化された１本の動画像を得るのに適している。生成した符号列は、記憶手段４１でメモリ３に記憶されるか、あるいは、ネットワーク７に出力される。
【００８８】
図１０は、図９のシステムを用いて得られた符号列の各画像入力装置３２による撮影分の符号データの内容をそれぞれ示している。この例は、入力動画像データの数は３、出力される符号列の数も３（動画像データごとの符号列）の場合である。ここでは、動き量の有無に関わらず、１秒毎にフレームが周期フレームとして選択される。そして、この周期フレームの符号データは、同一のコンポーネント、すなわち、コンポーネント＃＝００に配置される。
【００８９】
また、動き量が閾値を超えたものはフレームとして選択される。符号データの配置されるコンポーネントは、周期フレームの配置されているコンポーネント以外、すなわち、コンポーネント＃＝０１，０２，０３，…である。なお、コンポーネント＃＝０１，０２，０３，…は、動画像が静止画像としてサンプリングされた時刻の、小数点以下の秒数を表わすようにしておくと便利である。例えば、動画像Ａを撮影した符号列＃＝０のコンポーネント＃＝０２には、ｔ＝０．２，１．２，２．２，３．２，４．２，…でキャプチャされた符号データが配置されている。
【００９０】
図１１には、入力動画像データの数が３、出力される符号列の数が１の（３つの動画像データを１本に合成する）場合の符号データの配置を示した。カメラの番号ごとにコンポーネントが指定されている。各動画像データは異なるコンポーネント＃に配置される。ここでは、動き量を検出する画像は周期フレーム（コンポーネント＃＝００）に限定し、動き量を超えたものだけがフレームとして選択される。
【００９１】
図１２は、画像編集装置６１の電気的な接続を示すブロック図である。図１２に示すように、画像編集装置６１は、例えばパーソナルコンピュータを用いており、各種演算を行ない画像編集装置６１の各部を集中的に制御するＣＰＵ６２と、各種のＲＯＭやＲＡＭからなるメモリ６３とが、バス６４で接続されている。
【００９２】
バス６４には、所定のインターフェイスを介して、記憶装置となるハードディスクなどの磁気記憶装置６５と、マウスやキーボードなどで構成される入力装置６６と、ＬＣＤやＣＲＴなどの表示装置６７と、光ディスクなどの記憶媒体６８を読取る記憶媒体読取装置６９と、ネットワーク７０と通信を行なう所定の通信インターフェイス７１とが接続されている。なお、記憶媒体８８としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置６９は、具体的には記憶媒体６８の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００９３】
磁気記憶装置６５には、画像編集プログラムが記憶されている。一般的には、この画像編集プログラムは、記憶媒体６８から記憶媒体読取装置６９により読取ることで磁気記憶装置６５にインストールするが、ネットワーク７０からダウンロードして磁気記憶装置６５にインストールしたものである。このインストールにより、画像編集装置６１は動作可能な状態となる。この画像編集プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００９４】
図１３は、画像編集プログラムに基づいてＣＰＵ６２が実行する処理により実現される画像編集装置６１の機能ブロック図である。この編集装置６１は、まず、符号列入力手段８１で、前述の符号列変換装置２１、撮像装置３１、撮像システム５１で生成された符号列の入力を受け付ける。画像伸長手段８２は、この符号列の各コンポーネントに配置された全ての符号データに対して、復号化、逆量子化、逆直交変換等の処理を施して、符号列を伸長する。この伸長後の画像データは画像表示手段８３により表示装置６７に表示される。
【００９５】
ユーザは、画像表示手段８３で表示された画像を見ながら、動画像が自然な動きになるように動き量が検出されたフレームの妥当性をチェックする。特に、動画領域と背景領域の区別が難しい領域に注目することが重要である。このチェックにより、不要と判断されたフレームは削除することとなる。すなわち、ユーザが入力装置６６を操作して、符号データ操作指示信号を出力すると、構文解析手段８４が符号列の構文を解析し、符号列変換手段８５は符号列からユーザが指定したフレームを削除して、残った符号データをコンポーネントに再配置し、新しい別の符号列を作成する。これにより、動き量検出装置１１により動き量が検出されたフレームの妥当性をチェックすることができる。
【００９６】
【発明の効果】
請求項１に記載の発明は、画像の動き量を符号量から求めるため、従来のようにまた、直交変換係数値を復号化し、逆量子化する処理は不要となり、処理を高速化し、処理に必要なメモリ要領を低減でき、処理に必要な電力も低減できる。
【００９７】
請求項２に記載の発明は、請求項１に記載の発明において、閾値との比較により動き量を判断することができる。
【００９８】
請求項３に記載の発明は、請求項１又は２に記載の発明において、直前に位置しているフレームと符号量を比較して、目的のフレームについて動き量を検出することができる。
【００９９】
請求項４に記載の発明は、請求項１〜３のいずれかの一に記載の発明において、動き量の単位時間当たりの変化量から動きの激しさを判断することができる。
【０１００】
請求項５に記載の発明は、請求項１〜３のいずれかの一に記載の発明において、所望の領域、コンポーネント又はサブバンドごとに動き量を検出することができる。
【０１０１】
請求項６に記載の発明は、請求項１〜５のいずれかの一に記載の発明において、離散ウエーブレット変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【０１０２】
請求項７に記載の発明は、請求項１〜５のいずれかの一に記載の発明において、離散コサイン変換を用いた直交変換係数値の符号量から動き量を検出することができる。
【０１０３】
請求項８に記載の発明は、画像の動き量から不要なフレームを削除した新たな符号列を作成して、符号量を低減することができる。
【０１０４】
請求項９に記載の発明は、請求項８に記載の発明において、符号化されたデータをコンポーネントに配置して新たな符号列を作成することができる。
【０１０５】
請求項１０に記載の発明は、動画像データについて画像の動き量から不要なフレームを削除した符号列を作成して、符号量を低減することができる。
【０１０６】
請求項１１に記載の発明は、請求項１０に記載の発明において、符号化されたデータをコンポーネントに配置して動画像データから符号列を作成することができる。
【０１０７】
請求項１２に記載の発明は、請求項１１に記載の発明において、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置して、動画像データから符号列を作成することができる。
【０１０８】
請求項１３に記載の発明は、請求項１１又は１２に記載の発明において、各入力符号列にコンポーネントを指定して符号データを配置して、動画像データから符号列を作成することができる。
【０１０９】
請求項１４に記載の発明は、動画像を撮像して画像データを圧縮符号化することができる。
【０１１０】
請求項１５に記載の発明は、複数点で動画像を撮像して、各画像データを１本の符号列に圧縮符号化することができる。
【０１１１】
請求項１６に記載の発明は、請求項１５に記載の発明において、複数点で撮像した動画像データを同時に時系列に並べ整理することが容易になる。
【０１１２】
請求項１７に記載の発明は、前述の符号列変換装置、画像圧縮装置で作成された符号列で、画像に動きのない又は少ない背景領域を画像に動きのある又は多い動画領域と誤って判断していても、そのような不要なフレームは画像を表示して確認した上で削除することができるので、背景のチラツキ等の問題を解決し、自然な動画像を再生することが可能となり、画質を向上させることができる。
【０１１３】
請求項１８に記載の発明は、請求項１〜１７のいずれかの一に記載の発明と同様の作用、効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態である符号列変換装置のハードウエア構成を示すブロック図である。
【図２】本発明の一実施の形態である動き量検出装置の機能ブロック図である。
【図３】動き量検出装置の処理を説明する説明図である。
【図４】動き量検出装置の処理を説明する説明図である。
【図５】符号列変換装置の機能ブロック図である。
【図６】符号列中でのコンポーネント配置を説明する説明図である。
【図７】本発明の一実施の形態である撮像装置の機能ブロック図である。
【図８】撮像装置を車両に複数台設置する場合の説明図である。
【図９】本発明の一実施の形態である撮像装置の機能ブロック図である。
【図１０】図９のシステムを用いて得られた符号列の各画像入力装置による撮影分の符号データの内容を説明する説明図である。
【図１１】３つの動画像データを１本の符号列に合成する場合の符号データの配置を示す説明図である。
【図１２】本発明の一実施の形態である画像編集装置の電気的な接続を示すブロック図である。
【図１３】画像編集装置の機能ブロック図である。
【図１４】二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを説明する説明図である。
【図１５】二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を説明する説明図である。
【図１６】ＪＰＥＧ２０００符号列の構文解析、パケット長の読み取りについて説明する概念図である。
【図１７】ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。
【図１８】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図１９】タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図２０】プレシンクトとコードブロックの関係を説明するための図である。
【図２１】符号列の構造を説明するための図である。
【図２２】符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示す説明図である。
【図２３】本発明の課題を説明する説明図である。
【符号の説明】
１１ 動き量検出装置
１２ 符号量読取手段
１４ 差分検出手段
２１ 符号列変換装置
２３ フレーム選択手段
２４ コンポーネント配置手段
２５ 符号列作成手段
２８ 動き量検出対象指定手段
３１ 撮像装置
３２ 画像入力装置
３４ 直交変換手段
３５ フレーム選択手段
３８ コンポーネント配置手段
３９ 符号列作成手段
５１ 撮像システム
６１ 編集装置
８２ 画像伸長手段
８３ 画像表示手段
８５ 符号列変換手段
Claims (18)
- 動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換した直交変換係数値の符号量を読み取る符号量読取手段と、
前記直交変換係数値の目的のフレームと他のフレームとの間で、前記符号量読取手段で読み取られた符号量同士を比較してその差分値を求めて前記直交変換係数値の画像の動き量を検出する差分検出手段と、
を備えている動き量検出装置。 - 前記検出された差分値と比較する１又は複数の閾値を設定する閾値設定手段を備えている、請求項１に記載の動き量検出装置。
- 前記差分検出手段は、前記他のフレームを前記目的のフレームの直前に位置しているフレームとする、請求項１又は２に記載の動き量検出装置。
- 前記動き量について単位時間当たりの変化量を検出する動き量変化量検出手段を備えている、請求項１〜３のいずれかの一に記載の動き量検出装置。
- 前記動き量を検出する対象を、前記直交変換係数値の領域、コンポーネント又はサブバンドごとに指定する動き量検出対象指定手段を備えている、請求項１〜３のいずれかの一に記載の動き量検出装置。
- 前記符号量読取手段は、離散ウエーブレット変換を前記直交変換として用いた前記直交変換係数値の前記符号量を読み取る、請求項１〜５のいずれかの一に記載の動き量検出装置。
- 前記符号量読取手段は、離散コサイン変換を前記直交変換として用いた前記直交変換係数値の前記符号量を読み取る、請求項１〜５のいずれかの一に記載の動き量検出装置。
- 動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換して階層的に圧縮符号化した符号列について、前記直交変換係数値の画像の動き量を検出する請求項１〜７のいずれかの一に記載の動き量検出装置と、
前記動き量検出装置で検出した前記動き量に基づいて前記符号列中からフレームを取捨選択するフレーム選択手段と、
この取捨選択後のフレームを用いた新たな符号列を生成する符号列作成手段と、
を備えている符号列変換装置。 - 前記符号列作成手段で前記符号列を作成する際に符号化されたデータをコンポーネントに配置するコンポーネント配置手段を備えている、請求項８に記載の符号列変換装置。
- 動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換する直交変換手段と、
この直交変換後の動画像データを対象として前記動き量の検出を行う請求項１〜７のいずれかの一に記載の動き量検出装置と、
前記動き量検出装置で検出した前記動き量に基づいて前記動画像データ中からフレームを取捨選択するフレーム選択手段と、
この取捨選択後のフレームにを用いて前記動画像データを階層的に圧縮符号化した符号列を生成する符号列作成手段と、
を備えている画像圧縮装置。 - 前記符号列作成手段で前記符号列を作成する際に符号化されたデータをコンポーネントに配置するコンポーネント配置手段を備えている、請求項１０に記載の画像圧縮装置。
- 前記コンポーネント配置手段は、フレーム間隔が一定である周期フレームの符号データを同一のコンポーネントに配置する、請求項１１に記載の画像圧縮装置。
- 前記コンポーネント配置手段は、各入力符号列にコンポーネントを指定して符号データを配置する、請求項１１又は１２に記載の画像圧縮装置。
- 動画像を撮像する画像入力装置と、
この撮像後の動画像データを圧縮符号化した符号列とする請求項１０〜１３のいずれかの一に記載の符号列変換装置と、
を備えている撮像装置。 - 動画像を撮像する複数の画像入力装置と、
この撮像後の各動画像データを圧縮符号化して当該各動画像データを１本の符号列に合成する請求項１１〜１３のいずれかの一に記載の符号列変換装置と、
を備えている撮像システム。 - 前記符号列変換装置は、前記各動画像データを異なるコンポーネントに配置するように前記合成を行う、請求項１５に記載の撮像システム。
- 動画像データをフレームごとに１または複数の矩形領域に分割し、この矩形領域ごとに画素値を直交変換して階層的に圧縮符号化した符号列を伸長する画像伸長手段と、
この伸長後の画像データを画像表示装置に表示する画像表示手段と、
前記符号列中からユーザが指定したフレームを削除して残った符号データをコンポーネントに再配置した新しい符号列を作成する符号列変換手段と、
を備えている画像編集装置。 - 請求項１〜７のいずれかの一に記載の動き量検出装置、請求項８若しくは９に記載の符号列変換装置、請求項１０〜１３のいずれかの一に記載の画像圧縮装置又は請求項１７に記載の画像編集装置の前記各手段をコンピュータに実行させるコンピュータに読取可能なプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003002103A JP2004215155A (ja) | 2003-01-08 | 2003-01-08 | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003002103A JP2004215155A (ja) | 2003-01-08 | 2003-01-08 | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004215155A true JP2004215155A (ja) | 2004-07-29 |
Family
ID=32819940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003002103A Pending JP2004215155A (ja) | 2003-01-08 | 2003-01-08 | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004215155A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007083436A1 (ja) * | 2006-01-23 | 2007-07-26 | Olympus Medical Systems Corp. | カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム |
| JP2009171256A (ja) * | 2008-01-16 | 2009-07-30 | Sharp Corp | 動き検出装置、動き検出方法、および監視装置、 |
| JP2010187094A (ja) * | 2009-02-10 | 2010-08-26 | Toyota Infotechnology Center Co Ltd | 画像処理システムおよび画像処理装置 |
| KR101114820B1 (ko) * | 2010-09-02 | 2012-02-15 | (주) 텔트론 | 마이크로웨이브를 이용한 움직임 검출 센서 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06133305A (ja) * | 1992-09-07 | 1994-05-13 | Fujitsu Ltd | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
| JP2001186528A (ja) * | 1999-12-27 | 2001-07-06 | Victor Co Of Japan Ltd | 画像信号のビットストリーム周波数変換装置及びその方法 |
-
2003
- 2003-01-08 JP JP2003002103A patent/JP2004215155A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06133305A (ja) * | 1992-09-07 | 1994-05-13 | Fujitsu Ltd | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
| JP2001186528A (ja) * | 1999-12-27 | 2001-07-06 | Victor Co Of Japan Ltd | 画像信号のビットストリーム周波数変換装置及びその方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007083436A1 (ja) * | 2006-01-23 | 2007-07-26 | Olympus Medical Systems Corp. | カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム |
| JP2007195586A (ja) * | 2006-01-23 | 2007-08-09 | Olympus Medical Systems Corp | カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム |
| JP2009171256A (ja) * | 2008-01-16 | 2009-07-30 | Sharp Corp | 動き検出装置、動き検出方法、および監視装置、 |
| JP2010187094A (ja) * | 2009-02-10 | 2010-08-26 | Toyota Infotechnology Center Co Ltd | 画像処理システムおよび画像処理装置 |
| KR101114820B1 (ko) * | 2010-09-02 | 2012-02-15 | (주) 텔트론 | 마이크로웨이브를 이용한 움직임 검출 센서 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8000542B2 (en) | Apparatus and method for processing image data based on object movement speed within a frame | |
| KR100971833B1 (ko) | 화상 부호화 방법 및 장치 | |
| JP4350342B2 (ja) | 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法 | |
| JP2004088425A (ja) | 符号変換装置、符号変換方法、プログラム及び記憶媒体 | |
| US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP2004166254A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP4532518B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004215155A (ja) | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム | |
| JP3942088B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3888622B2 (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 | |
| JP2004200959A (ja) | 符号列変換装置、画像編集システム、カメラシステム及びプログラム | |
| JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| JP4111761B2 (ja) | 画像処理装置 | |
| JP3897253B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 | |
| JP4656497B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP4124436B2 (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 | |
| JP2004153621A (ja) | 符号列変換装置、カメラシステム、画像表示システム、画像編集システム、プログラム及び記憶媒体 | |
| JP2005110145A (ja) | 符号列変換装置、符号列変換方法、撮影システム、画像表示システム、監視システム、プログラム、及び、情報記録媒体 | |
| JP2004282345A (ja) | 画像処理装置 | |
| JP2004112381A (ja) | 動き量検出装置、符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および動き量検出方法 | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| Chebil et al. | Pre-compression rate allocation for JPEG2000 encoders in power constrained devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071218 |