JP2009296382A - Image processing system, image processing method, and program - Google Patents
Image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP2009296382A JP2009296382A JP2008148565A JP2008148565A JP2009296382A JP 2009296382 A JP2009296382 A JP 2009296382A JP 2008148565 A JP2008148565 A JP 2008148565A JP 2008148565 A JP2008148565 A JP 2008148565A JP 2009296382 A JP2009296382 A JP 2009296382A
- Authority
- JP
- Japan
- Prior art keywords
- image
- compression
- feature
- region
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。 The present invention relates to an image processing system, an image processing method, and a program. The present invention particularly relates to an image processing system and an image processing method for processing an image, and a program for the image processing system.
監視領域に出入りする人物の映像データを記録する監視記録装置が知られている(例えば、特許文献1参照。)。この監視記録装置は、撮影された動き物体の映像のうち、予め定められた基準に最も適合する映像のデータを、当該映像が撮影された時刻情報に関連付けてストレージに記録する。
上記特許文献1に記載の技術では、撮影された映像はストレージに蓄積されていく。このため、例えば大昔に撮影された映像などのように監視記録としての利用率が極めて低い映像によってストレージ容量の大半が消費されてしまうと、ストレージを効率的に利用することができなくなってしまう。このように、特許文献1に記載の技術では、記憶している画像を出力環境に応じて圧縮することができない。
With the technique described in the above-mentioned
上記課題を解決するために、本発明の第1の形態によると、画像処理システムであって、画像を記憶する記憶部と、画像を圧縮すべきか否かを判断する圧縮判断部と、圧縮判断部が画像を圧縮すべき旨を判断した場合に、画像を、画像における特徴領域と、画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する圧縮部とを備える。 In order to solve the above problems, according to a first aspect of the present invention, there is provided an image processing system, a storage unit that stores an image, a compression determination unit that determines whether or not to compress an image, and a compression determination When the unit determines that the image should be compressed, the image processing unit includes a compression unit that compresses the image with a different compression strength in a feature region in the image and a region other than the feature region in the image.
本発明の第2の形態によると、方法であって、画像を記憶する記憶段階と、画像を圧縮すべきか否かを判断する圧縮判断段階と、圧縮判断段階において画像を圧縮すべき旨が判断された場合に、画像を、画像における特徴領域と、画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する圧縮段階とを備える。 According to a second aspect of the present invention, there is provided a method for determining whether to store an image, a compression determination step for determining whether or not to compress an image, and that the image should be compressed in the compression determination step. In this case, the image processing apparatus includes a compression stage that compresses the image with a different compression strength between a feature area in the image and an area other than the feature area in the image.
本発明の第3の形態によると、画像処理システム用のプログラムであって、コンピュータを、画像を記憶する記憶部、画像を圧縮すべきか否かを判断する圧縮判断部、圧縮判断部が画像を圧縮すべき旨を判断した場合に、画像を、画像における特徴領域と、画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する圧縮部として機能させる。 According to a third aspect of the present invention, there is provided a program for an image processing system, in which a computer stores a image, a compression determination unit that determines whether the image should be compressed, and a compression determination unit When it is determined that the image should be compressed, the image is made to function as a compression unit that compresses the image with a different compression strength between the feature region in the image and the region other than the feature region in the image.
なお、上記の発明の概要は、この発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、一実施形態に係わる画像処理システム10の一例を示す。画像処理システム10は、以下に説明するように、監視システムとして機能することができる。
FIG. 1 shows an example of an
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−d(以下、撮像装置100と総称する。)、撮像装置100により撮像された撮像画像を処理する画像処理装置120、通信ネットワーク110、画像処理装置170、画像DB175、および複数の表示装置180a−d(以下、表示装置180と総称する。)を備える。画像処理装置170は、監視対象空間150とは異なる空間165に設けられている。また、表示装置180は、監視対象空間150および空間165とは異なる空間160に設けられている。
The
撮像装置100aは、撮像部102aおよび撮像画像圧縮部104aを有している。撮像部102aは、連続して監視対象空間150を撮像することによって複数の撮像画像を撮像する。なお、撮像部102aにより得られる撮像画像は、RAW形式の撮像画像であってよい。撮像画像圧縮部104aは、撮像部102aにより撮像されたRAW形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をMPEG符号化等により圧縮して、動画データを生成する。このように、撮像装置100aは、監視対象空間150を撮像して得られた動画を符号化して動画データを生成する。撮像装置100aは、当該動画データを画像処理装置120に出力する。
The
なお、撮像装置100b、撮像装置100c、および撮像装置100dは、それぞれ撮像装置100aと同様の構成を有するので、撮像装置100b、撮像装置100c、および撮像装置100dの各構成要素の説明を省略する。このようにして、画像処理装置120は、複数の撮像装置100のそれぞれにより生成された動画データを、複数の撮像装置100のそれぞれから取得する。
Note that the
画像処理装置120は、撮像装置100から取得した動画データを復号することにより、動画を取得する。画像処理装置120は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物130が撮像された領域、車輌等の移動体140が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
The
なお、画像処理装置120は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置120は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク110を通じて画像処理装置170に送信する。
Note that the
画像処理装置170は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置120から受信する。そして、画像処理装置170は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像DB175に記憶させる。なお、画像DB175は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像DB175は、圧縮された撮像画像を記憶する。
The
また、画像処理装置170は、表示装置180からの要求に応じて、画像DB175から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク110を通じて表示装置180に送信する。このとき、画像処理装置170は、通信ネットワーク110のネットワーク帯域幅または表示装置180の処理能力に応じて、表示用動画を再圧縮して表示装置180に送信する。表示装置180は、画像処理装置170から供給された表示用動画を表示する。
In response to a request from the
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置170は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置170は、特定した撮像画像を復号して、表示装置180に提供してよい。
The feature area information is text data including the position of the feature area, the size of the feature area, the number of feature areas, identification information for identifying the captured image in which the feature area is detected, or the like, or compressed or encrypted into the text data. It may be data that has been processed. Then, the
このように、画像処理システム10によると、特徴領域を示す情報を動画に対応づけて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム10によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
As described above, according to the
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、画像取得部250、特徴領域検出部203、圧縮制御部210、圧縮部240、対応付け処理部206、圧縮判断部260、条件判断部265、条件取得部270、出力許容量取得部283、および出力部207を備える。画像取得部250は、圧縮動画取得部201および圧縮動画伸張部202を有する。
FIG. 2 shows an example of a block configuration of the
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。
The compressed moving
圧縮動画伸張部202によって得られた複数の撮像画像は、特徴領域検出部203および圧縮部240に供給される。特徴領域検出部203は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部203は、複数の撮像画像のそれぞれから特徴領域を検出する。
The plurality of captured images obtained by the compressed moving
例えば、特徴領域検出部203は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部203は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部203は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部203は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
For example, the feature
例えば、特徴領域検出部203は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部203は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
For example, the feature
なお、特徴領域検出部203は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部203は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
The feature
また、特徴領域検出部203は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開2007−188419号公報に記載された機械学習(例えば、アダブースト)等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部203は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。
In addition to pattern matching by template matching or the like, the feature
なお、特徴領域検出部203は、特願2008−078641号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部203は、生成された画像群のうちの相対的に小さい第1の画像に、第1のフィルタを作用させて、評価値を算出する。ここで、第1のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第1のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。特徴領域検出部203は、所定の第1の閾値を越える評価値が得られた一次候補領域を、第1の画像から抽出する。
Note that the feature
そして、特徴領域検出部203は、第1の画像よりも画素数が一段階多い第2の画像における一次候補領域に相当する領域に、フィルタ群のうちの第1のフィルタよりも一段階広い領域に作用する第2のフィルタを作用させて、評価値を算出する。そして、特徴領域検出部203は、所定の第2の閾値を越える評価値が得られる二次候補領域を抽出する。
Then, the feature
ここで、特徴領域検出部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域検出部203は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。
Here, the feature
また、特徴領域検出部203は、特願2008−078636号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域検出部203は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域検出部203は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、特徴領域検出部203は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域検出部203は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。
The feature
なお、特徴領域検出部203は、特願2008−078636号に記載された方法と、特願2008−078641号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願2008−078636号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域検出部203は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域検出部203は、画像群のうちの相対的に小さい第1の画像に相対的に狭い領域に作用する複数の第1のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域検出部203は、該複数の第1のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、求められた二次評価値と第1の閾値とを比較して該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。
The feature
また、特徴領域検出部203は、上記画像群のうちの第1の画像よりも画素数が一段階多い第2の画像の、一次候補領域に相当する領域に複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域検出部203は、当該複数の第2のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、特徴領域検出部203は、複数の第2のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める。そして、特徴領域検出部203は、求められた二次評価値と第2の閾値とを比較して第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。
In addition, the feature
ここで、特徴領域検出部203は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域検出部203は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域検出部203は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域検出部203は、2以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域検出部203は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。
Here, the feature
また、特徴領域検出部203は、特願2008−098600号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、複数の撮像装置100により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置100aおよび撮像装置100bは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置100aおよび撮像装置100bは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置100aが撮像した第1の撮像画像と、撮像装置100bが撮像した第2の撮像画像とを、ペア画像と呼ぶ。特徴領域検出部203は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。
The feature
特徴領域検出部203は、ペア画像とみなされる第1および第2の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域検出部203は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、特徴領域検出部203は、抽出した第1の撮像画像上の領域と第2の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域検出部203は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。特徴領域検出部203は、被写体までの距離に基づく被写体の3次元形状に基づいて、特定種類のオブジェクトを検出することができる。
For each of the first and second captured images regarded as a pair image, the feature
ここで、特徴領域検出部203は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第1および第2の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域検出部203は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル(例えば、画素値勾配ベクトル)を例示することができる。そして、特徴領域検出部203は、算出された第1の画像上の領域のベクトルと第2の画像上のベクトルとの間の論理上の距離を算出する。特徴領域検出部203は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域検出部203は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域検出部203は、被写体の3次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。
Here, when detecting a pair of regions corresponding to each other, the feature
また、特徴領域検出部203は、特願2008−091562号に記載された方法で特徴領域を検出してよい。例えば、特徴領域検出部203は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置100の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域検出部203は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域検出部203は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域検出部203は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域検出部203は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。
The feature
なお、撮像装置100が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置100の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置100により、一の撮像装置100が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置100のそれぞれの撮像方向、および複数の撮像装置100のそれぞれにより撮像された撮像画像上の位置を例示することができる。
Note that when the
特徴領域検出部203は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。なお、特徴領域検出部203は、矩形を含む任意の形状を有するROIを検出してよい。
The feature
このように、特徴領域検出部203は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部203は、検出した特徴領域を示す情報を、圧縮制御部210に供給する。なお、特徴領域を示す情報は、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された動画を識別する情報を含む。
As described above, the feature
圧縮制御部210は、特徴領域検出部203から取得した特徴領域を示す情報に基づいて、圧縮部240による動画の圧縮処理を制御する。圧縮部240は、圧縮制御部210による制御により、以下に説明するように撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部240は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部240は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。
The
なお、特徴領域検出部203が複数の特徴領域を検出した場合、圧縮部240は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部240は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。
Note that when the feature
対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部206は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部207は、対応付け処理部206によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置170に出力する。
The
画像処理装置170は、出力部207から出力された撮像動画データ中の圧縮動画に含まれている、圧縮部240により圧縮された複数の撮像画像を、撮像動画データ中の特徴領域を特定する情報とともに取得する。そして、画像処理装置170は、圧縮された複数の撮像画像を、特徴領域を特定する情報に対応づけて画像DB175に記憶させる。なお、出力部207から出力された撮像動画に含まれる圧縮部240により圧縮された複数の撮像画像は、この発明における圧縮された画像一例であってよい。
The
なお、画像処理装置170は、画像DB175がデータをさらに記憶することができる記憶容量である記憶残量を取得して、画像処理装置120に送信する。出力許容量取得部283は、画像処理装置170から送信された記憶残量を取得する。また、条件取得部270は、撮像画像をさらに圧縮すべき旨が判断される場合に満たされるべき記憶残量に関する条件を取得する。そして、条件判断部265は、出力許容量取得部283が取得した記憶残量が、条件取得部270が取得した記憶残量に関する条件を満たしているか否かを判断する。
Note that the
そして、圧縮判断部260は、出力許容量取得部283が取得した記憶残量が、条件取得部270が取得した記憶残量に関する条件を満たしている旨を条件判断部265が判断した場合に、複数の撮像画像をさらに圧縮させる旨を判断する。なお、圧縮判断部260は、当該条件が満たされている旨を条件判断部265が判断した場合に、当該条件が満たされていない旨を条件判断部265が判断した場合に比べて、複数の撮像画像をより強い強度でさらに圧縮させる旨を判断してよい。圧縮制御部210は、圧縮判断部260が複数の撮像画像をさらに圧縮させる旨を判断した場合に、複数の撮像画像を圧縮部240にさらに圧縮させる。圧縮部240は、圧縮判断部260が撮像画像をさらに圧縮すべき旨を判断した場合に、撮像画像を、撮像画像における特徴領域と、撮像画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する。
When the
なお、圧縮判断部260は、複数の撮像装置100のそれぞれによって撮像された複数の動画に含まれる複数の撮像画像のそれぞれについて圧縮すべきか否かを判断してよい。そして、圧縮部240は、圧縮判断部260が少なくとも一の撮像画像を圧縮すべき旨を判断した場合に、少なくとも一の動画に含まれる撮像画像における複数の特徴領域のうちの少なくとも一の特徴領域において、圧縮判断部260が複数の撮像画像のそれぞれについて判断した判断結果に応じた強度で圧縮してよい。これにより、異なる複数の撮像装置100によって撮像された動画に対する判断結果に応じて、一以上の撮像装置100によって撮像された動画に対する圧縮率を制御することができる。また、異なる複数の撮像装置100によって撮像された動画に対する判断結果に応じて、さらに撮像画像における複数の特徴領域のそれぞれについて圧縮率を制御することができる。このため、異なる複数の撮像装置100によって撮像された動画の画質を、状況に応じて領域毎にきめ細やかに制御することができる。なお、圧縮判断部260による判断結果としては、条件取得部270が取得した条件が満たされているか否か、または、当該条件への適合度などを例示することができる。また、異なる複数の条件がある場合には、圧縮判断部260による判断結果としては、満たされている条件の組み合わせ、または、複数の条件のそれぞれへの適合度などを例示することができる。
Note that the
このように、条件取得部270は、撮像画像をさらに圧縮すべき旨が判断される場合に満たされるべき条件を取得する。例えば、条件取得部270は、撮像画像をさらに圧縮すべき旨が判断される場合に満たされるべき、撮像画像が出力される出力先に出力することができる出力許容量に関する条件を取得する。そして、条件判断部265は、撮像画像が出力される出力先に出力することができる出力許容量が、条件取得部270が取得した条件を満たしているか否かを判断する。そして、圧縮判断部260は、当該出力許容量が条件を満たしていると条件判断部265が判断した場合に、画像をさらに圧縮すべき旨を判断する。そして、圧縮部240は、圧縮判断部260が撮像画像をさらに圧縮すべき旨を判断した場合に、撮像画像を、撮像画像における特徴領域と、撮像画像における特徴領域以外の領域とで異なる圧縮強度でさらに圧縮する。
Thus, the
なお、出力許容量としては、画像DB175の記憶残量の他に、画像処理装置120が通信ネットワーク110に出力することができるネットワーク帯域幅、画像処理装置170が単位時間あたりに処理することができるデータ量等を例示することができる。また、出力許容量取得部283、条件取得部270、条件判断部265、および圧縮判断部260の動作、ならびに圧縮判断部260が撮像画像をさらに圧縮する旨を判断した場合における圧縮部240の動作については、画像処理装置170の動作に関連して後により詳細に説明する。
In addition to the remaining storage capacity of the
図3は、圧縮部240のブロック構成の一例を示す。圧縮部240は、画像分割部232、複数の固定値化部234a−c(以下、固定値化部234と総称する場合がある。)、および複数の圧縮処理部236a−d(以下、圧縮処理部236と総称する場合がある。)を有する。
FIG. 3 shows an example of a block configuration of the
画像分割部232は、画像取得部250から複数の撮像画像を取得する。そして、画像分割部232は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部232は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部232は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部236は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部236は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
The
具体的には、画像分割部232は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部234は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部234は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴の種類毎に、複数の特徴領域動画をMPEG圧縮する。
Specifically, the
固定値化部234a、固定値化部234b、および固定値化部234cは、それぞれ第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部236a、圧縮処理部236b、および圧縮処理部236cは、第1の特徴の種類の特徴領域動画、第2の特徴の種類の特徴領域動画、および第3の特徴の種類の特徴領域動画を圧縮する。
The fixed
なお、圧縮処理部236a−cは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部236は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部236は、MPEG符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
Note that the
また、圧縮処理部236dは、背景領域動画を圧縮する。なお、圧縮処理部236dは、圧縮処理部236a−cのいずれによる強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部236によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部206に供給される。
The
なお、特徴領域以外の領域は固定値化部234によって固定値化さるので、圧縮処理部236がMPEG符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部240は、特徴領域動画をより高い圧縮率で圧縮することができる。
Since areas other than the feature area are fixed values by the fixed value converting unit 234, when the compression processing unit 236 performs predictive encoding using MPEG encoding or the like, an image between the predicted image in the area other than the feature area is displayed. Can be significantly reduced. For this reason, the
なお、本図では、圧縮部240が有する複数の圧縮処理部236のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部240は一の圧縮処理部236を有してよく、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部236に時分割で順次供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
In this figure, each of a plurality of compression processing units 236 included in the
他にも、一の圧縮処理部236は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部236に供給され、一の圧縮処理部236が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部236が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部236が圧縮する形態では、一の圧縮処理部236は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部232によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部236が一の画像の全体を圧縮する場合には、画像分割部232による分割処理および固定値化部234による固定値化処理はなされなくてよいので、圧縮部240は、画像分割部232および固定値化部234を有しなくてよい。
In addition, the one compression processing unit 236 quantizes the image information of the plurality of feature regions and the image information of the background region with different quantization coefficients, respectively, thereby converting the images of the plurality of feature regions and the images of the background region. They may be compressed with different strengths. Also, an image obtained by converting a plurality of feature region images and a background region image into images of different image quality is supplied to one compression processing unit 236, and the one compression processing unit 236 includes a plurality of feature region images and Each image in the background area may be compressed. Further, as described above, one compression processing unit 236 quantizes with a different quantization coefficient for each region, or one compression processing unit 236 compresses an image converted into a different image quality for each region. The compression processing unit 236 may compress the entire one image, or may compress each of the images divided by the
図4は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮画像取得部301、対応付け解析部302、伸張制御部310、伸張部320、合成部330、圧縮判断部360、条件判断部365、条件取得部370、判断情報取得部380、および圧縮部340を備える。
FIG. 4 shows an example of a block configuration of the
伸張部320は、複数の復号器322a−d(以下、復号器322と総称する。)を有する。また、判断情報取得部380は、記憶期間取得部381、記憶残量取得部382、出力許容量取得部383、および権限取得部384を有する。以下に、画像DB175が記憶している動画をさらに圧縮する場合における画像処理装置170の各構成要素の機能および動作を説明する。
The
画像取得部301は、圧縮部240により圧縮された圧縮動画を取得する。具体的には、画像取得部301は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部301は、特徴領域情報が付帯された圧縮動画を取得する。
The
対応付け解析部302は、画像DB175から取得した圧縮動画を、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部320に供給する。また、対応付け解析部302は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部310および合成部330に供給する。
The
伸張制御部310は、対応付け解析部302から取得した特徴領域の位置および特徴の種類に応じて、伸張部320による伸張処理を制御する。例えば、伸張制御部310は、特徴領域の位置および特徴の種類に応じて圧縮部240が動画の各領域を圧縮した圧縮方式に応じて、伸張部320に圧縮動画が示す動画の各領域を伸張させる。
The
復号器322は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器322a、復号器322b、復号器322c、および復号器322dは、それぞれ第1特徴領域動画、第2特徴領域動画、第3特徴領域動、および背景領域動画を復号する。
The decoder 322 decodes one of the plurality of encoded characteristic area moving images and background area moving images. Specifically, the
合成部330は、伸張部320によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の動画を生成する。具体的には、合成部330は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の動画を生成する。合成部330は、生成した動画を圧縮部340に供給する。
The synthesizing
圧縮部340は、対応付け解析部302から取得した特徴領域情報を用いて、合成部330によって合成されて得られた動画を圧縮する。例えば、合成部330によって合成されて得られた動画に含まれる複数の撮像画像のそれぞれを、撮像画像における特徴領域と、撮像画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する。
The compression unit 340 uses the feature region information acquired from the
具体的には、圧縮部340は、圧縮判断部360が撮像画像をさらに圧縮すべき旨を判断した場合に、撮像画像における特徴領域以外の領域において、撮像画像における特徴領域より強い圧縮強度で圧縮する。なお、圧縮部340は、特徴領域の位置は、特徴領域情報に基づいて特定することができる。したがって、圧縮部340は、画像DB175が撮像画像に対応づけて記憶している情報が示す特徴領域以外の領域において、画像DB175が撮像画像に対応づけて記憶している情報が示す特徴領域より強い圧縮強度で撮像画像を圧縮することができる。
Specifically, when the
なお、圧縮部340は、複数の撮像画像のそれぞれにおける複数の特徴領域のそれぞれの領域において、特徴領域の特徴の種類に応じた圧縮強度で圧縮してよい。例えば、圧縮部340は、複数の撮像画像のそれぞれにおける複数の特徴領域のそれぞれの画質を、特徴領域の特徴の種類に応じた画質に低減することにより、撮像画像を圧縮してよい。 Note that the compression unit 340 may compress each region of the plurality of feature regions in each of the plurality of captured images with a compression strength corresponding to the feature type of the feature region. For example, the compression unit 340 may compress the captured image by reducing the image quality of each of the plurality of feature regions in each of the plurality of captured images to an image quality according to the feature type of the feature region.
なお、上述したように、画像DB175は、複数の特徴領域のそれぞれを示す情報に対応づけて、複数の特徴領域のそれぞれにおいて特徴領域以外の領域より強い圧縮強度で圧縮された複数の撮像画像を記憶している。この場合、圧縮部340は、複数の特徴領域における画質より特徴領域以外の領域における画質をより低減することにより、撮像画像を圧縮してよい。また、画像DB175は、複数の特徴領域のそれぞれを示す情報に対応づけて、複数の特徴領域のそれぞれにおいて特徴領域の特徴の種類に応じた圧縮強度で圧縮された複数の撮像画像を記憶している。この場合、圧縮部340は、複数の撮像画像のそれぞれにおける複数の特徴領域のそれぞれの画質を、特徴領域の特徴の種類に応じた低減量で低減することにより、撮像画像を圧縮してよい。
Note that, as described above, the
より具体的には、圧縮部340は、複数の特徴領域における解像度より特徴領域以外の領域における解像度をより低減することにより、撮像画像を圧縮してよい。また、圧縮部340は、複数の特徴領域における色数より特徴領域以外の領域における色数をより低減することにより、撮像画像を圧縮してもよい。他にも、圧縮部340は、複数の特徴領域における階調数より特徴領域以外の領域における階調数をより低減することにより、撮像画像を圧縮してもよい。 More specifically, the compression unit 340 may compress the captured image by further reducing the resolution in a region other than the feature region than the resolution in the plurality of feature regions. The compression unit 340 may compress the captured image by further reducing the number of colors in a region other than the feature region than the number of colors in the plurality of feature regions. In addition, the compression unit 340 may compress the captured image by further reducing the number of gradations in a region other than the feature region than the number of gradations in the plurality of feature regions.
また、圧縮部340は、複数の特徴領域より特徴領域以外の領域において、より高い周波数領域における空間周波数成分をより低減することにより、撮像画像を圧縮してもよい。なお、圧縮部340は、複数の特徴領域および特徴領域以外の領域の画像データを量子化する量子化パラメータを制御することにより、複数の特徴領域より特徴領域以外の領域において空間周波数成分をより低減してよい。また、圧縮部340は、画像取得部301が取得した圧縮された撮像画像における特徴領域以外の領域において、所定の周波数領域より高い周波数領域の空間周波数成分をカットしてよい。このように、圧縮部340は、複数の特徴領域における符号量より特徴領域以外の領域における符号量をより低減することにより、撮像画像を圧縮することができる。
The compression unit 340 may compress the captured image by further reducing the spatial frequency component in the higher frequency region in the region other than the feature region than the plurality of feature regions. The compression unit 340 controls the quantization parameter for quantizing the image data of a plurality of feature regions and regions other than the feature regions, thereby further reducing spatial frequency components in regions other than the feature regions than the plurality of feature regions. You can do it. The compression unit 340 may cut a spatial frequency component in a frequency region higher than a predetermined frequency region in a region other than the feature region in the compressed captured image acquired by the
圧縮部340により圧縮された動画は、画像DB175または表示装置180に供給される。画像DB175は、圧縮部340により圧縮された動画を特徴領域情報に対応づけて記憶する。また、表示装置180は、圧縮部340により圧縮された動画を表示する。
The moving image compressed by the compression unit 340 is supplied to the
なお、画像処理装置170は、予め定められた条件が満たされた場合に、上述した動作により動画を圧縮してよい。具体的には、圧縮判断部360は、画像DB175が記憶している圧縮動画に動画構成画像として含まれる複数の撮像画像をさらに圧縮すべきか否かを判断する。そして、圧縮部340は、圧縮判断部360が撮像画像をさらに圧縮すべき旨を判断した場合に、撮像画像を、撮像画像における特徴領域と、撮像画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する。
Note that the
より具体的には、条件取得部370は、圧縮判断部360が撮像画像をさらに圧縮すべき旨を判断する場合に満たされるべき条件を取得する。そして、条件判断部365は、条件取得部370が取得した条件が満たされていると条件判断部365が判断した場合に、撮像画像をさらに圧縮すべき旨を判断する。このように、条件判断部365は、圧縮判断部360が撮像画像をさらに圧縮すべき旨を判断する場合に満たされるべき条件が満たされているか否かを判断する。そして、圧縮判断部360は、条件が満たされていると条件判断部365が判断した場合に、撮像画像をさらに圧縮すべき旨を判断する。
More specifically, the condition acquisition unit 370 acquires a condition that should be satisfied when the
なお、判断情報取得部380は、条件が満たされているか否かを判断すべく条件判断部365が使用する情報を取得する。具体的には、記憶期間取得部381は、画像DB175が撮像画像を記憶している期間の時間長さを取得する。そして、条件判断部365は、記憶期間取得部381が取得した時間長さが予め定められた値より長いことを示す条件が満たされているか否かを判断する。そして、圧縮判断部360は、画像DB175が撮像画像を記憶している期間の時間長さが条件を満たしていると条件判断部365が判断した場合に、撮像画像をさらに圧縮すべき旨を判断する。
Note that the determination
なお、画像DB175が撮像画像を記憶している期間の時間長さは、撮像装置100により撮像されてから経過した時間の長さであってもよい。また、画像DB175が撮像画像を記憶している期間の時間長さは、表示装置180に最後に供給された時刻から経過した時間の長さであってもよい。
Note that the time length of the period in which the
また、記憶残量取得部382は、画像DB175がさらに記憶することができる記憶残量を取得する。そして、条件判断部365は、記憶残量取得部382が取得した記憶残量が予め定められた値より小さいことを示す条件が満たされているか否かを判断する。そして、圧縮判断部360は、記憶残量が条件を満たしていると条件判断部365が判断した場合に、撮像画像をさらに圧縮すべき旨を判断する。
Further, the remaining storage
出力許容量取得部383は、撮像画像が出力される出力先に出力することができる出力許容量を取得する。そして、条件判断部365は、出力許容量取得部383が取得した出力許容量が予め定められた値より小さいことを示す条件が満たされているか否かを判断する。そして、圧縮判断部360は、出力許容量が条件を満たしていると条件判断部365が判断した場合に、撮像画像をさらに圧縮すべき旨を判断する。
The allowable output amount acquisition unit 383 acquires an allowable output amount that can be output to an output destination where the captured image is output. Then, the
なお、撮像画像が出力される出力先としては、通信ネットワーク110、表示装置180を例示することができる。また、出力先に出力することができる出力許容量としては、出力先が通信ネットワーク110である場合には、通信ネットワーク110のネットワーク帯域幅を例示することができ、出力先が表示装置180である場合には、表示装置180が処理することができる単位時間あたりのデータ量、表示装置180が有するバッファ残量あるいは表示装置180用に用意された画像処理装置170側のバッファ残量等を例示することができる。
The output destination to which the captured image is output can be exemplified by the
なお、ネットワーク帯域幅としては、契約している帯域幅、ネットワークの輻輳量に応じて定められる帯域幅を例示することができる。また、ネットワークの輻輳量は、表示装置180との間における通信パケットがロスしたパケットロス量、画像処理装置170が受信した動画におけるブロック抜け量を指標とすることができる。なお、画像処理装置170は、表示装置180との間における通信パケットがロスしたパケットロス量、あるいは画像処理装置170が受信した動画におけるブロック抜け量は、表示装置180からのフィードバックにより取得してもよい。
The network bandwidth can be exemplified by a bandwidth determined according to a contracted bandwidth and a network congestion amount. In addition, the amount of network congestion can be used as an index for the amount of packet loss caused by communication packets lost with the
他にも、権限取得部384は、画像処理装置170から表示装置180に出力される動画を閲覧する閲覧権限を取得する。そして、条件判断部365は、権限取得部384が取得した閲覧権限が予め定められた値より小さいことを示す条件が満たされているか否かを判断する。そして、圧縮判断部360は、閲覧権限が条件を満たしていると条件判断部365が判断した場合に、撮像画像をさらに圧縮すべき旨を判断する。なお、閲覧権限とは、表示装置180が表示する動画を閲覧する閲覧者の権限であってよい。また、閲覧権限とは、複数の表示装置180にそれぞれ予め割り当てられている権限であってもよい。なお、圧縮部340は、複数の撮像画像のそれぞれにおける複数の特徴領域のそれぞれの画質を、特徴領域の特徴の種類および閲覧権限に応じた画質に低減することにより、撮像画像を圧縮してよい。
In addition, the
なお、画像DB175は、複数の撮像装置100のそれぞれによって撮像された複数の動画を記憶している。この場合、圧縮判断部360は、画像DB175にそれぞれ記憶されている複数の動画に含まれる複数の撮像画像のそれぞれについて圧縮すべきか否かを判断してよい。そして、圧縮部340は、圧縮判断部360が少なくとも一の撮像画像を圧縮すべき旨を判断した場合に、少なくとも一の動画に含まれる撮像画像における複数の特徴領域のうちの少なくとも一の特徴領域において、圧縮判断部360が複数の撮像画像のそれぞれについて判断した判断結果に応じた強度で圧縮してよい。なお、圧縮判断部360による判断結果としては、条件取得部370が取得した条件が満たされているか否か、または、当該条件への適合度を例示することができる。また、異なる複数の条件がある場合には、圧縮判断部360による判断結果としては、満たされている条件の組み合わせ、または、複数の条件のそれぞれへの適合度などを例示することができる。
The
なお、図2に関連して、圧縮判断部260、条件判断部265、条件取得部270、および出力許容量取得部283の動作、ならびに圧縮判断部260が撮像画像をさらに圧縮する旨を判断した場合における圧縮部240の動作の概略を説明したが、圧縮判断部260、条件判断部265、条件取得部270、および出力許容量取得部283は、それぞれ圧縮判断部360、条件判断部365、条件取得部370、および出力許容量取得部383と同様に動作することができる。なお、画像処理システム10は、画像処理装置120が有する各構成要素および画像処理装置170が有する各構成要素を組み合わせた構成要素を有する一の画像処理装置を備えてよいことは言うまでもない。
In connection with FIG. 2, the operations of the
図5は、圧縮部240の他のブロック構成の一例を示す。本構成における圧縮部240は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
FIG. 5 shows an example of another block configuration of the
本構成における圧縮部240は、画質変換部510、差分処理部520、および符号化部530を有する。差分処理部520は、複数の階層間差分処理部522a−d(以下、階層間差分処理部522と総称する。)を含む。符号化部530は、複数の符号器532a−d(以下、符号器532と総称する。)を含む。
The
画質変換部510は、画像取得部250から複数の撮像画像を取得する。また、画質変換部510は、特徴領域検出部203が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部510は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部510は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
The image
例えば、画質変換部510は、背景領域に応じた解像度に変換された撮像画像(以後、低解像度画像と呼ぶ。)、第1の特徴の種類に応じた第1解像度に変換された撮像画像(第1解像度画像と呼ぶ。)、第2の特徴の種類に応じた第2解像度に変換された撮像画像(第2解像度画像と呼ぶ。)、および第3の特徴の種類に応じた第3解像度に変換された撮像画像(第3解像度画像と呼ぶ。)を生成する。なお、ここでは、第1解像度画像は低解像度画像より解像度が高く、第2解像度画像は第1解像度画像より解像度が高く、第3解像度画像は第2解像度画像より解像度が高いとする。
For example, the image
そして、画質変換部510は、低解像度画像、第1解像度画像、第2解像度画像、および第3解像度画像を、それぞれ階層間差分処理部522d、階層間差分処理部522a、階層間差分処理部522b、および階層間差分処理部522cに供給する。なお、画質変換部510は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部522のそれぞれに動画を供給する。
Then, the image
なお、画質変換部510は、特徴領域の特徴の種類に応じて、階層間差分処理部522のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部510は、階層間差分処理部522aに供給する動画より低いフレームレートの動画を階層間差分処理部522dに供給してよい。また、画質変換部510は、階層間差分処理部522bに供給する動画より低いフレームレートの動画を階層間差分処理部522aに供給してよく、階層間差分処理部522cに供給する動画より低いフレームレートの動画を階層間差分処理部522bに供給してよい。なお、画質変換部510は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部522に供給する動画のフレームレートを変換してよい。なお、上述したように圧縮部240では、圧縮される画素の位置が時間的にシフトされるが、圧縮される画素は画質変換部510において選択されてよい。
Note that the image
階層間差分処理部522dおよび符号器532dは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部522は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器532dは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
The inter-layer
また、階層間差分処理部522aは、画質変換部510から供給された複数の第1解像度画像を含む第1特徴領域動画を予測符号化する。同様に、階層間差分処理部522bおよび階層間差分処理部522cは、それぞれ複数の第2解像度画像を含む第2特徴領域動画および複数の第3解像度画像を含む第3特徴領域動画を予測符号化する。以下に、階層間差分処理部522aおよび符号器532aの具体的な動作について説明する。
Further, the inter-layer
階層間差分処理部522aは、符号器532dによる符号化後の第1解像度画像を復号して、復号した画像を第1解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部522aは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部522aは、背景領域における差分値を0にする。そして、符号器532aは、差分画像を符号器532dと同様に符号化する。なお、階層間差分処理部522aおよび符号器532aによる符号化処理は、第1解像度画像の部分領域毎に施されてよい。
The inter-layer
なお、階層間差分処理部522aは、第1解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第1解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部522aは、他の第1解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部522aは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
Note that, when the first resolution image is encoded, the inter-layer
また、階層間差分処理部522aは、背景領域における差分値を0にしなくてもよい。この場合、符号器532aは、特徴領域以外の領域における差分情報に対する符号化後のデータを0にしてもよい。例えば、符号器532aは、周波数成分に変換した後の変換係数を0にしてよい。なお、階層間差分処理部522dが予測符号化した場合の動きベクトル情報は、階層間差分処理部522aに供給される。階層間差分処理部522aは、階層間差分処理部522dから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
Further, the inter-layer
なお、階層間差分処理部522bおよび符号器532bの動作は、第2解像度画像を符号化するという点、および第2解像度画像を符号化する場合に、符号器532aによる符号化後の第1解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522bおよび符号器532bの動作は階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部522cおよび符号器532cの動作は、第3解像度画像を符号化するという点、および第3解像度画像を符号化を符号化する場合に、符号器532bによる符号化後の第2解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部522aおよび符号器532aの動作と略同一であるので、説明を省略する。
Note that the operations of the inter-layer
以上説明したように、画質変換部510は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部530は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
As described above, the image
また、画質変換部510は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部520は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部520は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
In addition, the image
以上説明したように、圧縮部240は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部240による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。なお、画像処理装置170がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
As described above, the compressing
なお、図4に関連して説明した圧縮部340は、図3または図5に関連して説明した圧縮部240と同様の構成要素を有してよい。例えば、圧縮処理部236または画質変換部510において、複数の特徴領域および特徴領域以外の領域のそれぞれにおける画質を調整することができる。
Note that the compression unit 340 described with reference to FIG. 4 may have the same components as the
図6は、画像DB175が記憶している特徴領域情報の一例をテーブル形式で示す。画像DB175は、フレームIDに対応づけて、特徴領域の位置を示す座標データを記憶している。フレームIDは、動画ストリームに動画構成画像として含まれる複数の撮像画像のそれぞれを識別する情報であってよい。
FIG. 6 shows an example of the feature area information stored in the
具体的には、画像DB175は、特徴領域の位置を示す座標データとして、人物の頭部の領域の位置を示す座標データ、人物の体部の領域の位置を示す座標データ、および移動体の領域の位置を示す座標データを記憶している。本図では、特徴領域が矩形である場合の座標データの一例が示されている。具体的には、画像DB175は、矩形の特徴領域において対角に位置する頂点の座標を、座標データとして記憶している。
Specifically, the
このように、画像DB175は、撮像画像における特徴領域を示す情報に対応づけて、撮像画像を記憶している。また、画像DB175は、複数の撮像画像のそれぞれにおける複数の特徴領域のそれぞれを示す情報に対応づけて、複数の撮像画像を記憶している。このため、画像処理装置170は、特定の種類の特徴領域の位置を容易に特定することができる。
Thus, the
図7は、圧縮部340によって低減されるべき符号量の目標値の一例をテーブル形式で示す。圧縮部340は、出力データ量から許容データ量を減じた値を示すΔに対応づけて、複数の特徴領域および特徴領域以外の領域のそれぞれにおいて低減されるべき符号量の割合を記憶している。なお、出力データ量は、例えば、画像DB175が記憶している動画を出力した場合に出力される単位時間あたりのデータ量であってよい。また、許容データ量は、例えば通信ネットワーク110または表示装置180に出力することができる単位時間あたりのデータ量であり、この発明における出力許容量の一例であってよい。なお、以下の説明では、特徴領域以外の領域を非特徴領域と称する場合がある。
FIG. 7 shows an example of the target value of the code amount to be reduced by the compression unit 340 in a table format. The compression unit 340 stores the ratio of the code amount to be reduced in each of the plurality of feature regions and regions other than the feature regions in association with Δ indicating a value obtained by subtracting the allowable data amount from the output data amount. . The output data amount may be, for example, a data amount per unit time that is output when a moving image stored in the
圧縮判断部360は、出力データ量が許容データ量を上回る場合に、撮像画像をさらに圧縮すべき旨を判断する。このとき、圧縮部340は、撮像画像の符号量をΔの大きさだけ低減すべく、撮像画像をさらに圧縮する。
The
このとき、圧縮部340は、Δが0より大きくα1より小さい場合には、低減する全符号量である全低減量のうちの5%の符号量を移動体の領域から、全低減量のうちの95%の符号量を非特徴領域から低減することを目標とする。また、圧縮部340は、Δがα1以上でありα2より小さい場合には、全低減量のうちの5%の符号量を体部の領域から、全低減量のうちの10%の符号量を移動体の領域から、全低減量のうちの85%の符号量を非特徴領域から低減することを目標とする。また、圧縮部340は、Δがα2以上でありα3より小さい場合には、全低減量のうちの5%の符号量を頭部の領域から、全低減量のうちの10%の符号量を体部の領域から、全低減量のうちの15%の符号量を移動体の領域から、全低減量のうちの70%の符号量を非特徴領域から低減することを目標とする。 At this time, when Δ is larger than 0 and smaller than α1, the compression unit 340 reduces the code amount of 5% of the total reduction amount, which is the total code amount to be reduced, from the region of the moving body, out of the total reduction amount. The goal is to reduce the code amount of 95% of the non-feature region. Further, when Δ is equal to or larger than α1 and smaller than α2, the compression unit 340 obtains a code amount of 5% of the total reduction amount from a region of the body part, and a code amount of 10% of the total reduction amount. The goal is to reduce the code amount of 85% of the total reduction amount from the non-feature region from the region of the moving object. Further, when Δ is greater than or equal to α2 and smaller than α3, the compression unit 340 obtains a code amount of 5% of the total reduction amount from the head region and a code amount of 10% of the total reduction amount. The goal is to reduce the code amount of 15% of the total reduction amount from the body region and the code amount of 70% of the total reduction amount from the non-feature region.
このように、圧縮部340は、特徴領域の特徴の種類、および出力データ量と出力データ量との差に対応づけて、低減すべき符号量の量を対応づけて記憶している。そして、圧縮部340は、複数の特徴領域のそれぞれについて、特徴領域の特徴の種類、および出力データ量と出力データ量との差に対応づけて記憶している量だけ符号量を低減すべく、複数の特徴領域の画像をそれぞれ圧縮する。また、圧縮部340は、出力データ量と出力データ量との差に対応づけて、特徴領域以外の領域において低減すべき符号量の量を記憶している。そして、圧縮部340は、出力データ量と出力データ量との差に対応づけて記憶している量だけ特徴領域以外の領域における符号量を低減すべく、撮像画像における特徴領域以外の領域を圧縮する。 As described above, the compression unit 340 stores the amount of code to be reduced in association with the type of feature in the feature region and the difference between the output data amount and the output data amount. Then, the compression unit 340 reduces the code amount by the amount stored in association with the type of the feature region and the difference between the output data amount and the output data amount for each of the plurality of feature regions. Each of the images of the plurality of feature areas is compressed. In addition, the compression unit 340 stores the amount of code amount to be reduced in the region other than the feature region in association with the difference between the output data amount and the output data amount. Then, the compression unit 340 compresses the region other than the feature region in the captured image so as to reduce the code amount in the region other than the feature region by the amount stored in association with the difference between the output data amount and the output data amount. To do.
また、圧縮判断部360が撮像画像をさらに圧縮すべき旨を判断した場合に、圧縮部340は、特徴領域より非特徴領域をより優先して選択して、選択した領域を圧縮する。また、圧縮部340は、頭部の領域より体部の領域をより優先して選択するとともに、体部の領域より移動体の領域をより優先して選択して、選択した領域を圧縮する。このように、圧縮部340は、特徴の種類が異なる複数の特徴領域のそれぞれを、特徴の種類に応じて予め定められた優先度の順で選択して、選択した領域を圧縮する。
In addition, when the
なお、Δの他にも、圧縮部340は、記憶期間、記憶残量、または閲覧権限の少なくともいずれかに対応づけて、低減すべき符号量の割合を記憶してよい。また、圧縮部340は、Δ、記憶期間、記憶残量、および閲覧権限の任意の組み合わせに対応づけて低減すべき符号量の割合を記憶してもよい。そして、圧縮部340は、本図に関連して説明した動作と同様に、記憶している符号量の割合に基づき、複数の特徴領域、および非特徴領域の画像をそれぞれ圧縮することができる。 In addition to Δ, the compression unit 340 may store the ratio of the code amount to be reduced in association with at least one of the storage period, the remaining storage capacity, and the viewing authority. Further, the compression unit 340 may store the ratio of the code amount to be reduced in association with any combination of Δ, the storage period, the remaining storage capacity, and the viewing authority. And the compression part 340 can each compress the image of a some feature area and a non-feature area based on the ratio of the code amount memorize | stored similarly to the operation | movement demonstrated in relation to this figure.
図8は、圧縮部340が圧縮する圧縮方法の一例を示す。圧縮部340は、異なる複数種類の圧縮方法を、圧縮方法が選択される優先度に対応づけて記憶している。圧縮部340による圧縮方法としては、空間周波数の高周波成分を低減する圧縮方法を示す高周波成分低減、階調数を低減する圧縮方法を示す階調数低減、色数を低減する圧縮方法を示す色数低減、フレームレートを低減する圧縮方法を示すフレームレート低減、および解像度を低減する圧縮方法を示す解像度低減を例示することができる。 FIG. 8 shows an example of a compression method that the compression unit 340 compresses. The compression unit 340 stores a plurality of different compression methods in association with the priority with which the compression method is selected. The compression method by the compression unit 340 includes a high-frequency component reduction indicating a compression method for reducing a high-frequency component of spatial frequency, a gradation number reduction indicating a compression method for reducing the number of gradations, and a color indicating a compression method for reducing the number of colors. The number reduction, the frame rate reduction indicating the compression method for reducing the frame rate, and the resolution reduction indicating the compression method for reducing the resolution can be exemplified.
圧縮部340は、複数の特徴領域および非特徴領域のそれぞれの領域について、低減すべき符号量の量に応じて、高周波成分低減、階調数低減、色数低減、フレームレート低減、および解像度低減の順で、圧縮方法を選択する。例えば、圧縮部340は、各領域の画像を圧縮する場合に、高周波成分低減によって、低減すべき量の符号量を低減することができる場合には、高周波成分低減によって圧縮する。また、圧縮部340は、高周波成分低減だけでは低減すべき量の符号量を低減することができず、さらに階調数低減によって低減すべき量の符号量を低減することができる場合には、高周波成分低減および階調数低減によって圧縮する。このように、圧縮部340は、複数の特徴領域および非特徴領域のそれぞれの領域について、低減すべき符号量の量に応じて圧縮方法を選択して、選択した圧縮方法で複数の特徴領域および非特徴領域のそれぞれの領域の画像を圧縮する。 The compression unit 340 reduces the high frequency component, the number of gradations, the number of colors, the frame rate, and the resolution according to the amount of code to be reduced for each of the plurality of feature regions and non-feature regions. Select the compression method in this order. For example, when compressing an image of each region, the compression unit 340 compresses the image by reducing the high frequency component if the amount of code to be reduced can be reduced by reducing the high frequency component. In addition, the compression unit 340 cannot reduce the amount of code to be reduced only by reducing the high-frequency component, and can further reduce the amount of code to be reduced by reducing the number of gradations. Compression is performed by reducing the high frequency component and the number of gradations. As described above, the compression unit 340 selects a compression method according to the amount of code amount to be reduced for each of the plurality of feature regions and the non-feature region, and uses the selected compression method to select a plurality of feature regions and The image of each non-feature area is compressed.
なお、高周波成分低減、階調数低減、色数低減、フレームレート低減、および解像度低減のそれぞれの圧縮方法について、低減することができる符号量の上限値が予め定められていてよい。そして、圧縮部340は、低減すべき量だけ符号量を低減することができる1以上の圧縮方法を、当該上限値および優先度に基づき選択してよい。また、本図で説明した圧縮方法の優先度は、特徴領域の特徴の種類毎に定められていてよい。そして、圧縮部340は、特徴領域の特徴の種類のそれぞれについて、特徴領域の特徴の種類毎に定められた優先度で圧縮方法を選択して、選択した圧縮方法で圧縮してよい。 It should be noted that an upper limit value of the code amount that can be reduced may be determined in advance for each compression method of high-frequency component reduction, gradation number reduction, color number reduction, frame rate reduction, and resolution reduction. Then, the compression unit 340 may select one or more compression methods that can reduce the code amount by the amount to be reduced based on the upper limit value and the priority. Moreover, the priority of the compression method demonstrated in this figure may be defined for every kind of feature of a feature area. Then, the compression unit 340 may select a compression method with a priority determined for each feature type of the feature region for each feature type of the feature region, and may compress the selected feature method using the selected compression method.
図9は、画像処理装置170により圧縮される処理フローの一例を示す。本図の例では、表示装置180から動画を送信するよう要求された場合における画像処理装置170の処理フローの一例を示す。なお、画像処理装置170は、動画を送信する前に、表示装置180を利用して動画を閲覧するユーザから、表示装置180を通じてユーザIDおよびパスワードを取得して、取得したユーザIDおよびパスワードを用いて認証する。
FIG. 9 shows an example of a processing flow compressed by the
そして、権限取得部384がユーザIDを取得するとともに、表示装置180が処理することができる処理許容量を出力許容量取得部383が取得する(S902)。なお、出力許容量取得部283は、処理許容量を表示装置180からのフィードバックにより取得してもよく、表示装置180に応じて予め定められた処理許容量を取得してもよい。
Then, the
そして、画像取得部301は、1GOPの動画データを画像DB175から取得するとともに、動画データに含まれる複数の撮像画像における特徴領域の位置を画像DB175から読み出す(S904)。そして、出力許容量取得部383は、通信ネットワーク110のネットワーク帯域幅を取得する(S906)。なお、出力許容量取得部383は、上述したように、表示装置180に送信することができる帯域幅として予め定められた帯域幅、利用することが許容されている通信ネットワーク110の帯域幅、あるいは通信ネットワーク110における輻輳量等に基づいて、ネットワーク帯域幅を定めることができる。
Then, the
そして、圧縮判断部360は、S906で取得したネットワーク帯域幅およびS902で取得した処理許容量に基づいて、許容データ量を決定する。例えば、ネットワーク帯域幅および処理許容量の小さい方を、許容データ量としてよい。そして、圧縮判断部360は、許容データ量と出力データ量とを比較して、さらに圧縮すべきか否かを判断する(S907)。
Then, the
S907において、圧縮判断部360がさらに圧縮すべき旨を判断した場合には、圧縮部340は、複数の特徴領域のそれぞれおよび非特徴領域における目標符号量を決定する(S908)。なお、圧縮部340は、図7に関連して説明したΔの値、および図7に関連して説明した低減する符号量の割合、および複数の特徴領域および非特徴領域のそれぞれにおける符号量から、複数の特徴領域のそれぞれおよび非特徴領域における目標符号量を決定することができる。
If the
そして、圧縮部340は、複数の特徴領域および非特徴領域のそれぞれにおける符号量がS908で決定した目標符号量になるよう、S904で取得した動画データに含まれる撮像画像を圧縮する(S910)。そして、画像処理装置170は、S910で圧縮された動画データを送信する(S912)。なお、S907において圧縮判断部360がさらに圧縮しない旨を判断した場合には、画像処理装置170は、S904で取得した動画データを送信することができる。
Then, the compression unit 340 compresses the captured image included in the moving image data acquired in S904 so that the code amount in each of the plurality of feature regions and the non-feature region becomes the target code amount determined in S908 (S910). Then, the
そして、画像処理装置170は、送信すべき動画における最後のGOPを処理したか否かを判断する(S914)。最後のGOPを処理していない場合にはS904に処理を戻す。最後のGOPを処理した場合には処理を終了する。なお、本図の説明では、画像処理装置170の動作を分かりやすく説明することを目的として、動画データを1GOP毎に処理して送信する場合を例に挙げて画像処理装置170の動作を説明したが、画像処理装置170は、1GOPに限らず、任意の単位で動画データを処理することができることは言うまでもない。以上説明したように、画像処理システム10によると、通信ネットワーク110の帯域幅または表示装置180が処理することができる処理速度に応じて、適切な符号量の動画を提供することができる。
Then, the
なお、本図に関連して、表示装置180に動画を送信する場合を例に挙げて画像処理装置170の処理フローの一例を説明した。他にも、画像処理装置170は、所定の時間間隔で定期的に画像DB175の記憶残量を取得して、取得した記憶残量が予め定められた値より小さい場合に、画像DB175に記憶されている動画をさらに圧縮することができる。また、画像処理装置170は、所定の時間間隔で定期的に画像DB175に記憶されている動画の記憶期間を取得して、取得した記憶期間が予め定められた値より大きい場合に、画像DB175に記憶されている動画をさらに圧縮することができる。このため、画像処理システム10によると、画像DB175の利用効率が著しく低下してしまうことを未然に防ぐことができる場合がある。
Note that an example of the processing flow of the
図10は、他の実施形態に係る画像処理システム20の一例を示す。本実施形態における画像処理システム20の構成は、撮像装置100a−dがそれぞれ画像処理部804a−d(以下、画像処理部804と総称する。)を有する点を除いて、図1で説明した画像処理システム10の構成と同じとなっている。
FIG. 10 shows an example of an
画像処理部804は、画像処理装置120に含まれる構成要素のうち、画像取得部250を除く構成要素を有している。そして、画像処理部804に含まれる各構成要素の機能および動作は、画像処理装置120に含まれる各構成要素が圧縮動画伸張部202による伸張処理によって得られた動画を処理することに替えて、撮像部102によって撮像された動画を処理するという点を除いて、画像処理装置120に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム20においても、図1から図9にかけて画像処理システム10に関連して説明した効果と同様の効果が得ることができる。
The image processing unit 804 has components other than the
なお、画像処理部804は、撮像部102からRAW形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるRAW形式で表された複数の撮像画像をRAW形式のまま圧縮してよい。なお、画像処理部804は、RAW形式で表された複数の撮像画像から1以上の特徴領域を検出してよい。また、画像処理部804は、圧縮されたRAW形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部804は、動画を、図1〜図9に関連して画像処理装置120の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置170は、画像処理部804から取得した動画を伸張することにより、RAW形式で表された複数の撮像画像を取得することができる。画像処理装置170は、伸張することにより取得されたRAW形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置170は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
Note that the image processing unit 804 acquires a moving image including a plurality of captured images expressed in the RAW format from the imaging unit 102, and converts the plurality of captured images expressed in the RAW format included in the acquired moving image in the RAW format. It may be compressed as it is. Note that the image processing unit 804 may detect one or more feature regions from a plurality of captured images expressed in the RAW format. The image processing unit 804 may compress a moving image including a plurality of captured images in the compressed RAW format. Note that the image processing unit 804 can compress the moving image by the compression method described as the operation of the
なお、画像処理装置170は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置170における超解像処理としては、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開2004−88615号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
Note that the
なお、画像処理装置170は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置170は、オブジェクトの一例としての顔部位(例えば、目、鼻、口など)毎に、超解像処理を施す。この場合、画像処理装置170は、特開2006−350498号公報に記載されたようなモデル等の学習データを、顔部位(例えば、目、鼻、口など)毎に記憶しておく。そして、画像処理装置170は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
Note that the
このように、画像処理装置170は、主成分分析(PCA)を用いて特徴領域の画像を再構成することができる。なお、画像処理装置170による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析(PCA)による学習・画像再構成の他に、局所保存投影(locality preserving projection:LPP)、線形判別分析(Linear Discriminant Analysis:LDA)、独立成分分析(Independent component analysis:ICA)、多次元スケーリング(multidimensional scaling:MDS)、サポートベクターマシン(サポートベクター回帰)、ニューラルネットワーク、隠れマルコフモデル、Bayes推論、最大事後確率推定、反復逆投影、Wavelet変換、局所線形埋め込み(locally linear embedding:LLE)、マルコフランダム場(Markov random field:MRF)等の手法を用いることができる。
In this way, the
また、学習データとしては、特開2006−350498号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をK−means法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分(例えば、重心値)が定められていてよい。 In addition to the model as described in Japanese Patent Application Laid-Open No. 2006-350498, the learning data includes low frequency components and high frequency components of the object image respectively extracted from a large number of sample images of the object. Good. Here, by clustering the low frequency components of the object image for each of the plurality of object types by the K-means method or the like, the low frequency components of the object image in each of the plurality of object types are converted into a plurality of clusters. It may be clustered. Moreover, a typical low frequency component (for example, a centroid value) may be determined for each cluster.
そして、画像処理装置170は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置170は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置170は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置170は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置170は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置170は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置170は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
Then, the
なお、特開2006−350498号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部804は、撮像部102から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部804は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部804は、主成分ベクトルおよび重みづけ係数を画像処理装置170に送信してよい。この場合、画像処理装置170においては、画像処理部804から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部804は、特開2006−350498号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。なお、図1〜9に関連して説明した画像処理システム10の構成においても、画像処理装置170は、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム10および画像処理システム20において、圧縮部340は、上述した画像処理装置120と同様に、画像を主成分ベクトルおよび重みづけ係数で表すことによって、撮像画像をさらに圧縮することもできる。
Note that in super-resolution processing based on principal component analysis as described in JP-A-2006-350498, an image of an object is represented by a principal component vector and a weighting coefficient. The data amounts of these weighting coefficients and principal component vectors are significantly smaller than the data amount of pixel data included in the object image itself. Therefore, the image processing unit 804 may calculate the weighting coefficient from the image of the object included in the feature area in the compression processing for compressing the image of the feature area in the plurality of captured images acquired from the imaging unit 102. In other words, the image processing unit 804 can compress the image of the object included in the feature region by representing the principal component vector and the weighting coefficient. Then, the image processing unit 804 may transmit the principal component vector and the weighting coefficient to the
図11は、画像処理装置120および画像処理装置170として機能するコンピュータなどの電子情報処理装置1500のハードウェア構成の一例を示す。電子情報処理装置1500は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
FIG. 11 shows an example of a hardware configuration of an electronic
ホスト・コントローラ1582は、RAM1520と、より高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
The input /
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、電子情報処理装置1500が起動するときに実行するブート・プログラム、あるいは電子情報処理装置1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、電子情報処理装置1500を、図1から図10に関連して説明した画像処理装置120が有する各構成要素、あるいは図1から図10に関連して説明した画像処理装置170が有する各構成要素として機能させる。
A program executed by the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして電子情報処理装置1500に提供してもよい。このように、プログラムにより制御される電子情報処理装置1500が、画像処理装置120および画像処理装置170として機能する。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
10 画像処理システム
20 画像処理システム
100 撮像装置
102 撮像部
104 撮像画像圧縮部
110 通信ネットワーク
120 画像処理装置
130 人物
140 移動体
150 監視対象空間
160 空間
165 空間
170 画像処理装置
175 画像DB
180 表示装置
201 圧縮動画取得部
202 圧縮動画伸張部
203 特徴領域検出部
206 対応付け処理部
207 出力部
210 圧縮制御部
240 圧縮部
232 画像分割部
234 固定値化部
236 圧縮処理部
250 画像取得部
260 圧縮判断部
265 条件判断部
270 条件取得部
283 出力許容量取得部
301 画像取得部
302 対応付け解析部
310 伸張制御部
320 伸張部
322 復号器
330 合成部
340 圧縮部
360 圧縮判断部
365 条件判断部
370 条件取得部
380 判断情報取得部
381 記憶期間取得部
382 記憶残量取得部
383 出力許容量取得部
384 権限取得部
510 画質変換部
520 差分処理部
522 階層間差分処理部
530 符号化部
532 符号器
804 画像処理部
1500 電子情報処理装置
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示デバイス
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM
1598 ネットワーク通信装置
DESCRIPTION OF
180
1510 ROM
1520 RAM
1530
1598 Network communication device
Claims (26)
前記画像を圧縮すべきか否かを判断する圧縮判断部と、
前記圧縮判断部が前記画像を圧縮すべき旨を判断した場合に、前記画像を、前記画像における特徴領域と、前記画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する圧縮部と
を備える画像処理システム。 A storage unit for storing images;
A compression determination unit for determining whether or not to compress the image;
A compression unit that compresses the image with a different compression strength between a feature region in the image and a region other than the feature region in the image when the compression determination unit determines that the image should be compressed; Image processing system.
前記圧縮判断部は、前記画像をさらに圧縮すべきか否かを判断し、
前記圧縮部は、前記圧縮判断部が前記画像をさらに圧縮すべき旨を判断した場合に、前記画像を、前記画像における特徴領域と、前記画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する
請求項1に記載の画像処理システム。 The storage unit stores a compressed image,
The compression determination unit determines whether or not the image should be further compressed;
When the compression determination unit determines that the image should be further compressed, the compression unit compresses the image with a different compression strength between a feature region in the image and a region other than the feature region in the image. The image processing system according to claim 1.
請求項2に記載の画像処理システム。 3. The compression unit according to claim 2, wherein, when the compression determination unit determines that the image should be further compressed, the compression unit compresses the region other than the feature region in the image with a stronger compression strength than the feature region in the image. The image processing system described.
前記圧縮部は、前記記憶部が前記画像に対応づけて記憶している情報が示す特徴領域以外の領域において、前記記憶部が前記画像に対応づけて記憶している情報が示す特徴領域より強い圧縮強度で圧縮する
請求項3に記載の画像処理システム。 The storage unit stores the image in association with information indicating a feature region in the image,
The compression unit is stronger than the feature region indicated by the information stored in the storage unit in association with the image in a region other than the feature region indicated by the information stored in the storage unit in association with the image. The image processing system according to claim 3, wherein the image processing system is compressed with a compression strength.
前記圧縮部は、前記記憶部が記憶している前記動画を、前記記憶部が前記動画に対応づけて記憶している情報が示す前記動画における特徴領域以外の領域において、前記記憶部が前記動画に対応づけて記憶している情報が示す前記動画における特徴領域より強い圧縮強度で圧縮する
請求項4に記載の画像処理システム。 The storage unit stores a compressed moving image including a plurality of moving image constituent images that are the images in association with information indicating a feature region in the moving image,
The compression unit is configured to store the moving image stored in the storage unit in a region other than the feature region in the moving image indicated by the information stored in the storage unit in association with the moving image. The image processing system according to claim 4, wherein compression is performed with a stronger compression strength than a feature area in the moving image indicated by information stored in association with the image.
請求項5に記載の画像処理システム。 The compression unit corresponds to the moving image in a region other than the feature region in the moving image indicated by the information stored in the storage unit in association with the moving image. The image processing system according to claim 5, wherein compression is performed with a compression strength stronger than a feature area in the moving image indicated by the stored information.
前記圧縮部は、前記複数の動画構成画像のそれぞれを、前記複数の動画構成画像のそれぞれに対応づけて前記記憶部が記憶している情報が示す前記複数の動画構成画像のそれぞれにおける特徴領域以外の領域において、前記複数の動画構成画像のそれぞれにおける特徴領域より強い圧縮強度で圧縮する
請求項6に記載の画像処理システム。 The storage unit stores the plurality of moving image constituent images in association with information indicating a feature region in each of the plurality of moving image constituent images.
The compression unit is configured to associate each of the plurality of moving image constituent images with each of the plurality of moving image constituent images, except for the feature region in each of the plurality of moving image constituent images indicated by the information stored in the storage unit The image processing system according to claim 6, wherein the area is compressed with a compression strength stronger than a characteristic area in each of the plurality of moving image constituent images.
前記圧縮部は、前記複数の動画構成画像のそれぞれにおける複数の特徴領域のそれぞれの領域において、特徴領域の特徴の種類に応じた圧縮強度で圧縮する
請求項7に記載の画像処理システム。 The storage unit stores the plurality of moving image constituent images in association with information indicating each of a plurality of feature regions in each of the plurality of moving image constituent images.
The image processing system according to claim 7, wherein the compression unit compresses each of the plurality of feature regions in each of the plurality of moving image constituent images with a compression strength corresponding to a feature type of the feature region.
請求項8に記載の画像処理システム。 9. The compression unit according to claim 8, wherein the compression unit compresses the image by reducing the image quality of each of the plurality of feature regions in each of the plurality of moving image constituent images to an image quality corresponding to a feature type of the feature region. The image processing system described.
前記圧縮部は、前記複数の特徴領域における画質より前記特徴領域以外の領域における画質をより低減することにより、前記画像を圧縮する
請求項9に記載の画像処理システム。 The storage unit stores, in association with information indicating each of the plurality of feature regions, the plurality of moving image constituent images compressed with a higher compression strength than regions other than the feature regions in each of the plurality of feature regions. And
The image processing system according to claim 9, wherein the compression unit compresses the image by further reducing image quality in a region other than the feature region than image quality in the plurality of feature regions.
前記圧縮部は、前記複数の動画構成画像のそれぞれにおける前記複数の特徴領域のそれぞれの画質を、特徴領域の特徴の種類に応じた低減量で低減することにより、前記画像を圧縮する
請求項10に記載の画像処理システム。 The storage unit associates information indicating each of the plurality of feature regions with the plurality of moving image constituent images compressed with a compression strength corresponding to a feature type of the feature region in each of the plurality of feature regions. Remember,
The compression unit compresses the image by reducing the image quality of each of the plurality of feature regions in each of the plurality of moving image constituent images by a reduction amount corresponding to the feature type of the feature region. The image processing system described in 1.
をさらに備え、
前記圧縮判断部は、前記条件が満たされていると前記条件判断部が判断した場合に、前記画像をさらに圧縮すべき旨を判断する
請求項11に記載の画像処理システム。 A condition determination unit for determining whether a condition to be satisfied when the compression determination unit determines that the image should be further compressed is satisfied;
The image processing system according to claim 11, wherein the compression determination unit determines that the image should be further compressed when the condition determination unit determines that the condition is satisfied.
前記圧縮判断部は、前記記憶残量が前記条件を満たしていると前記条件判断部が判断した場合に、前記画像をさらに圧縮すべき旨を判断する
請求項12に記載の画像処理システム。 The condition determination unit determines whether or not a condition indicating that a remaining storage capacity that can be further stored in the storage unit is smaller than a predetermined value is satisfied,
The image processing system according to claim 12, wherein the compression determination unit determines that the image should be further compressed when the condition determination unit determines that the remaining storage capacity satisfies the condition.
前記圧縮判断部は、前記記憶部が前記画像を記憶している期間の時間長さが前記条件を満たしていると前記条件判断部が判断した場合に、前記画像をさらに圧縮すべき旨を判断する
請求項12に記載の画像処理システム。 The condition determining unit determines whether or not a condition indicating that a time length of a period in which the storage unit stores the image is longer than a predetermined value is satisfied;
The compression determination unit determines that the image should be further compressed when the condition determination unit determines that the time length of the period in which the storage unit stores the image satisfies the condition. The image processing system according to claim 12.
前記圧縮判断部は、前記出力許容量が前記条件を満たしていると前記条件判断部が判断した場合に、前記画像をさらに圧縮すべき旨を判断する
請求項12に記載の画像処理システム。 The condition determination unit determines whether a condition indicating that an output allowable amount that can be output to an output destination to which the image is output is smaller than a predetermined value is satisfied,
The image processing system according to claim 12, wherein the compression determination unit determines that the image should be further compressed when the condition determination unit determines that the allowable output amount satisfies the condition.
前記圧縮判断部は、前記閲覧権限が前記条件を満たしていると前記条件判断部が判断した場合に、前記画像をさらに圧縮すべき旨を判断する
請求項12に記載の画像処理システム。 The condition determining unit determines whether or not a condition indicating that a viewing authority for browsing the image is smaller than a predetermined value is satisfied,
The image processing system according to claim 12, wherein the compression determination unit determines that the image should be further compressed when the condition determination unit determines that the viewing authority satisfies the condition.
請求項16に記載の画像処理システム。 The compression unit compresses the image by reducing the image quality of each of the plurality of feature regions in each of the plurality of moving image constituent images to an image quality according to the feature type of the feature region and the viewing authority. The image processing system according to claim 16.
をさらに備え、
前記条件判断部は、前記条件取得部が取得した前記条件が満たされていると前記条件判断部が判断した場合に、前記画像をさらに圧縮すべき旨を判断する
請求項12に記載の画像処理システム。 A condition acquisition unit for acquiring the condition;
The image processing according to claim 12, wherein the condition determination unit determines that the image should be further compressed when the condition determination unit determines that the condition acquired by the condition acquisition unit is satisfied. system.
請求項11に記載の画像処理システム。 The image processing system according to claim 11, wherein the compression unit compresses the image by further reducing resolution in a region other than the feature region than resolution in the plurality of feature regions.
請求項11に記載の画像処理システム。 The image processing system according to claim 11, wherein the compression unit compresses the image by further reducing the number of colors in a region other than the feature region than the number of colors in the plurality of feature regions.
請求項11に記載の画像処理システム。 The image processing system according to claim 11, wherein the compression unit compresses the image by further reducing the number of gradations in a region other than the feature region than the number of gradations in the plurality of feature regions.
請求項11に記載の画像処理システム。 The image processing system according to claim 11, wherein the compression unit compresses the image by further reducing a code amount in a region other than the feature region than a code amount in the plurality of feature regions.
請求項22に記載の画像処理システム。 The image processing system according to claim 22, wherein the compression unit compresses the image by further reducing frequency components in a higher frequency region in a region other than the feature region than the plurality of feature regions.
前記圧縮判断部は、複数の前記動画に含まれる複数の前記動画構成画像のそれぞれについて圧縮すべきか否かを判断し、
前記圧縮部は、前記圧縮判断部が少なくとも一の前記動画構成画像を圧縮すべき旨を判断した場合に、少なくとも一の前記動画に含まれる前記動画構成画像における複数の特徴領域のうちの少なくとも一の特徴領域において、前記圧縮判断部が複数の前記動画構成画像のそれぞれについて判断した判断結果に応じた強度で圧縮する
請求項1に記載の画像処理システム。 The storage unit stores a plurality of moving images each including a plurality of moving image constituent images that are the images,
The compression determination unit determines whether or not to compress each of the plurality of moving image constituent images included in the plurality of moving images,
The compression unit, when the compression determination unit determines that at least one moving image constituent image should be compressed, at least one of the plurality of feature regions in the moving image constituent image included in the at least one moving image. The image processing system according to claim 1, wherein the compression determination unit performs compression with an intensity corresponding to a determination result determined for each of the plurality of moving image constituent images.
前記画像を圧縮すべきか否かを判断する圧縮判断段階と、
前記圧縮判断段階において前記画像を圧縮すべき旨が判断された場合に、前記画像を、前記画像における特徴領域と、前記画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する圧縮段階と
を備える画像処理方法。 A storage stage for storing images;
Compression determination step for determining whether or not to compress the image;
A compression step of compressing the image with a different compression strength between a feature region in the image and a region other than the feature region in the image when it is determined in the compression determination step that the image should be compressed. An image processing method provided.
画像を記憶する記憶部、
前記画像を圧縮すべきか否かを判断する圧縮判断部、
前記圧縮判断部が前記画像を圧縮すべき旨を判断した場合に、前記画像を、前記画像における特徴領域と、前記画像における特徴領域以外の領域とで異なる圧縮強度で圧縮する圧縮部
として機能させるプログラム。 A program for an image processing system, comprising:
A storage unit for storing images,
A compression determination unit for determining whether or not to compress the image;
When the compression determination unit determines that the image is to be compressed, the compression determination unit functions as a compression unit that compresses the image with a different compression strength between a feature region in the image and a region other than the feature region in the image. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148565A JP5156982B2 (en) | 2008-06-05 | 2008-06-05 | Image processing system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148565A JP5156982B2 (en) | 2008-06-05 | 2008-06-05 | Image processing system, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009296382A true JP2009296382A (en) | 2009-12-17 |
JP5156982B2 JP5156982B2 (en) | 2013-03-06 |
Family
ID=41544127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008148565A Expired - Fee Related JP5156982B2 (en) | 2008-06-05 | 2008-06-05 | Image processing system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5156982B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011151550A (en) * | 2010-01-20 | 2011-08-04 | Mega Chips Corp | Image compression device, authoring system, and image compression method |
JP2013081020A (en) * | 2011-10-03 | 2013-05-02 | Sumitomo Electric Ind Ltd | Data distribution method and data distribution system |
JP2013532878A (en) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | Method for generating a super-resolution image and non-linear digital filter for implementing the same |
JP2017085396A (en) * | 2015-10-29 | 2017-05-18 | 沖電気工業株式会社 | Video storage system, video storage device, and program |
CN113014954A (en) * | 2019-12-20 | 2021-06-22 | 连普乐士株式会社 | Video storage service providing method, recording medium, and computing device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07203436A (en) * | 1993-12-28 | 1995-08-04 | Sharp Corp | Image coder |
JPH08147449A (en) * | 1994-11-21 | 1996-06-07 | Toppan Printing Co Ltd | Image data base device |
JP2001186495A (en) * | 1999-12-24 | 2001-07-06 | Canon Inc | Device and method for transmitting and receiving image and system and method for distributing image |
JP2002142145A (en) * | 2000-10-31 | 2002-05-17 | Olympus Optical Co Ltd | Electronic camera |
JP2005348439A (en) * | 2005-07-29 | 2005-12-15 | Sanyo Electric Co Ltd | Image processor |
JP2006010163A (en) * | 2004-06-24 | 2006-01-12 | Matsushita Electric Ind Co Ltd | Refrigerator |
JP2006115412A (en) * | 2004-10-18 | 2006-04-27 | Hitachi Kokusai Electric Inc | Data recorder |
JP2006217070A (en) * | 2005-02-01 | 2006-08-17 | Matsushita Electric Ind Co Ltd | Monitoring recording apparatus |
-
2008
- 2008-06-05 JP JP2008148565A patent/JP5156982B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07203436A (en) * | 1993-12-28 | 1995-08-04 | Sharp Corp | Image coder |
JPH08147449A (en) * | 1994-11-21 | 1996-06-07 | Toppan Printing Co Ltd | Image data base device |
JP2001186495A (en) * | 1999-12-24 | 2001-07-06 | Canon Inc | Device and method for transmitting and receiving image and system and method for distributing image |
JP2002142145A (en) * | 2000-10-31 | 2002-05-17 | Olympus Optical Co Ltd | Electronic camera |
JP2006010163A (en) * | 2004-06-24 | 2006-01-12 | Matsushita Electric Ind Co Ltd | Refrigerator |
JP2006115412A (en) * | 2004-10-18 | 2006-04-27 | Hitachi Kokusai Electric Inc | Data recorder |
JP2006217070A (en) * | 2005-02-01 | 2006-08-17 | Matsushita Electric Ind Co Ltd | Monitoring recording apparatus |
JP2005348439A (en) * | 2005-07-29 | 2005-12-15 | Sanyo Electric Co Ltd | Image processor |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011151550A (en) * | 2010-01-20 | 2011-08-04 | Mega Chips Corp | Image compression device, authoring system, and image compression method |
JP2013532878A (en) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | Method for generating a super-resolution image and non-linear digital filter for implementing the same |
JP2013081020A (en) * | 2011-10-03 | 2013-05-02 | Sumitomo Electric Ind Ltd | Data distribution method and data distribution system |
JP2017085396A (en) * | 2015-10-29 | 2017-05-18 | 沖電気工業株式会社 | Video storage system, video storage device, and program |
CN113014954A (en) * | 2019-12-20 | 2021-06-22 | 连普乐士株式会社 | Video storage service providing method, recording medium, and computing device |
Also Published As
Publication number | Publication date |
---|---|
JP5156982B2 (en) | 2013-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5429445B2 (en) | Image processing system, image processing method, and program | |
US8363953B2 (en) | Image processing apparatus, image processing method and computer readable medium | |
US8498483B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
WO2009122760A1 (en) | Image processing device, image processing method, and computer-readable medium | |
US20090022403A1 (en) | Image processing apparatus, image processing method, and computer readable medium | |
JP2009049979A (en) | Image processing device, image processing method, image processing system, and program | |
JP5531327B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009049976A (en) | Image processing apparatus, image processing method and program | |
JP2009048620A (en) | Image processor, image processing method, and program | |
JP2013051737A (en) | Image processing device, image processing method and program | |
JP5239095B2 (en) | Image processing system, image processing method, and program | |
JP5156982B2 (en) | Image processing system, image processing method, and program | |
JP5337970B2 (en) | Image processing system, image processing method, and program | |
WO2009122759A1 (en) | Image processing system, image processing method, and computer-readable medium | |
JP2009273116A (en) | Image processing device, image processing method, and program | |
JP2009268088A (en) | Image processing system, image processing method, and program | |
JP5117424B2 (en) | Image processing system, image processing method, and program | |
WO2009125578A1 (en) | Image processing system, image processing method, and computer-readable medium | |
JP4961582B2 (en) | Image processing system, image processing method, and program | |
JP5136172B2 (en) | Image processing system, image processing method, and program | |
JP5082141B2 (en) | Image processing system, image processing method, and program | |
JP5142204B2 (en) | Image processing apparatus, image processing method, and program | |
JP5082142B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP5041316B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP5105179B2 (en) | Image processing system, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5156982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |