JP2003250132A - メタデータを採り入れてトランスコードを容易にした動画取込システム - Google Patents
メタデータを採り入れてトランスコードを容易にした動画取込システムInfo
- Publication number
- JP2003250132A JP2003250132A JP2002368033A JP2002368033A JP2003250132A JP 2003250132 A JP2003250132 A JP 2003250132A JP 2002368033 A JP2002368033 A JP 2002368033A JP 2002368033 A JP2002368033 A JP 2002368033A JP 2003250132 A JP2003250132 A JP 2003250132A
- Authority
- JP
- Japan
- Prior art keywords
- digital image
- additional information
- image
- compressed
- main subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000013500 data storage Methods 0.000 claims abstract description 5
- 238000007906 compression Methods 0.000 claims description 40
- 230000006835 compression Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 238000013139 quantization Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006837 decompression Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 8
- 238000013075 data extraction Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 101100366711 Arabidopsis thaliana SSL13 gene Proteins 0.000 description 1
- 101100366561 Panax ginseng SS11 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 デジタル画像やデジタルビデオシーケンスを
低帯域幅の装置で取り扱うための改良されたトランスコ
ーディング法を提供する。 【解決手段】 デジタル画像の取込、デジタル画像の撮
影被写体の領域とそれに対応する背景の領域の重要度に
関する追加情報の生成、デジタル画像の圧縮による圧縮
画像の生成、追加情報と圧縮デジタル画像の関連付けに
よる拡張圧縮デジタル画像の生成、拡張圧縮デジタル画
像のデータ記憶装置への保存などの手順が含まれる拡張
圧縮デジタル画像の生成法。
低帯域幅の装置で取り扱うための改良されたトランスコ
ーディング法を提供する。 【解決手段】 デジタル画像の取込、デジタル画像の撮
影被写体の領域とそれに対応する背景の領域の重要度に
関する追加情報の生成、デジタル画像の圧縮による圧縮
画像の生成、追加情報と圧縮デジタル画像の関連付けに
よる拡張圧縮デジタル画像の生成、拡張圧縮デジタル画
像のデータ記憶装置への保存などの手順が含まれる拡張
圧縮デジタル画像の生成法。
Description
【０００１】
【発明の属する技術分野】本発明は、本発明は、デジタ
ル画像の処理、更に詳しくは、比較的高い解像度のデジ
タルカメラで記録されたデジタル画像およびデジタル動
画シーケンスに関する。
ル画像の処理、更に詳しくは、比較的高い解像度のデジ
タルカメラで記録されたデジタル画像およびデジタル動
画シーケンスに関する。
【０００２】
【従来の技術】デジタルカメラとデジタルビデオカメラ
は、価格が安くなり、性能が向上し、便利さが増したこ
とで、消費者に人気が高まってきている。現在市販され
ている多くのデジタルカメラは、200万ピクセル以上の
静止画像を生み出し、中には中程度の品質の短時間の動
画を記録できるものもある。デジタルビデオカメラは、
毎秒2500万ビット程度のビットレートで非常に高い品質
のデジタルビデオを生み出し、中にはメガピクセル解像
度の静止画像を生み出すものもある。
は、価格が安くなり、性能が向上し、便利さが増したこ
とで、消費者に人気が高まってきている。現在市販され
ている多くのデジタルカメラは、200万ピクセル以上の
静止画像を生み出し、中には中程度の品質の短時間の動
画を記録できるものもある。デジタルビデオカメラは、
毎秒2500万ビット程度のビットレートで非常に高い品質
のデジタルビデオを生み出し、中にはメガピクセル解像
度の静止画像を生み出すものもある。
【０００３】これらの装置が段々と普及するにつれ、デ
ジタル画像やデジタル動画をインターネットで送信した
いとの希望も増えてくると考えられるが、残念なこと
に、比較的低ビットレートの動画でさえ、ダイアルアッ
プ接続のインターネットのような低帯域幅チャネルでは
手に負えない大量のデータを作り出す。インターネット
接続サービス業者の中には、電子メールを介してそのよ
うな量のデータを送ることを禁じているところもある。
ジタル画像やデジタル動画をインターネットで送信した
いとの希望も増えてくると考えられるが、残念なこと
に、比較的低ビットレートの動画でさえ、ダイアルアッ
プ接続のインターネットのような低帯域幅チャネルでは
手に負えない大量のデータを作り出す。インターネット
接続サービス業者の中には、電子メールを介してそのよ
うな量のデータを送ることを禁じているところもある。
【０００４】はるか将来には、デジタル式静止画像記録
装置上の動画記録の品質と長さは徐々に今日のデジタル
式動画記録装置のそれに近づくと思われる。デジタル静
止画像についても、速度は遅くなるであろうが、その解
像度はさらに増え続けるであろうし、このイメージを表
すのに必要なデータの量も相応に増えていくことになる
と思われる。
装置上の動画記録の品質と長さは徐々に今日のデジタル
式動画記録装置のそれに近づくと思われる。デジタル静
止画像についても、速度は遅くなるであろうが、その解
像度はさらに増え続けるであろうし、このイメージを表
すのに必要なデータの量も相応に増えていくことになる
と思われる。
【０００５】一方、小型のインターネット機器、ハンド
ヘルドマルチメディア対応コンピュータ、携帯電話、お
よびその他の無線装置が増えるに従って、比較的低帯域
幅の装置と接続の数も増えていくことになる。従って、
低ビットレートのチャネルや装置に適合するように、高
品質のデジタル画像やデジタルモーションシーケンスを
更に圧縮することの必要性も増してくる。この方法は、
トランスコーディングとも呼ばれている。
ヘルドマルチメディア対応コンピュータ、携帯電話、お
よびその他の無線装置が増えるに従って、比較的低帯域
幅の装置と接続の数も増えていくことになる。従って、
低ビットレートのチャネルや装置に適合するように、高
品質のデジタル画像やデジタルモーションシーケンスを
更に圧縮することの必要性も増してくる。この方法は、
トランスコーディングとも呼ばれている。
【０００６】
【発明が解決しようとする課題】残念ながら、強引な画
像圧縮によってシーンの中の全てのものが同じように劣
化したり、被写体が背景領域と共に重度の圧縮アーチフ
ァクトによりぼやけてしまって、不自然な画像になった
り不快な鑑賞体験をするという例が数多くある。
像圧縮によってシーンの中の全てのものが同じように劣
化したり、被写体が背景領域と共に重度の圧縮アーチフ
ァクトによりぼやけてしまって、不自然な画像になった
り不快な鑑賞体験をするという例が数多くある。
【０００７】さまざまなセグメンテーション（細分化）
および「画像認識」技術を採り入れて一つのデジタル画
像またはフレームにおける個々のセグメントまたはオブ
ジェクトごとに圧縮比を選択的かつ理知的に変化させる
という改良型トランスコーディングアルゴリズムを想像
するが、残念ながら、これらのアルゴリズムは取り込み
後に型通り呼び出されるため、初期圧縮があった場合に
はそれによってアーチファクトや情報の全体的な損失に
見舞われることになる。
および「画像認識」技術を採り入れて一つのデジタル画
像またはフレームにおける個々のセグメントまたはオブ
ジェクトごとに圧縮比を選択的かつ理知的に変化させる
という改良型トランスコーディングアルゴリズムを想像
するが、残念ながら、これらのアルゴリズムは取り込み
後に型通り呼び出されるため、初期圧縮があった場合に
はそれによってアーチファクトや情報の全体的な損失に
見舞われることになる。
【０００８】従って、デジタル画像やデジタルビデオシ
ーケンスを低帯域幅の装置で取り扱うためのトランスコ
ーディング法を改良する必要がある。
ーケンスを低帯域幅の装置で取り扱うためのトランスコ
ーディング法を改良する必要がある。
【０００９】
【課題を解決するための手段】本発明によれば、上述の
必要性は、デジタル画像を取り込み、そのデジタル画像
の撮影被写体と背景領域の重要度に関連する追加情報を
作り出し、デジタル画像を圧縮して圧縮デジタル画像を
生成し、追加情報と圧縮デジタル画像とを結び付けて拡
張圧縮デジタル画像を作り出し、その拡張圧縮デジタル
画像をデータ記憶装置に記憶させるという手順で構成さ
れる拡張圧縮デジタル画像発生法を提供することで満足
される。
必要性は、デジタル画像を取り込み、そのデジタル画像
の撮影被写体と背景領域の重要度に関連する追加情報を
作り出し、デジタル画像を圧縮して圧縮デジタル画像を
生成し、追加情報と圧縮デジタル画像とを結び付けて拡
張圧縮デジタル画像を作り出し、その拡張圧縮デジタル
画像をデータ記憶装置に記憶させるという手順で構成さ
れる拡張圧縮デジタル画像発生法を提供することで満足
される。
【００１０】本発明によれば、上述の必要性はまた、解
凍されたデジタル画像についてウェーブレット分解を実
行し、ウェーブレット係数で重み付けされた対応する合
成基底関数を合計することで解凍済みデジタル画像を再
構築するのに使用できるような一連のウェーブレット係
数を生成し、個々の変換係数のブリーフマップから歪み
重み付け要素を導き出し、誤差関数を最小限度に抑え込
むために前述の歪み重み付け要素を用いてウェーブレッ
ト係数から目標サイズを超えない再圧縮デジタル画像を
生成するという手順で構成され、主要被写体ブリーフマ
ップを利用して再圧縮デジタル画像を生み出すという解
凍デジタル画像の再圧縮法を提供することで満足され
る。
凍されたデジタル画像についてウェーブレット分解を実
行し、ウェーブレット係数で重み付けされた対応する合
成基底関数を合計することで解凍済みデジタル画像を再
構築するのに使用できるような一連のウェーブレット係
数を生成し、個々の変換係数のブリーフマップから歪み
重み付け要素を導き出し、誤差関数を最小限度に抑え込
むために前述の歪み重み付け要素を用いてウェーブレッ
ト係数から目標サイズを超えない再圧縮デジタル画像を
生成するという手順で構成され、主要被写体ブリーフマ
ップを利用して再圧縮デジタル画像を生み出すという解
凍デジタル画像の再圧縮法を提供することで満足され
る。
【００１１】本発明によれば、上述の必要性はまた、デ
ジタル画像を圧縮して圧縮デジタル画像を生成する手
段、取り込まれたデジタル画像に関する撮影被写体の重
要度およびそれに対応する背景領域に関する追加情報を
生成する手段、重み付けされた追加情報を生成するため
に取り込まれたデジタル画像に関する撮影被写体の重要
度との比較で追加情報の重み付けを行う手段、そして重
み付けされた追加情報と圧縮されたデジタル画像を関連
付けて拡張圧縮デジタル画像を生成する手段で構成され
る、拡張圧縮デジタル画像生成システムを提供すること
で満足される。
ジタル画像を圧縮して圧縮デジタル画像を生成する手
段、取り込まれたデジタル画像に関する撮影被写体の重
要度およびそれに対応する背景領域に関する追加情報を
生成する手段、重み付けされた追加情報を生成するため
に取り込まれたデジタル画像に関する撮影被写体の重要
度との比較で追加情報の重み付けを行う手段、そして重
み付けされた追加情報と圧縮されたデジタル画像を関連
付けて拡張圧縮デジタル画像を生成する手段で構成され
る、拡張圧縮デジタル画像生成システムを提供すること
で満足される。
【００１２】更に、本発明によれば、上述の必要性はま
た、拡張圧縮デジタル画像から追加情報を抽出する手
段、拡張圧縮デジタル画像から圧縮デジタル画像を抽出
する手段、圧縮デジタル画像を解凍して解凍デジタル画
像を生成する手段、そして追加情報に反応して解凍デジ
タル画像を更に圧縮してビットストリームの目標サイズ
を超えない範囲の再圧縮デジタル画像を生成する手段と
で構成される拡張圧縮デジタル画像トランスコーディン
グシステムを提供することで満足される。
た、拡張圧縮デジタル画像から追加情報を抽出する手
段、拡張圧縮デジタル画像から圧縮デジタル画像を抽出
する手段、圧縮デジタル画像を解凍して解凍デジタル画
像を生成する手段、そして追加情報に反応して解凍デジ
タル画像を更に圧縮してビットストリームの目標サイズ
を超えない範囲の再圧縮デジタル画像を生成する手段と
で構成される拡張圧縮デジタル画像トランスコーディン
グシステムを提供することで満足される。
【００１３】
【発明の実施の形態】本発明についての上述の目的、お
よびそれ以外の目的、特徴、および利点は、複数の図に
共通する同一の特徴を指定する際に可能な限り同一の参
照番号を使用している以下の説明および図面と併せ読む
とより明確になる。すなわち理解しやすくするため、可
能な限り、各図に共通の同じ要素は同じ参照番号を用い
て指定するようにした。
よびそれ以外の目的、特徴、および利点は、複数の図に
共通する同一の特徴を指定する際に可能な限り同一の参
照番号を使用している以下の説明および図面と併せ読む
とより明確になる。すなわち理解しやすくするため、可
能な限り、各図に共通の同じ要素は同じ参照番号を用い
て指定するようにした。
【００１４】カメラの中のプログラム式デジタルプロセ
ッサ、およびカメラから出力される画像を処理するため
のプログラム式デジタルコンピュータの実施例を用いて
本発明の説明を行う。デジタル画像の処理とソフトウェ
アのプログラミングの技術における通常の知識を有する
者であれば、以下に示す説明に基づいてコンピュータに
発明を実行するようプログラミングできる。本発明はカ
メラにもコンピュータプログラム製品にも具体化できる
が、後者には機械で読み取り可能なコンピュータコード
を保持する、磁気式または光学式の媒体のようなコンピ
ュータで読み取り可能な記憶媒体を有する。また本発明
は、カメラまたはコンピュータのいずれか一方またはそ
の両方についてハードウェアまたはファームウェアの形
で実現できる。
ッサ、およびカメラから出力される画像を処理するため
のプログラム式デジタルコンピュータの実施例を用いて
本発明の説明を行う。デジタル画像の処理とソフトウェ
アのプログラミングの技術における通常の知識を有する
者であれば、以下に示す説明に基づいてコンピュータに
発明を実行するようプログラミングできる。本発明はカ
メラにもコンピュータプログラム製品にも具体化できる
が、後者には機械で読み取り可能なコンピュータコード
を保持する、磁気式または光学式の媒体のようなコンピ
ュータで読み取り可能な記憶媒体を有する。また本発明
は、カメラまたはコンピュータのいずれか一方またはそ
の両方についてハードウェアまたはファームウェアの形
で実現できる。
【００１５】図１を参照して、まず本発明を実現するの
に有用な先行技術によるデジタル画像取込・処理システ
ム100を示す。このシステムにはデジタル画像取込装置1
01と、ネットワーク103を介して、ワイヤーを用いて直
接或いは無線で接続されているコンピュータ102が含ま
れている。デジタル画像取込装置101は、動画取り込み
機能の付いた高解像度のデジタルカメラの場合もあれ
ば、デジタルビデオカメラの場合もある。コンピュータ
102は、たとえば、普及しているオペレーティングシス
テムで動作するパーソナルコンピュータの場合もあれ
ば、ハンドヘルド機器装置であってもよい。コンピュー
タ102には、たとえば磁気ハードディスクドライブ、ラ
ンダムアクセスメモリ（RAM）のチップ、読み出し専用
メモリ（ROM）のチップなどのような、デジタル画像取
込装置101から取り込まれた多くの高品質のデジタル画
像や動画シーケンスを十分に記憶できる能力を備えたロ
ーカルデータ記憶装置104が組み込まれている。コンピ
ュータ102は、ある一定の品質レベルデジタル動画シー
ケンスを取り扱うことができる十分な能力を備え、デス
クトップコンピュータ、マルチメディア対応のハンドヘ
ルドコンピュータ、専用の画像表示装置、全地球測位シ
ステム（GPS）のような電子式方向探知装置、またはマ
ルチメディア対応の携帯電話などの広域ネットワークま
たは広帯域ネットワーク等のネットワーク103と交信す
る。コンピュータ102とデジタル画像取込装置101はま
た、まとめられて一体化していてもよい。デジタル画像
取込・処理システム100にはまた、一つ以上の表示装置
が含まれていて、電気的にコンピュータ102に接続され
ている。たとえば、高解像度カラーモニター105や、サ
ーマルプリンタやインクジェットプリンタなどのハード
コピー出力プリンタ106などである。そのシステムに
は、キーボード107や「マウス」108のような操作者の入
力装置が付属していてもよい。高解像度カラーモニター
105は、タッチペンやタッチスクリーンなどを用いる入
力装置として機能する場合もある。
に有用な先行技術によるデジタル画像取込・処理システ
ム100を示す。このシステムにはデジタル画像取込装置1
01と、ネットワーク103を介して、ワイヤーを用いて直
接或いは無線で接続されているコンピュータ102が含ま
れている。デジタル画像取込装置101は、動画取り込み
機能の付いた高解像度のデジタルカメラの場合もあれ
ば、デジタルビデオカメラの場合もある。コンピュータ
102は、たとえば、普及しているオペレーティングシス
テムで動作するパーソナルコンピュータの場合もあれ
ば、ハンドヘルド機器装置であってもよい。コンピュー
タ102には、たとえば磁気ハードディスクドライブ、ラ
ンダムアクセスメモリ（RAM）のチップ、読み出し専用
メモリ（ROM）のチップなどのような、デジタル画像取
込装置101から取り込まれた多くの高品質のデジタル画
像や動画シーケンスを十分に記憶できる能力を備えたロ
ーカルデータ記憶装置104が組み込まれている。コンピ
ュータ102は、ある一定の品質レベルデジタル動画シー
ケンスを取り扱うことができる十分な能力を備え、デス
クトップコンピュータ、マルチメディア対応のハンドヘ
ルドコンピュータ、専用の画像表示装置、全地球測位シ
ステム（GPS）のような電子式方向探知装置、またはマ
ルチメディア対応の携帯電話などの広域ネットワークま
たは広帯域ネットワーク等のネットワーク103と交信す
る。コンピュータ102とデジタル画像取込装置101はま
た、まとめられて一体化していてもよい。デジタル画像
取込・処理システム100にはまた、一つ以上の表示装置
が含まれていて、電気的にコンピュータ102に接続され
ている。たとえば、高解像度カラーモニター105や、サ
ーマルプリンタやインクジェットプリンタなどのハード
コピー出力プリンタ106などである。そのシステムに
は、キーボード107や「マウス」108のような操作者の入
力装置が付属していてもよい。高解像度カラーモニター
105は、タッチペンやタッチスクリーンなどを用いる入
力装置として機能する場合もある。
【００１６】図２Ａは、本発明を実用化するのに有用な
カメラ200に関する簡単なブロック図である。CCDまたは
CMOSのイメージセンサーまたはその同等品である撮像素
子202は、レンズ/絞りユニット201を通してシーンの情
報を固有の解像度で記録する。設計により、画像データ
は、イメージセンサー202の能力に合わせて最大解像度
で読み込まれたり、サブサンプリングされてもよい。ア
ナログの画像信号は、アナログ-デジタル変換器（A/D）
203により、デジタルデータに変換される。デジタル化
されたデータは次に、センサー信号処理部204で処理さ
れて、適切な解像度、色空間エンコーディング、および
ビット深度を用いて、3つの別々のカラー画像記録で構
成されるデジタル画像データ205を生成する。このよう
にして得られたデータを、画像圧縮回路206で圧縮し
て、圧縮デジタル画像データ207を生成する。
カメラ200に関する簡単なブロック図である。CCDまたは
CMOSのイメージセンサーまたはその同等品である撮像素
子202は、レンズ/絞りユニット201を通してシーンの情
報を固有の解像度で記録する。設計により、画像データ
は、イメージセンサー202の能力に合わせて最大解像度
で読み込まれたり、サブサンプリングされてもよい。ア
ナログの画像信号は、アナログ-デジタル変換器（A/D）
203により、デジタルデータに変換される。デジタル化
されたデータは次に、センサー信号処理部204で処理さ
れて、適切な解像度、色空間エンコーディング、および
ビット深度を用いて、3つの別々のカラー画像記録で構
成されるデジタル画像データ205を生成する。このよう
にして得られたデータを、画像圧縮回路206で圧縮し
て、圧縮デジタル画像データ207を生成する。
【００１７】取り込み時、他の工程では、デジタル画像
データ205の撮影被写体およびそれに対応する背景領域
の重要度に関連する追加情報が生成されて、それ以後に
行われる圧縮デジタル画像データ207のトランスコーデ
ィングを容易にしている。処理されたデジタル画像デー
タ205で作動する主要被写体検出ユニット208は、被写体
と背景のような画像内の異なる領域の相対的重要度の尺
度を提供するブリーフマップ209を生成する。この主要
被写体検出ユニット208がブリーフマップ209の計算に使
用している方法は、たとえば、以下にその要約を示す20
01年8月28日付のLuoらによる「写真画像内の主要被写体
を自動的に決定する方法」という名称の米国特許No. 62
82317に記載された方法と同様である。
データ205の撮影被写体およびそれに対応する背景領域
の重要度に関連する追加情報が生成されて、それ以後に
行われる圧縮デジタル画像データ207のトランスコーデ
ィングを容易にしている。処理されたデジタル画像デー
タ205で作動する主要被写体検出ユニット208は、被写体
と背景のような画像内の異なる領域の相対的重要度の尺
度を提供するブリーフマップ209を生成する。この主要
被写体検出ユニット208がブリーフマップ209の計算に使
用している方法は、たとえば、以下にその要約を示す20
01年8月28日付のLuoらによる「写真画像内の主要被写体
を自動的に決定する方法」という名称の米国特許No. 62
82317に記載された方法と同様である。
【００１８】ひとたびブリーフマップ209が算出される
と、それはブリーフマップ圧縮ユニット216によって圧
縮され、新たな情報217を生成する。ブリーフマップの
形状、数値の正確さ、および空間分解能は、画像データ
と組み合わせることが原因で生じるビットレートの増加
の許容限度や、トランスコーダに使用されることが期待
されている画像圧縮アルゴリズムの種類などの様々な要
素によって変化する。たとえば、考えられるトランスコ
ーディングがDCT圧縮法に関連するものである場合、ブ
リーフマップの解像度は予想されるブロック解像度より
も大きくなくてもよい。その理由は、局部的適応係数定
量化のような局部的に圧縮調整を行うことがある場合、
それはブロック単位で行われることになるからである。
考えられるトランスコーディングが、2000年のITU推奨
案T.800のISO/IEC国際規格15444-1のJPEG2000 画像コー
ディングシステムの情報技術のところで説明されている
JPEG2000に関連するものである場合、個々のサブバンド
係数のブリーフ値を計算で求め、各サブバンドの中の個
々のコードブロックの平均ブリーフ値を記憶させておけ
ば十分である。
と、それはブリーフマップ圧縮ユニット216によって圧
縮され、新たな情報217を生成する。ブリーフマップの
形状、数値の正確さ、および空間分解能は、画像データ
と組み合わせることが原因で生じるビットレートの増加
の許容限度や、トランスコーダに使用されることが期待
されている画像圧縮アルゴリズムの種類などの様々な要
素によって変化する。たとえば、考えられるトランスコ
ーディングがDCT圧縮法に関連するものである場合、ブ
リーフマップの解像度は予想されるブロック解像度より
も大きくなくてもよい。その理由は、局部的適応係数定
量化のような局部的に圧縮調整を行うことがある場合、
それはブロック単位で行われることになるからである。
考えられるトランスコーディングが、2000年のITU推奨
案T.800のISO/IEC国際規格15444-1のJPEG2000 画像コー
ディングシステムの情報技術のところで説明されている
JPEG2000に関連するものである場合、個々のサブバンド
係数のブリーフ値を計算で求め、各サブバンドの中の個
々のコードブロックの平均ブリーフ値を記憶させておけ
ば十分である。
【００１９】追加情報217は、関連付けユニット218によ
り圧縮されたデジタル画像データ207と結び付けられ
て、拡張圧縮デジタル画像データ219が生成される。望
ましい実施例では、関連付けユニット218は、圧縮デジ
タル画像データ207と追加情報217を組み合わせて一つの
ファイルにし、拡張圧縮デジタル画像データ219を生成
する。技術に熟練している者なら、圧縮デジタル画像デ
ータ207と追加情報217を関連付ける方法がほかにもある
ことを容易に認識できるであろう。例えば、拡張圧縮デ
ジタル画像データ219には、圧縮デジタル画像データ207
と、追加情報217が保存されている別のファイルまたは
場所を示すポインタが含まれている。好ましい実施例で
は、拡張圧縮デジタル画像データ219は、ソリッドステ
ートの着脱自由の記憶装置または磁気テープなどの記憶
装置220に保存されている。技術に熟練している者であ
れば容易に認識できるように、拡張圧縮デジタル画像デ
ータ219は保存しないでネットワークを通じて直接送信
することも可能である。技術に熟練している者であれば
容易に認識できるように、音声情報がデジタル画像と共
に取り込まれた場合、圧縮音声データを圧縮デジタル画
像データ207と同期させ多重化できる。
り圧縮されたデジタル画像データ207と結び付けられ
て、拡張圧縮デジタル画像データ219が生成される。望
ましい実施例では、関連付けユニット218は、圧縮デジ
タル画像データ207と追加情報217を組み合わせて一つの
ファイルにし、拡張圧縮デジタル画像データ219を生成
する。技術に熟練している者なら、圧縮デジタル画像デ
ータ207と追加情報217を関連付ける方法がほかにもある
ことを容易に認識できるであろう。例えば、拡張圧縮デ
ジタル画像データ219には、圧縮デジタル画像データ207
と、追加情報217が保存されている別のファイルまたは
場所を示すポインタが含まれている。好ましい実施例で
は、拡張圧縮デジタル画像データ219は、ソリッドステ
ートの着脱自由の記憶装置または磁気テープなどの記憶
装置220に保存されている。技術に熟練している者であ
れば容易に認識できるように、拡張圧縮デジタル画像デ
ータ219は保存しないでネットワークを通じて直接送信
することも可能である。技術に熟練している者であれば
容易に認識できるように、音声情報がデジタル画像と共
に取り込まれた場合、圧縮音声データを圧縮デジタル画
像データ207と同期させ多重化できる。
【００２０】主要被写体検出ユニット208は、一枚のブ
リーフマップ209という形で、一つの画像内のさまざま
な被写体と関連のあるさまざまな領域の重要点または相
対的重要度を測る尺度を提供する。ブリーフマップ209
は、ブリーフ値の連続体を一つの画像内の絵画集に割り
当てることによって形成される。観察する人間が主要被
写体を検出しそれを切り抜くというような作業をどのよ
うにして実行するかを反映する、コンピュータビジョン
という分野で従来から培われてきた知識は、オブジェク
トを認識し、認識されたオブジェクトの意味論上の意味
に基づいてシーンの内容を決定することを通して、問題
を解決する道筋を求めている。
リーフマップ209という形で、一つの画像内のさまざま
な被写体と関連のあるさまざまな領域の重要点または相
対的重要度を測る尺度を提供する。ブリーフマップ209
は、ブリーフ値の連続体を一つの画像内の絵画集に割り
当てることによって形成される。観察する人間が主要被
写体を検出しそれを切り抜くというような作業をどのよ
うにして実行するかを反映する、コンピュータビジョン
という分野で従来から培われてきた知識は、オブジェク
トを認識し、認識されたオブジェクトの意味論上の意味
に基づいてシーンの内容を決定することを通して、問題
を解決する道筋を求めている。
【００２１】本発明について、主要被写体検出ユニット
208は、大部分、可能なときにまとめられた意味論的情
報がある低レベルの視覚的特徴の上に成り立っている。
主要被写体検出ユニット208には、領域細分化、知覚的
群化、特徴抽出、確率論的推論などの数多くのサブタス
クがある。特に、画像内の細分化された個々の領域につ
いて広範囲にわたるさまざまな視覚的重要点特性を表す
ような数多くの特徴が抽出された後、整調可能で伸長性
のある確率ネットワークに入力され、連続した一連の数
値を含むブリーフマップが生成される。
208は、大部分、可能なときにまとめられた意味論的情
報がある低レベルの視覚的特徴の上に成り立っている。
主要被写体検出ユニット208には、領域細分化、知覚的
群化、特徴抽出、確率論的推論などの数多くのサブタス
クがある。特に、画像内の細分化された個々の領域につ
いて広範囲にわたるさまざまな視覚的重要点特性を表す
ような数多くの特徴が抽出された後、整調可能で伸長性
のある確率ネットワークに入力され、連続した一連の数
値を含むブリーフマップが生成される。
【００２２】主要被写体の検出を利用すると、主要被写
体に属している領域は、画像中の背景の散乱物とは大ま
かに区別される。このように、主要被写体を選択的に強
調したり、或いは逆に背景にあまり重視しないことが可
能になっている。自動的に被写体を強調することは、シ
ーンをある程度理解するということがなければ、必ずし
も一様な背景が含まれている訳ではない非制約画像には
不可能と考えられていた重要な動作である。内容に合わ
せて被写体を強調するという方法がなければ、従来のシ
ステムは、手作業で作成したマスクを用いて主要被写体
が存在している部分の輪郭を明確にするという手法に依
存することになる。この手作業は、根気の要る仕事で、
これまで映画製作所で用いられてきたものであるが、一
般消費者の画像処理用に手作業を用いることは現実的と
は言えない。
体に属している領域は、画像中の背景の散乱物とは大ま
かに区別される。このように、主要被写体を選択的に強
調したり、或いは逆に背景にあまり重視しないことが可
能になっている。自動的に被写体を強調することは、シ
ーンをある程度理解するということがなければ、必ずし
も一様な背景が含まれている訳ではない非制約画像には
不可能と考えられていた重要な動作である。内容に合わ
せて被写体を強調するという方法がなければ、従来のシ
ステムは、手作業で作成したマスクを用いて主要被写体
が存在している部分の輪郭を明確にするという手法に依
存することになる。この手作業は、根気の要る仕事で、
これまで映画製作所で用いられてきたものであるが、一
般消費者の画像処理用に手作業を用いることは現実的と
は言えない。
【００２３】図３とともに、図２Ａ−２Ｃに示した主要
被写体検出ユニット208を参照すると、デジタル画像デ
ータ205が、画像細分化ユニット301によって色やテクス
チャ（肌理）などの性状が均質な2つか3つの領域に細分
化されている。これらの領域は、特徴抽出ユニット302
により、構造的特徴と意味的特徴という互いに独立して
いるが、互いに相補う2種類の特徴の点でその重要点に
ついての評価が行われる。たとえば、人間の皮膚または
顔の認識は意味的であるが、顔で最も目立っているもの
を見極めることは、一般的に、構造的なものと分類され
る。構造的特徴については、一組の低レベル視覚的特徴
と一組の幾何学的特徴を抽出する。意味的特徴について
は、写真的画像によく見られる主要な被写体を検出す
る。これらの2種類の特徴から明らかになったことを、
ブリーフ計算段階303でベイズ・ネットに基づいた推論
エンジンを用いて一つにまとめ、主要被写体の最終的な
ブリーフマップ209を生み出す。ベイズ・ネットについ
ては、J. Pearl, "Probabilistic Reasoning in Intell
igent Systems", Morgan Kaufmann, San Francisco, C
A,1988を参照されたい。
被写体検出ユニット208を参照すると、デジタル画像デ
ータ205が、画像細分化ユニット301によって色やテクス
チャ（肌理）などの性状が均質な2つか3つの領域に細分
化されている。これらの領域は、特徴抽出ユニット302
により、構造的特徴と意味的特徴という互いに独立して
いるが、互いに相補う2種類の特徴の点でその重要点に
ついての評価が行われる。たとえば、人間の皮膚または
顔の認識は意味的であるが、顔で最も目立っているもの
を見極めることは、一般的に、構造的なものと分類され
る。構造的特徴については、一組の低レベル視覚的特徴
と一組の幾何学的特徴を抽出する。意味的特徴について
は、写真的画像によく見られる主要な被写体を検出す
る。これらの2種類の特徴から明らかになったことを、
ブリーフ計算段階303でベイズ・ネットに基づいた推論
エンジンを用いて一つにまとめ、主要被写体の最終的な
ブリーフマップ209を生み出す。ベイズ・ネットについ
ては、J. Pearl, "Probabilistic Reasoning in Intell
igent Systems", Morgan Kaufmann, San Francisco, C
A,1988を参照されたい。
【００２４】構造的特徴の一つに「中心性」(centralit
y)がある。位置という観点から、主要被写体は画像の周
縁部よりは中心近くに位置していることが多いので、中
心性の程度が高いということは、一つの領域が画像の主
要被写体であることを示している。ただし、中心性は、
必ずしも一つの領域が直接的に画像の中心にあることを
意味しない。事実、プロの写真家は主要被写体を、画像
を3等分する直線の線と交点に沿って配置する傾向があ
る。いわゆる黄金分割法や三分割法である。
y)がある。位置という観点から、主要被写体は画像の周
縁部よりは中心近くに位置していることが多いので、中
心性の程度が高いということは、一つの領域が画像の主
要被写体であることを示している。ただし、中心性は、
必ずしも一つの領域が直接的に画像の中心にあることを
意味しない。事実、プロの写真家は主要被写体を、画像
を3等分する直線の線と交点に沿って配置する傾向があ
る。いわゆる黄金分割法や三分割法である。
【００２５】その領域の重心だけでは、その大きさやそ
の領域の形状を示すことなく、全体画像に対する一つの
領域の位置を指し示すのは不十分である場合があること
は了解しておく必要がある。中心性という尺度は、所定
の領域の面積について確率密度関数（PDF）の積分をす
ることで明らかにする。このPDFは、主要被写体の領域
の輪郭が手作業で描かれて「1」の値の印が付けられ背
景の領域には「0」の値の印が付けられている「ground
truth」のデータを基にして、トレーニングセット全体
についてそのground truthマップの合計を出すことで導
き出している。突き詰めれば、このPDFは、位置の点か
ら見た主要被写体の分布を表していることになる。中心
性という尺度は、所定の領域の重心だけではなく全ての
ピクセルが、その位置によってさまざまに変化する度合
いに応じてその領域の中心性を測定する上で役に立つよ
うに考えられている。中心性という尺度の定義は次の通
りである。
の領域の形状を示すことなく、全体画像に対する一つの
領域の位置を指し示すのは不十分である場合があること
は了解しておく必要がある。中心性という尺度は、所定
の領域の面積について確率密度関数（PDF）の積分をす
ることで明らかにする。このPDFは、主要被写体の領域
の輪郭が手作業で描かれて「1」の値の印が付けられ背
景の領域には「0」の値の印が付けられている「ground
truth」のデータを基にして、トレーニングセット全体
についてそのground truthマップの合計を出すことで導
き出している。突き詰めれば、このPDFは、位置の点か
ら見た主要被写体の分布を表していることになる。中心
性という尺度は、所定の領域の重心だけではなく全ての
ピクセルが、その位置によってさまざまに変化する度合
いに応じてその領域の中心性を測定する上で役に立つよ
うに考えられている。中心性という尺度の定義は次の通
りである。
【００２６】
【数１】
但し、（x,y）は領域Rの中の一つのピクセルを表し、NR
は領域R内のピクセル数を表している。
は領域R内のピクセル数を表している。
【００２７】向きが不明である場合、PDFは垂直および
水平の両方向において画像の中心について対称であるの
で、向きの影響を全く受けることなく、中心性の測定結
果が得られる。向きが判っている場合、PDFは垂直方向
ではなく水平方向において画像の中心に対称であるの
で、中心性の測定結果は向きによって影響を受けること
になる。
水平の両方向において画像の中心について対称であるの
で、向きの影響を全く受けることなく、中心性の測定結
果が得られる。向きが判っている場合、PDFは垂直方向
ではなく水平方向において画像の中心に対称であるの
で、中心性の測定結果は向きによって影響を受けること
になる。
【００２８】もう一つの構造的特徴は「境界性」（Bord
erness）である。多くの背景領域は、一つ以上の画像境
界に接触することが多いので、その輪郭が画像境界に相
当量掛かっている領域は、主要被写体よりは背景の方に
属することが多くなる。2つの尺度を用いて、一つの領
域の境界性の特徴を捕捉する。それらの尺度とは、一つ
の領域が交差する画像境界の数（以下「Borderness１」
という）と画像境界に沿っている一つの領域の周囲の長
さのパーセンテージ（以下「Borderness２」という）で
ある。
erness）である。多くの背景領域は、一つ以上の画像境
界に接触することが多いので、その輪郭が画像境界に相
当量掛かっている領域は、主要被写体よりは背景の方に
属することが多くなる。2つの尺度を用いて、一つの領
域の境界性の特徴を捕捉する。それらの尺度とは、一つ
の領域が交差する画像境界の数（以下「Borderness１」
という）と画像境界に沿っている一つの領域の周囲の長
さのパーセンテージ（以下「Borderness２」という）で
ある。
【００２９】画像の向きが不明な時、Borderness１を用
いて所定の領域を6つのカテゴリーの中のどれか一つに
分類する。これは、その領域が接触している画像境界の
数と配置によって決定される。ある領域の中の少なくと
も1個のピクセルが画像の境界から定められた距離の範
囲内にあれば、その領域はその境界と接しているとされ
る。この場合の距離は、画像の短い方の寸法の割合の形
で表される。Borderness１のカテゴリーとは問題の領域
が接触する境界線によって次の6つに分類される：（1）
接触なし、（2）1つの境界線、（3）2つの境界線、
（4）2つの向かい合う境界線、（5）3つの境界線、
（6）4つの境界線。一つの領域が境界と接触する数が多
くなるほど、その領域が主要被写体でない確率が大きく
なる。
いて所定の領域を6つのカテゴリーの中のどれか一つに
分類する。これは、その領域が接触している画像境界の
数と配置によって決定される。ある領域の中の少なくと
も1個のピクセルが画像の境界から定められた距離の範
囲内にあれば、その領域はその境界と接しているとされ
る。この場合の距離は、画像の短い方の寸法の割合の形
で表される。Borderness１のカテゴリーとは問題の領域
が接触する境界線によって次の6つに分類される：（1）
接触なし、（2）1つの境界線、（3）2つの境界線、
（4）2つの向かい合う境界線、（5）3つの境界線、
（6）4つの境界線。一つの領域が境界と接触する数が多
くなるほど、その領域が主要被写体でない確率が大きく
なる。
【００３０】画像の向きが判っている場合は、境界性の
特徴についての評価をやり直し、上部境界線に接してい
る領域の方が、下部境界線に接している領域よりははる
かに背景になりやすいという事実が明らかになるように
する。こうすることで、領域が接触している画像境界線
の数と配置により定まるBorderness１のカテゴリーは12
になる。上記の「接している」という定義を利用して、
シーンの中のオブジェクトを真っ直ぐ立てた状態で画像
の向きを定めた時の境界線の位置により、画像の4つの
境界線に「上」、「下」、「左」、「右」と標示をつけ
る。
特徴についての評価をやり直し、上部境界線に接してい
る領域の方が、下部境界線に接している領域よりははる
かに背景になりやすいという事実が明らかになるように
する。こうすることで、領域が接触している画像境界線
の数と配置により定まるBorderness１のカテゴリーは12
になる。上記の「接している」という定義を利用して、
シーンの中のオブジェクトを真っ直ぐ立てた状態で画像
の向きを定めた時の境界線の位置により、画像の4つの
境界線に「上」、「下」、「左」、「右」と標示をつけ
る。
【００３１】二番目の境界性の特徴「Borderness２」
は、画像の境界に掛かっている領域の周囲の長さの割合
と定義されている。この割合は、元来、1/2を超えるこ
とがあり得ない。1/2を超えると、その領域は負の面積
を持つことになるか、その領域の一部が画像の部分より
外にはみ出していることになり、どんな任意の画像にと
っても未知のものとなるからである。前述の割合は1/2
を超えることが出来ないから、以下の定義を用いて、そ
の特徴値を0から1の範囲で標準化する。
は、画像の境界に掛かっている領域の周囲の長さの割合
と定義されている。この割合は、元来、1/2を超えるこ
とがあり得ない。1/2を超えると、その領域は負の面積
を持つことになるか、その領域の一部が画像の部分より
外にはみ出していることになり、どんな任意の画像にと
っても未知のものとなるからである。前述の割合は1/2
を超えることが出来ないから、以下の定義を用いて、そ
の特徴値を0から1の範囲で標準化する。
【００３２】
【数２】
【００３３】意味的特徴の一つは、人間の皮膚である。
2000枚を超える画像の写真画像データベースについての
調査によれば、写真画像の70％を超えるものには人間が
写っており、ほぼ同数の画像にはかなりの大きさの顔が
写っていた。従って、画像には肌の色が共通している。
事実、写真では人間が最も重要な単一の被写体であるの
で、肌の色の存在を効果的に検出できるアルゴリズム
は、画像の中の主要被写体を識別するのに有用である。
2000枚を超える画像の写真画像データベースについての
調査によれば、写真画像の70％を超えるものには人間が
写っており、ほぼ同数の画像にはかなりの大きさの顔が
写っていた。従って、画像には肌の色が共通している。
事実、写真では人間が最も重要な単一の被写体であるの
で、肌の色の存在を効果的に検出できるアルゴリズム
は、画像の中の主要被写体を識別するのに有用である。
【００３４】本発明では、皮膚検出アルゴリズムには、
カラーイメージ細分化と、特定のクロミナンス空間にお
ける前もって定めた皮膚の分布をP（皮膚｜クロミナン
ス）として利用している。技術に熟練した者なら、異な
る人種間の最大限度のバラツキが輝度の方向に沿ったも
のであり、光源の影響も本来は輝度の方向にあることを
知っている。従って、所定の領域が所定のクロミナンス
空間に入っている場合、輝度のレベルとは関係なく、皮
膚である確率が高い。参考のため、Lee "Colorimage qu
antization based on physics and psychphysics", Jou
rnal of Society of Photographic Science and Techno
logy of Japan, Vol. 59, No. 1, pp.212-225, 1996を
参照されたい。皮膚の領域の分類は、前もって定めたク
ロミナンス空間の範囲内に入っているところについて細
分化された一つの領域の平均色による最大確率を基にし
たものである。ただし、ある領域が皮膚であるか否かに
ついての判断は、そもそも2つの状態の中の一つであ
る。連続した一連の皮膚のブリーフ値を利用すること
は、皮膚を識別し大きめのブリーフ値を割り当てるとい
う目的にある程度矛盾している。この問題の影響を弱め
るため、「ソフト」な閾値演算子として機能するS字形
ブリーフ関数を用いて皮膚確率をブリーフ出力にマッピ
ングする。このS字形ブリーフ関数は、技術に熟練して
いる者にとっては了解事項である。
カラーイメージ細分化と、特定のクロミナンス空間にお
ける前もって定めた皮膚の分布をP（皮膚｜クロミナン
ス）として利用している。技術に熟練した者なら、異な
る人種間の最大限度のバラツキが輝度の方向に沿ったも
のであり、光源の影響も本来は輝度の方向にあることを
知っている。従って、所定の領域が所定のクロミナンス
空間に入っている場合、輝度のレベルとは関係なく、皮
膚である確率が高い。参考のため、Lee "Colorimage qu
antization based on physics and psychphysics", Jou
rnal of Society of Photographic Science and Techno
logy of Japan, Vol. 59, No. 1, pp.212-225, 1996を
参照されたい。皮膚の領域の分類は、前もって定めたク
ロミナンス空間の範囲内に入っているところについて細
分化された一つの領域の平均色による最大確率を基にし
たものである。ただし、ある領域が皮膚であるか否かに
ついての判断は、そもそも2つの状態の中の一つであ
る。連続した一連の皮膚のブリーフ値を利用すること
は、皮膚を識別し大きめのブリーフ値を割り当てるとい
う目的にある程度矛盾している。この問題の影響を弱め
るため、「ソフト」な閾値演算子として機能するS字形
ブリーフ関数を用いて皮膚確率をブリーフ出力にマッピ
ングする。このS字形ブリーフ関数は、技術に熟練して
いる者にとっては了解事項である。
【００３５】所定の領域が主要被写体であるか否かにつ
いての決定については、画像内の所定の領域が次の事後
確率に基づいて主要被写体になる確率を求めることにな
る。
いての決定については、画像内の所定の領域が次の事後
確率に基づいて主要被写体になる確率を求めることにな
る。
【００３６】
【数３】
【００３７】本発明の一実施例として、画像内の領域一
つに対して動作するベイズ・ネットが一つ割り当てられ
ているので、（画像ごとではなく）個々の領域ごとに確
率的推論を実行する。
つに対して動作するベイズ・ネットが一つ割り当てられ
ているので、（画像ごとではなく）個々の領域ごとに確
率的推論を実行する。
【００３８】一実施例として、主要被写体検出ユニット
208の出力（図２Ａに示す）は、細分化され主要被写体
になる確率（またはブリーフ）によって降順に並べられ
た領域のリストである。このリストは、全ての領域の位
置が明確にされ、主要被写体になるブリーフの大きさに
応じてその領域にブリーフ値を割り当てられているブリ
ーフマップに簡単に変換される。従って、このマップは
主要被写体ブリーフマップ209と呼ばれることがある。
ブリーフマップ209に連続した一連のブリーフ値が採用
されていることにより、ブリーフマップ209は、決定さ
れた主要被写体の位置を示すだけの二値マップを超える
ものである。関連付けられた確率はまた、個々の領域に
付随して、大きな値を持つ領域が信頼性またはブリーフ
の大きな領域に相当し、主要被写体の一部を成している
ことを示している。
208の出力（図２Ａに示す）は、細分化され主要被写体
になる確率（またはブリーフ）によって降順に並べられ
た領域のリストである。このリストは、全ての領域の位
置が明確にされ、主要被写体になるブリーフの大きさに
応じてその領域にブリーフ値を割り当てられているブリ
ーフマップに簡単に変換される。従って、このマップは
主要被写体ブリーフマップ209と呼ばれることがある。
ブリーフマップ209に連続した一連のブリーフ値が採用
されていることにより、ブリーフマップ209は、決定さ
れた主要被写体の位置を示すだけの二値マップを超える
ものである。関連付けられた確率はまた、個々の領域に
付随して、大きな値を持つ領域が信頼性またはブリーフ
の大きな領域に相当し、主要被写体の一部を成している
ことを示している。
【００３９】ある程度まで、リーフマップ209は、人間
が主要被写体検出のような作業を実行する際につきもの
の不確実性を表している。なぜなら、観測者が異なれ
ば、どれが主要な被写体かという点では、ある被写体に
ついては同意しないが他の被写体については同意してい
るということになるからである。これは、二値による主
要被写体の決定における問題点を明らかにしている。各
観測者の主観的な知覚は、主要被写体検出アルゴリズム
の見掛けの精度に影響を及ぼす。従って、主要被写体を
構成しているものは観測者によって異なるため、完全な
精度で主要被写体を検出するのは不可能である。ただ
し、希望すれば、ブリーフマップ209に適切な閾値を設
けることで、二値による決定手段が簡単に入手できる。
そこでは、閾値を超えるブリーフ値の領域を主要被写体
領域、閾値を下回るそれを背景領域と勝手に定義するこ
とになる。
が主要被写体検出のような作業を実行する際につきもの
の不確実性を表している。なぜなら、観測者が異なれ
ば、どれが主要な被写体かという点では、ある被写体に
ついては同意しないが他の被写体については同意してい
るということになるからである。これは、二値による主
要被写体の決定における問題点を明らかにしている。各
観測者の主観的な知覚は、主要被写体検出アルゴリズム
の見掛けの精度に影響を及ぼす。従って、主要被写体を
構成しているものは観測者によって異なるため、完全な
精度で主要被写体を検出するのは不可能である。ただ
し、希望すれば、ブリーフマップ209に適切な閾値を設
けることで、二値による決定手段が簡単に入手できる。
そこでは、閾値を超えるブリーフ値の領域を主要被写体
領域、閾値を下回るそれを背景領域と勝手に定義するこ
とになる。
【００４０】これ以外にも、デジタル画像の撮影被写体
領域とそれに対応する背景領域の重要度に関する情報
で、主要被写体検出ユニット208が使用してブリーフマ
ップ209の精度を高める情報がある。たとえば、図１の
画像取込装置101の内部に組み込むか、或いは、図１の
画像取込装置101の外部に電気的に接続するかして別途
センサーを採り入れることで、更なる改善を達成でき
る。たとえば、撮影者の視先を追尾するファインダーに
組み込むことが可能なセンサーのコストと性能は、これ
まで大きく進歩してきている。そのようなセンサーは、
現在、ファインダー内の画像の中の被写体の位置を予測
しファインダー・フィールド内の撮影者の視線を追尾す
ることで自動的に焦点を合わせる機能を改善するために
使用されている。
領域とそれに対応する背景領域の重要度に関する情報
で、主要被写体検出ユニット208が使用してブリーフマ
ップ209の精度を高める情報がある。たとえば、図１の
画像取込装置101の内部に組み込むか、或いは、図１の
画像取込装置101の外部に電気的に接続するかして別途
センサーを採り入れることで、更なる改善を達成でき
る。たとえば、撮影者の視先を追尾するファインダーに
組み込むことが可能なセンサーのコストと性能は、これ
まで大きく進歩してきている。そのようなセンサーは、
現在、ファインダー内の画像の中の被写体の位置を予測
しファインダー・フィールド内の撮影者の視線を追尾す
ることで自動的に焦点を合わせる機能を改善するために
使用されている。
【００４１】別の実施例を図２Ｂに示す。図２Ｂを参照
すると、視線追尾センサー210からの情報が視線追尾ア
ルゴリズム211によって処理されて取り込み中または取
り込み時間際のユーザーの視線に基づく視線情報212を
提供する。望ましい実施例として、視線情報212は、ユ
ーザーの視線が取り込み時にセンタリングされる視線の
中心（xg、yg）という形をとっている。この視線の中心
は、撮影者の観点から見た主要被写体領域と背景領域に
関する情報を提供しているものと考えられる。
すると、視線追尾センサー210からの情報が視線追尾ア
ルゴリズム211によって処理されて取り込み中または取
り込み時間際のユーザーの視線に基づく視線情報212を
提供する。望ましい実施例として、視線情報212は、ユ
ーザーの視線が取り込み時にセンタリングされる視線の
中心（xg、yg）という形をとっている。この視線の中心
は、撮影者の観点から見た主要被写体領域と背景領域に
関する情報を提供しているものと考えられる。
【００４２】図３の主要被写体検出ユニット208の特徴
抽出段階302における構造的特徴としての中心性尺度に
代わるものとしてこの視線情報212を利用する。図３の
画像細分化段階301の後、画像の各領域またはセグメン
トについて、「視線の尺度」を計算する。領域Rに対す
る視線の尺度は次のように定義される。
抽出段階302における構造的特徴としての中心性尺度に
代わるものとしてこの視線情報212を利用する。図３の
画像細分化段階301の後、画像の各領域またはセグメン
トについて、「視線の尺度」を計算する。領域Rに対す
る視線の尺度は次のように定義される。
【００４３】
【数４】
但し、（x,y）は領域Rに属する一つのピクセルを表し、
NRは領域R内のピクセル総数を表している。視線情報212
を特徴抽出段階302における中心性尺度に置き換える代
わりに新たな構造的特徴として利用できることは、技術
に熟練したものには自明の理であろう。
NRは領域R内のピクセル総数を表している。視線情報212
を特徴抽出段階302における中心性尺度に置き換える代
わりに新たな構造的特徴として利用できることは、技術
に熟練したものには自明の理であろう。
【００４４】被写体までの距離を決定できる撮像装置に
も改善がある。これらの撮像装置は、それらに特有の空
間的距離的解像度に合わせて、シーンのデプス（深度）
マップを生成する。また、図２Ｃに示した別の実施例で
は、デプスセンサー213から得られた情報がデプス画像
化アルゴリズム214で処理されてデプスマップ215を生成
する。ピクセル位置が（x,y）のデプスをd（x,y）で表
すとする。デプスマップの解像度は画像の解像度を下回
ってもよい。たとえば、2×2ブロックの画像ピクセル用
にたった一つのデプス値を生成できる。その場合には、
ピクセルを複製していくことで最大解像度でのデプスを
得る。望ましい実施例では、デプスマップ215を主要被
写体検出ユニット208に供給してブリーフマップを以下
のように更に改善している。デプスマップ215は、取り
込まれたシーンにおけるさまざまな領域の相対的重要度
に関する情報を提供する。たとえばデプス値が小さい領
域ほど主要被写体領域になる確率が大きい。同様に、デ
プス値が大きい領域ほど背景領域になる確率が大きい。
図３に示したように、細分化段階301の後で、デプスマ
ップ215を用いて画像の個々の領域やセグメントに「デ
プス尺度」を導き出す。このデプス尺度を、図３の主要
被写体検出ユニット208の特徴抽出段階302における新た
な構造的特徴として利用する。このデプス尺度は次のよ
うに定義される。
も改善がある。これらの撮像装置は、それらに特有の空
間的距離的解像度に合わせて、シーンのデプス（深度）
マップを生成する。また、図２Ｃに示した別の実施例で
は、デプスセンサー213から得られた情報がデプス画像
化アルゴリズム214で処理されてデプスマップ215を生成
する。ピクセル位置が（x,y）のデプスをd（x,y）で表
すとする。デプスマップの解像度は画像の解像度を下回
ってもよい。たとえば、2×2ブロックの画像ピクセル用
にたった一つのデプス値を生成できる。その場合には、
ピクセルを複製していくことで最大解像度でのデプスを
得る。望ましい実施例では、デプスマップ215を主要被
写体検出ユニット208に供給してブリーフマップを以下
のように更に改善している。デプスマップ215は、取り
込まれたシーンにおけるさまざまな領域の相対的重要度
に関する情報を提供する。たとえばデプス値が小さい領
域ほど主要被写体領域になる確率が大きい。同様に、デ
プス値が大きい領域ほど背景領域になる確率が大きい。
図３に示したように、細分化段階301の後で、デプスマ
ップ215を用いて画像の個々の領域やセグメントに「デ
プス尺度」を導き出す。このデプス尺度を、図３の主要
被写体検出ユニット208の特徴抽出段階302における新た
な構造的特徴として利用する。このデプス尺度は次のよ
うに定義される。
【００４５】
【数５】
【００４６】本発明を実施するために主要被写体検出ユ
ニット208が視線追尾アルゴリズム211またはデプス画像
化アルゴリズム214のような新たなデータソースを利用
することは不必要であることを理解しておくべきであ
る。これらのデータソースの一部または全部は、ブリー
フマップ209を改良する上で役に立つ可能性がある。た
とえば、主要被写体検出ユニット208は、デジタル画像
データ205を利用しさえすればよい。
ニット208が視線追尾アルゴリズム211またはデプス画像
化アルゴリズム214のような新たなデータソースを利用
することは不必要であることを理解しておくべきであ
る。これらのデータソースの一部または全部は、ブリー
フマップ209を改良する上で役に立つ可能性がある。た
とえば、主要被写体検出ユニット208は、デジタル画像
データ205を利用しさえすればよい。
【００４７】視線追尾センサー210やデプスセンサー213
などの新たなデータソースは図１のデジタル画像取込装
置101の中に収納されていなくてもよいことも理解して
おくべきである。たとえば、デプスセンサー213および
デプス画像化アルゴリズム214は、デジタル画像取込装
置101の外部の装置の中に収納することもできる。その
ような構成は、高度に特殊化された画像およびデータの
取込装置から得られたデータが別々に取り込まれるとい
う映画の用途の場合には更に適切であると思われる。図
１に示したデジタル画像取込装置101は動画シーケン
ス、即ち画像の連続したものを取り込むこともできるこ
とも了解している。望ましい実施例では、動画シーケン
スの各フレームが別々に圧縮されて、それに対応するブ
リーフマップと組み合わせられて拡張圧縮動画シーケン
スデータが生成される。技術に熟練した者なら容易に気
づくことであるが、MPEG、H.263、またはフレーム間の
動作予測を利用して圧縮効率を改善している他の映像圧
縮アルゴリズムを使って動画シーケンスから得られたフ
レーム群を圧縮することが可能である。
などの新たなデータソースは図１のデジタル画像取込装
置101の中に収納されていなくてもよいことも理解して
おくべきである。たとえば、デプスセンサー213および
デプス画像化アルゴリズム214は、デジタル画像取込装
置101の外部の装置の中に収納することもできる。その
ような構成は、高度に特殊化された画像およびデータの
取込装置から得られたデータが別々に取り込まれるとい
う映画の用途の場合には更に適切であると思われる。図
１に示したデジタル画像取込装置101は動画シーケン
ス、即ち画像の連続したものを取り込むこともできるこ
とも了解している。望ましい実施例では、動画シーケン
スの各フレームが別々に圧縮されて、それに対応するブ
リーフマップと組み合わせられて拡張圧縮動画シーケン
スデータが生成される。技術に熟練した者なら容易に気
づくことであるが、MPEG、H.263、またはフレーム間の
動作予測を利用して圧縮効率を改善している他の映像圧
縮アルゴリズムを使って動画シーケンスから得られたフ
レーム群を圧縮することが可能である。
【００４８】拡張圧縮デジタル画像219が、デジタル画
像または動画シーケンスのビットレートを取り扱いでき
る装置で見るためにデコードされる場合、そのデコーダ
ーには、拡張圧縮デジタル画像219に含まれている追加
情報を無視する指図を与えておくことができる。ただ
し、画像または動画シーケンスを搬送するには不十分な
帯域幅のチャネルで画像または動画シーケンスを送信し
なければならない場合は、追加情報を利用して圧縮デジ
タル画像を更に低めのビットレートまで再圧縮するよう
な特殊なトランスコーダを使用する。
像または動画シーケンスのビットレートを取り扱いでき
る装置で見るためにデコードされる場合、そのデコーダ
ーには、拡張圧縮デジタル画像219に含まれている追加
情報を無視する指図を与えておくことができる。ただ
し、画像または動画シーケンスを搬送するには不十分な
帯域幅のチャネルで画像または動画シーケンスを送信し
なければならない場合は、追加情報を利用して圧縮デジ
タル画像を更に低めのビットレートまで再圧縮するよう
な特殊なトランスコーダを使用する。
【００４９】図４にトランスコーダ400をす。図２Ａ−
２Ｃに示した拡張圧縮デジタル画像219をデータ抽出ユ
ニット401に供給する。データ抽出ユニット401は、拡張
圧縮デジタル画像219から、圧縮デジタル画像データ402
と追加情報を主要被写体ブリーフマップ403の形で抽出
する。圧縮デジタル画像データ402と主要被写体ブリー
フマップ403を別々の識別可能なファイルまたは場所か
ら抽出することが必要になる場合もある。望ましい実施
例では主要被写体ブリーフマップは圧縮された形のもの
である。圧縮デジタル画像データ402は画像解凍部404で
解凍して解凍デジタル画像405を生成する。解凍デジタ
ル画像405を、主要被写体ブリーフマップ403に反応する
画像圧縮部406で更に低めのビットレートまで再圧縮し
て再圧縮デジタル画像407を生成する。望ましい実施例
では、トランスコーダ400が使用する画像圧縮部406はJP
EG2000エンコーダで、追加情報は主要被写体ブリーフマ
ップの形をとっている。解凍デジタル画像405を主要被
写体ブリーフマップに反応して再圧縮する方法は、たと
えば、以下にその要約を示す2001年7月3日受付のJoshi
らによる「デジタル画像から圧縮ビットストリームを生
成するために被写体内容分析を利用する方法」というタ
イトルの米国特許No. 09/898230に記述されているもの
に似ている可能性がある。
２Ｃに示した拡張圧縮デジタル画像219をデータ抽出ユ
ニット401に供給する。データ抽出ユニット401は、拡張
圧縮デジタル画像219から、圧縮デジタル画像データ402
と追加情報を主要被写体ブリーフマップ403の形で抽出
する。圧縮デジタル画像データ402と主要被写体ブリー
フマップ403を別々の識別可能なファイルまたは場所か
ら抽出することが必要になる場合もある。望ましい実施
例では主要被写体ブリーフマップは圧縮された形のもの
である。圧縮デジタル画像データ402は画像解凍部404で
解凍して解凍デジタル画像405を生成する。解凍デジタ
ル画像405を、主要被写体ブリーフマップ403に反応する
画像圧縮部406で更に低めのビットレートまで再圧縮し
て再圧縮デジタル画像407を生成する。望ましい実施例
では、トランスコーダ400が使用する画像圧縮部406はJP
EG2000エンコーダで、追加情報は主要被写体ブリーフマ
ップの形をとっている。解凍デジタル画像405を主要被
写体ブリーフマップに反応して再圧縮する方法は、たと
えば、以下にその要約を示す2001年7月3日受付のJoshi
らによる「デジタル画像から圧縮ビットストリームを生
成するために被写体内容分析を利用する方法」というタ
イトルの米国特許No. 09/898230に記述されているもの
に似ている可能性がある。
【００５０】図５に主要被写体ブリーフマップ403の形
をした主要被写体ブリーフマップに反応して解凍デジタ
ル画像405を再圧縮するJPEG2000画像エンコーダ500の流
れ図を示す。2000年のITU推奨案T.800のISO/IEC国際規
格15444-1のJPEG2000 画像コーディングシステムの情報
技術のところで説明されているJPEG2000の第I部国際規
格に、JPEG2000準拠のビットストリームがJPEG2000デコ
ーダでどのように解読されるかが記載されている。これ
によってJPEGエンコーダにはある種の制約が課される。
ただし、JPEG2000ビットストリームの構文は非常に融通
が利くので、JPEG2000エンコーダがビットストリームを
最適化できる方法は数多く存在する。
をした主要被写体ブリーフマップに反応して解凍デジタ
ル画像405を再圧縮するJPEG2000画像エンコーダ500の流
れ図を示す。2000年のITU推奨案T.800のISO/IEC国際規
格15444-1のJPEG2000 画像コーディングシステムの情報
技術のところで説明されているJPEG2000の第I部国際規
格に、JPEG2000準拠のビットストリームがJPEG2000デコ
ーダでどのように解読されるかが記載されている。これ
によってJPEGエンコーダにはある種の制約が課される。
ただし、JPEG2000ビットストリームの構文は非常に融通
が利くので、JPEG2000エンコーダがビットストリームを
最適化できる方法は数多く存在する。
【００５１】図５は、主要被写体ブリーフマップ403に
基づいて所定のビットレートのビットストリームを最適
化する方法の一つを示している。解凍デジタル画像405
は、解析フィルタによりサブバンド解凍501を受け、サ
ブバンド係数502について一つの画像表現を生成する。
サブバンド係数502は、コードブロック分割ユニット503
により一つ以上の矩形ブロックに分割されて、一つ以上
のコードブロック504を生成する。個々のコードブロッ
クは、適切な量子化ステップサイズを用いたコードブロ
ック圧縮ユニット503により圧縮されて、圧縮コードブ
ロック・ビットストリーム506とバイトカウント表507を
生成する。歪み-重み計算ユニット508は、主要被写体ブ
リーフマップ403を使って、後続のレート制御アルゴリ
ズムが使用する歪み-重み509を導き出す。コードブロッ
ク504、圧縮コードブロック・ビットストリーム506、バ
イトカウント表507、ビット割り当て量510、および歪み
-重み509をレート制御ユニットとJPEG2000ビットストリ
ーム・オーガナイザ511に入力し、そこからは再圧縮デ
ジタル画像407が生成される。
基づいて所定のビットレートのビットストリームを最適
化する方法の一つを示している。解凍デジタル画像405
は、解析フィルタによりサブバンド解凍501を受け、サ
ブバンド係数502について一つの画像表現を生成する。
サブバンド係数502は、コードブロック分割ユニット503
により一つ以上の矩形ブロックに分割されて、一つ以上
のコードブロック504を生成する。個々のコードブロッ
クは、適切な量子化ステップサイズを用いたコードブロ
ック圧縮ユニット503により圧縮されて、圧縮コードブ
ロック・ビットストリーム506とバイトカウント表507を
生成する。歪み-重み計算ユニット508は、主要被写体ブ
リーフマップ403を使って、後続のレート制御アルゴリ
ズムが使用する歪み-重み509を導き出す。コードブロッ
ク504、圧縮コードブロック・ビットストリーム506、バ
イトカウント表507、ビット割り当て量510、および歪み
-重み509をレート制御ユニットとJPEG2000ビットストリ
ーム・オーガナイザ511に入力し、そこからは再圧縮デ
ジタル画像407が生成される。
【００５２】図５中のブロックをここで更に詳しく説明
する。JPEG2000エンコーダは、ウェーブレットの分解を
使用しているが、それはサブバンド分解501の特殊な例
である。一次元の信号x[n]についてのウェーブレット分
解について考える。これは、解析フィルタで濾過するこ
とで実現でき、h0[n]およびh1[n]、係数2でダウンサン
プリングしてサブバンド信号x0[n]およびx1[n]を生成す
ることで実現できる。この方法を低域通過サブバンドで
繰り返して、x0[n]、多レベルのウェーでレット分解を
生成する。サブバンド信号x0[n]およびx1[n]を係数2で
アップサンプリングし、合成フィルタで濾過し、g0[n]
およびg1[n]、元の信号x[n]を量子化がないところでウ
ェーブレット係数から復元できる。入力信号x[n]のウェ
ーブレット分解は、合成基底関数の一次結合として表現
できる。Ψi m[n]をサブバンドiから得たm番目の係数x
i[m]の基底関数とすると、
する。JPEG2000エンコーダは、ウェーブレットの分解を
使用しているが、それはサブバンド分解501の特殊な例
である。一次元の信号x[n]についてのウェーブレット分
解について考える。これは、解析フィルタで濾過するこ
とで実現でき、h0[n]およびh1[n]、係数2でダウンサン
プリングしてサブバンド信号x0[n]およびx1[n]を生成す
ることで実現できる。この方法を低域通過サブバンドで
繰り返して、x0[n]、多レベルのウェーでレット分解を
生成する。サブバンド信号x0[n]およびx1[n]を係数2で
アップサンプリングし、合成フィルタで濾過し、g0[n]
およびg1[n]、元の信号x[n]を量子化がないところでウ
ェーブレット係数から復元できる。入力信号x[n]のウェ
ーブレット分解は、合成基底関数の一次結合として表現
できる。Ψi m[n]をサブバンドiから得たm番目の係数x
i[m]の基底関数とすると、
【００５３】
【数６】
【００５４】基底関数を求める最も簡単な方法は、次の
通りである。係数xi[m]の基底関数を求める場合、その
係数の値を「1」に設定し、そのサブバンドおよび他の
サブバンドから得られた他の全ての係数を「0」に設定
すると、そのサブバンドを合成することで再構築した画
像が、サブバンド係数xi[m]に対応する基底関数Ψi m[n]
になる。同じバンドから得られた他の係数の基底関数は
Ψi m[n]をシフトしたバージョンであるから、この計算
は各サブバンドについて一回だけ実行すればよい。二次
元の場合、元の画像をI（u,v）で表す。但し、uとvはそ
れぞれ横の列と縦の列の指標を表すものとする。する
と、
通りである。係数xi[m]の基底関数を求める場合、その
係数の値を「1」に設定し、そのサブバンドおよび他の
サブバンドから得られた他の全ての係数を「0」に設定
すると、そのサブバンドを合成することで再構築した画
像が、サブバンド係数xi[m]に対応する基底関数Ψi m[n]
になる。同じバンドから得られた他の係数の基底関数は
Ψi m[n]をシフトしたバージョンであるから、この計算
は各サブバンドについて一回だけ実行すればよい。二次
元の場合、元の画像をI（u,v）で表す。但し、uとvはそ
れぞれ横の列と縦の列の指標を表すものとする。する
と、
【００５５】
【数７】
但し、x（g,h）はサブバンドiから得られたサブバンド
係数で、gとhはそれぞれその係数の横列と縦列の指標を
表しているものとする。
係数で、gとhはそれぞれその係数の横列と縦列の指標を
表しているものとする。
【００５６】基底関数の支持の領域は、その基底関数が
ゼロ以外の値を持つ全てのピクセルと定義される。二次
元の分離可能なフィルタバンクの場合は、基底関数の支
持の領域は、矩形であることが保証されている。従っ
て、横列方向と縦列方向の支持の領域は別々に求めるこ
とができる。これら二つの支持の領域のデカルト積は、
二次元の基底関数の支持の領域である。
ゼロ以外の値を持つ全てのピクセルと定義される。二次
元の分離可能なフィルタバンクの場合は、基底関数の支
持の領域は、矩形であることが保証されている。従っ
て、横列方向と縦列方向の支持の領域は別々に求めるこ
とができる。これら二つの支持の領域のデカルト積は、
二次元の基底関数の支持の領域である。
【００５７】コードブロック分割ユニット503は、各サ
ブバンドを一つ以上の矩形ブロックに分割する。個々の
コードブロックは、コードブロック圧縮ユニット505に
よって圧縮される。個々のコードブロックは、適切な量
子化ステップサイズを用いたデッドゾーン・スカラー量
子化装置で量子化されて、サインマグニチュード方式で
表した量子化係数の指標を生成する。各コードブロック
から得た量子化ウェーブレット係数は、エントロピー・
コーダー（図示なし）でほかのものの影響を受けずにエ
ンコードされる。エントロピー・コーダーは、MQ算術コ
ーダーを用いて、サインマグニチュード方式で表したコ
ードブロック係数のビットプレーンをエンコードする。
一つのコードブロックの最初の非ゼロのビットプレーン
を除く全てのビットプレーンは、significance propaga
tion pass、magnitude refinement pass、cleanup pass
という3つの符号化パスで符号化される。一つのコード
ブロックの最初の非ゼロのビットプレーンは、cleanup
passだけを利用して符号化される。コードブロック分割
ユニット503は、各コードブロック504用に圧縮されたコ
ードブロックのビットストリーム506を生成する。それ
はまた、各コードブロック504用にバイトカウント表507
も生成する。このテーブルにおけるp番目の入力は、圧
縮されたコードブロックのビットストリーム506におけ
るコードブロック504から最初のp符号化パスを含めるの
に必要なバイト数に相当する。
ブバンドを一つ以上の矩形ブロックに分割する。個々の
コードブロックは、コードブロック圧縮ユニット505に
よって圧縮される。個々のコードブロックは、適切な量
子化ステップサイズを用いたデッドゾーン・スカラー量
子化装置で量子化されて、サインマグニチュード方式で
表した量子化係数の指標を生成する。各コードブロック
から得た量子化ウェーブレット係数は、エントロピー・
コーダー（図示なし）でほかのものの影響を受けずにエ
ンコードされる。エントロピー・コーダーは、MQ算術コ
ーダーを用いて、サインマグニチュード方式で表したコ
ードブロック係数のビットプレーンをエンコードする。
一つのコードブロックの最初の非ゼロのビットプレーン
を除く全てのビットプレーンは、significance propaga
tion pass、magnitude refinement pass、cleanup pass
という3つの符号化パスで符号化される。一つのコード
ブロックの最初の非ゼロのビットプレーンは、cleanup
passだけを利用して符号化される。コードブロック分割
ユニット503は、各コードブロック504用に圧縮されたコ
ードブロックのビットストリーム506を生成する。それ
はまた、各コードブロック504用にバイトカウント表507
も生成する。このテーブルにおけるp番目の入力は、圧
縮されたコードブロックのビットストリーム506におけ
るコードブロック504から最初のp符号化パスを含めるの
に必要なバイト数に相当する。
【００５８】演算に使用するレート制御アルゴリズム51
1は、IEEE Transactions on ImageProcessing, 9（7）,
pp. 1158-1170 （July 2000）のD. Taubmanの「EBCOT
を用いた高性能で拡張可能な圧縮」に述べられているEB
COTアルゴリズムが使用する方法の修正版である。画像
全体のコードブロックの総数をPとし、コードブロック
をBsで表すことにする（1＜s＜P）。コードブロックBs
に相当する圧縮ビットストリームはCsで表すものとす
る。全てのコードブロックでは、通常、最終ビットスト
リームに含まれる圧縮データは、最初の圧縮ビットスト
リームの先端を切り取った形をしている。圧縮ビットス
トリームCsの先端が切断される可能性のあるポイント
は、名目上、符号化パスの境界である。コードブロック
をBsの先端が切断される可能性のあるポイントをTs zで
表すものとする（1＜z＜Ns、ただしNsは圧縮ビットスト
リームCsの先端が切断される可能性のあるポイントの数
を示す）。先端切断ポイントTs zに対応する先端が切断
されたビットストリームの大きさをRs zバイトとする。
各先端切断ポイントTs zに、歪みDs zを関連付けることも
できる。圧縮されたコードブロックがRs zバイト後のと
ころで先端が切断されたとすれば、歪みは、元の画像と
再構築された画像との間の誤差を数値で表している。一
般的に、歪みという尺度が重み付けされた平均平方誤差
（MSE）であるとすると、この歪みは次のように記述で
きる。
1は、IEEE Transactions on ImageProcessing, 9（7）,
pp. 1158-1170 （July 2000）のD. Taubmanの「EBCOT
を用いた高性能で拡張可能な圧縮」に述べられているEB
COTアルゴリズムが使用する方法の修正版である。画像
全体のコードブロックの総数をPとし、コードブロック
をBsで表すことにする（1＜s＜P）。コードブロックBs
に相当する圧縮ビットストリームはCsで表すものとす
る。全てのコードブロックでは、通常、最終ビットスト
リームに含まれる圧縮データは、最初の圧縮ビットスト
リームの先端を切り取った形をしている。圧縮ビットス
トリームCsの先端が切断される可能性のあるポイント
は、名目上、符号化パスの境界である。コードブロック
をBsの先端が切断される可能性のあるポイントをTs zで
表すものとする（1＜z＜Ns、ただしNsは圧縮ビットスト
リームCsの先端が切断される可能性のあるポイントの数
を示す）。先端切断ポイントTs zに対応する先端が切断
されたビットストリームの大きさをRs zバイトとする。
各先端切断ポイントTs zに、歪みDs zを関連付けることも
できる。圧縮されたコードブロックがRs zバイト後のと
ころで先端が切断されたとすれば、歪みは、元の画像と
再構築された画像との間の誤差を数値で表している。一
般的に、歪みという尺度が重み付けされた平均平方誤差
（MSE）であるとすると、この歪みは次のように記述で
きる。
【００５９】
【数８】
但し、総和はコードブロックBsの全ての係数に関するも
のである。元のコードブロックの係数はxi（g,h）で示
される。ここではブロックBsがサブバンドiから得るも
のであると仮定している。ｘ^i（g,h）は圧縮ビットス
トリームCsの最初のR s zバイトの部分を元にして再構築
されたコードブロック係数を参照している。｜｜Ψi｜
｜はサブバンドiから得た任意の係数に関連付けられた
基底関数のL2基準である。一つのサブバンドから得た全
ての係数のL2基準が同じであることに注意を払う必要が
ある。
のである。元のコードブロックの係数はxi（g,h）で示
される。ここではブロックBsがサブバンドiから得るも
のであると仮定している。ｘ^i（g,h）は圧縮ビットス
トリームCsの最初のR s zバイトの部分を元にして再構築
されたコードブロック係数を参照している。｜｜Ψi｜
｜はサブバンドiから得た任意の係数に関連付けられた
基底関数のL2基準である。一つのサブバンドから得た全
ての係数のL2基準が同じであることに注意を払う必要が
ある。
【００６０】係数xi（g,h）の平方誤差は、歪み-重み係
数wi（g,h）によって重み付けされている。歪み-重み係
数は図２にあるような主要被写体ブリーフ・マップ40
3、ここでは主要被写体ブリーフ・マップ209から導かれ
る。歪み-重み計算ユニット508は、主要被写体ブリーフ
・マップ209から各サブバンド係数に対する歪み-重み係
数wi（g,h）を導出する。歪み-重み係数wi（g,h）はサ
ブバンド・ドメインにある係数に対して視覚重み付けを
決定するのに対し、主要被写体ブリーフ・マップ209は
画像ドメインにあるのでこのことは自明にはほど遠い。
数wi（g,h）によって重み付けされている。歪み-重み係
数は図２にあるような主要被写体ブリーフ・マップ40
3、ここでは主要被写体ブリーフ・マップ209から導かれ
る。歪み-重み計算ユニット508は、主要被写体ブリーフ
・マップ209から各サブバンド係数に対する歪み-重み係
数wi（g,h）を導出する。歪み-重み係数wi（g,h）はサ
ブバンド・ドメインにある係数に対して視覚重み付けを
決定するのに対し、主要被写体ブリーフ・マップ209は
画像ドメインにあるのでこのことは自明にはほど遠い。
【００６１】以前に、筆者らは具体的なサブバンド係数
に対応する基底関数の計算方法について説明した。この
基底関数は、そのサブバンド係数に対する歪み重み付け
を導出するのに使用できる。前述のように、サブバンド
iからのサブバンド係数xi（g,h）に対応する基底関数を
Ψi gh（u,v）とする。サブバンド係数を量子化し、復元
値をx^i（g,h）とする。すると、復元値は下の係数と量
子化誤差ei（g,h）の和として表すことができる。
に対応する基底関数の計算方法について説明した。この
基底関数は、そのサブバンド係数に対する歪み重み付け
を導出するのに使用できる。前述のように、サブバンド
iからのサブバンド係数xi（g,h）に対応する基底関数を
Ψi gh（u,v）とする。サブバンド係数を量子化し、復元
値をx^i（g,h）とする。すると、復元値は下の係数と量
子化誤差ei（g,h）の和として表すことができる。
【００６２】
【数９】
【００６３】合成演算がリニアであるので、サブバンド
係数xi（j,k）の量子化誤差ei（g,h）による復元画像に
おける歪みは、
係数xi（j,k）の量子化誤差ei（g,h）による復元画像に
おける歪みは、
【数１０】
【００６４】もし特定のピクセル位置（u,v）で知覚さ
れる歪みがそのピクセル位置での主要被写体ブリーフ値
の関数と仮定すると、サブバンド係数xi（g,h）の量子
化による復元画像での知覚される歪みは、
れる歪みがそのピクセル位置での主要被写体ブリーフ値
の関数と仮定すると、サブバンド係数xi（g,h）の量子
化による復元画像での知覚される歪みは、
【数１１】
【００６５】ただし、主要被写体ブリーフ・マップ値を
p（u,v）とすると、Gはその特定位置でのブリーフ値の
関数であり、その総和は基底関数をΨi gh（u,v）に対す
る指示領域を超えている。従って、サブバンド係数xi
（g,h）に対する歪み-重み係数は、
p（u,v）とすると、Gはその特定位置でのブリーフ値の
関数であり、その総和は基底関数をΨi gh（u,v）に対す
る指示領域を超えている。従って、サブバンド係数xi
（g,h）に対する歪み-重み係数は、
【数１２】
【００６６】各サブバンド係数に対する歪み加重509が
一旦計算されると、Y. ShohamおよびA. Gershoによる
「任意の量子化子セットに対する効率的なビット割
付」、IEEE音響、スピーチ、そして信号処理に関する報
告書、36（9）, pp. 1445-1453（1988年9月）で説明さ
れるようなレート歪み最適化アルゴリズムを、総ビット
レートへの制約を受ける各コードブロックに対する打ち
切り点を決定するために適用できる。当業者は、レート
制御アルゴリズムの性能が解凍デジタル画像405の質に
依存することを簡単に認識できる。初期圧縮比が小さい
場合は、解凍デジタル画像405はオリジナル画像205に非
常に近似する。従って歪み予測ステップはかなり正確な
ものになる。
一旦計算されると、Y. ShohamおよびA. Gershoによる
「任意の量子化子セットに対する効率的なビット割
付」、IEEE音響、スピーチ、そして信号処理に関する報
告書、36（9）, pp. 1445-1453（1988年9月）で説明さ
れるようなレート歪み最適化アルゴリズムを、総ビット
レートへの制約を受ける各コードブロックに対する打ち
切り点を決定するために適用できる。当業者は、レート
制御アルゴリズムの性能が解凍デジタル画像405の質に
依存することを簡単に認識できる。初期圧縮比が小さい
場合は、解凍デジタル画像405はオリジナル画像205に非
常に近似する。従って歪み予測ステップはかなり正確な
ものになる。
【００６７】図６は、トランスコーダー400のもう一つ
の実施例である。ここでは、図４に示されトランスコー
ダー400により使用される画像圧縮部406はISO/IEC国際
規格10918-3に記載されるようなJPEG標準への拡張に基
づく変換符号装置600である。変換符号装置600は空間的
に適応される量子化のための主要被写体ブリーフ・マッ
プ403を使用する。JPEG標準まで拡張すると、W. B. Pen
nebakerおよびJoan L.Mitchellによる、「JPEGスチル画
像データ圧縮標準」Van Nostrand Reinhold、ニューヨ
ーク1993年で報告された量子化子マトリクスの仕様を可
能にする。更に、各8x8ブロックに対して、この拡張は
量子化マトリクスを測る乗数の仕様を可能にする。別の
実施例では、各8x8ブロックに対する乗数が図６に示さ
れるようにブロックに対する主要被写体ブリーフ値の平
均に従って変動されている。
の実施例である。ここでは、図４に示されトランスコー
ダー400により使用される画像圧縮部406はISO/IEC国際
規格10918-3に記載されるようなJPEG標準への拡張に基
づく変換符号装置600である。変換符号装置600は空間的
に適応される量子化のための主要被写体ブリーフ・マッ
プ403を使用する。JPEG標準まで拡張すると、W. B. Pen
nebakerおよびJoan L.Mitchellによる、「JPEGスチル画
像データ圧縮標準」Van Nostrand Reinhold、ニューヨ
ーク1993年で報告された量子化子マトリクスの仕様を可
能にする。更に、各8x8ブロックに対して、この拡張は
量子化マトリクスを測る乗数の仕様を可能にする。別の
実施例では、各8x8ブロックに対する乗数が図６に示さ
れるようにブロックに対する主要被写体ブリーフ値の平
均に従って変動されている。
【００６８】更に詳細な説明を行うために図６を参照す
る。解凍されたデジタル画像405は、分割ユニット601に
より8x8ブロックに分割される。主要被写体ブリーフ・
マップ209は、乗数計算ユニット605に入力され、乗数計
算ユニットは各8x8ブロックに対する主要被写体ブリー
フ値の平均を計算し、その平均値を用いてその8x8ブロ
ックに対する乗数606を決定する。JPEG拡張は、乗数値
に対する二つの事前指定された表（線形または非線形）
を可能にする。好ましい実施の形態の中で、この線形表
が使用されている。線形表に対して、入力は（1/16）単
位で（1/16）から（31/16）まで行える。8x8ブロックに
対するブリーフ値の平均が0と1の間にあるので、好まし
い実施の形態においては、乗数は以下のように求められ
る。
る。解凍されたデジタル画像405は、分割ユニット601に
より8x8ブロックに分割される。主要被写体ブリーフ・
マップ209は、乗数計算ユニット605に入力され、乗数計
算ユニットは各8x8ブロックに対する主要被写体ブリー
フ値の平均を計算し、その平均値を用いてその8x8ブロ
ックに対する乗数606を決定する。JPEG拡張は、乗数値
に対する二つの事前指定された表（線形または非線形）
を可能にする。好ましい実施の形態の中で、この線形表
が使用されている。線形表に対して、入力は（1/16）単
位で（1/16）から（31/16）まで行える。8x8ブロックに
対するブリーフ値の平均が0と1の間にあるので、好まし
い実施の形態においては、乗数は以下のように求められ
る。
【００６９】
【数１３】
ここで、平均値は8x8ブロックに対する平均ブリーフ値
を表し、[x]はx以下である最大整数値を表している。こ
の結果として得られる乗数値は、[1/16, 31/16]の範囲
までクリップされる。予想される通り、より低い平均ブ
リーフ値を持つブロックに対する乗数がより高くなり、
結果として更に粗い量子化になる。当業者は、より低い
平均ブリーフ値が更に高い増倍率までマップされる限り
他のマッピングを使用できることに気付くだろう。DCT
ユニット602は、二次元離散的コサイン変換（2-D DCT）
を用いて各8x8ブロックを変換して、変換された8x8ブロ
ック603を形成する。量子化ユニット604は適切な量子化
マトリクスと乗数計算ユニット605により供給される乗
数606を用いてDCT係数を量子化し、量子化係数607を形
成する。次に、エントロピー符号化シンタックス生成ユ
ニット608は、解凍デジタル画像407を生成し、画像はJP
EG標準までの拡張と一致する。当業者は、8x8ブロック
に対する平均ブリーフ値に基づく量子化を変動させる同
じような取り組みが動作順序を最圧縮するためのMPEGお
よびH.263アルゴリズムファミリーでイントラおよびイ
ンターコード化された8x8ブロックを圧縮するのに用い
ることができることに気付くだろう。
を表し、[x]はx以下である最大整数値を表している。こ
の結果として得られる乗数値は、[1/16, 31/16]の範囲
までクリップされる。予想される通り、より低い平均ブ
リーフ値を持つブロックに対する乗数がより高くなり、
結果として更に粗い量子化になる。当業者は、より低い
平均ブリーフ値が更に高い増倍率までマップされる限り
他のマッピングを使用できることに気付くだろう。DCT
ユニット602は、二次元離散的コサイン変換（2-D DCT）
を用いて各8x8ブロックを変換して、変換された8x8ブロ
ック603を形成する。量子化ユニット604は適切な量子化
マトリクスと乗数計算ユニット605により供給される乗
数606を用いてDCT係数を量子化し、量子化係数607を形
成する。次に、エントロピー符号化シンタックス生成ユ
ニット608は、解凍デジタル画像407を生成し、画像はJP
EG標準までの拡張と一致する。当業者は、8x8ブロック
に対する平均ブリーフ値に基づく量子化を変動させる同
じような取り組みが動作順序を最圧縮するためのMPEGお
よびH.263アルゴリズムファミリーでイントラおよびイ
ンターコード化された8x8ブロックを圧縮するのに用い
ることができることに気付くだろう。
【００７０】前述したように、ブリーフ・マップがエン
コーダで圧縮されると、図２に示されるブリーフ・マッ
プ圧縮ユニット216は、解凍された画像がトランスコー
ダ400で受けるその種類の圧縮を予測する。例えば、好
ましい実施形態において、トランスコーダ400は、JPEG2
000圧縮アルゴリズムを使用する。そしてブリーフ・マ
ップ圧縮ユニット216は各コードブロックに対する平均
重み係数を保存する。同様に、もしトランスコーダ400
がJPEG、MPEGまたはH.263圧縮を使用する場合には、各8
x8ブロックに対する重み係数を保存するのに適してい
る。このことは重要である。何故ならこれはトランスコ
ーダの働きに悪影響を与えることなしに余分な情報を保
存するのに必要な付加的メモリーを最小限にするからで
ある。
コーダで圧縮されると、図２に示されるブリーフ・マッ
プ圧縮ユニット216は、解凍された画像がトランスコー
ダ400で受けるその種類の圧縮を予測する。例えば、好
ましい実施形態において、トランスコーダ400は、JPEG2
000圧縮アルゴリズムを使用する。そしてブリーフ・マ
ップ圧縮ユニット216は各コードブロックに対する平均
重み係数を保存する。同様に、もしトランスコーダ400
がJPEG、MPEGまたはH.263圧縮を使用する場合には、各8
x8ブロックに対する重み係数を保存するのに適してい
る。このことは重要である。何故ならこれはトランスコ
ーダの働きに悪影響を与えることなしに余分な情報を保
存するのに必要な付加的メモリーを最小限にするからで
ある。
【００７１】トランスコーディング時でそして取り込み
時でないブリーフ・マップを計算するのにより実際的な
いくつかの用途がある。例えば、動画取り込み用途にお
いて取り込み時に動作順序で各画像に対するブリーフ・
マップを計算することが出来ないかもしれない。それに
もかかわらず、それは、そういった用途において、取り
込み時にデジタル画像の被写体と背景に対応する付加的
な情報を生成するのにまだ有利である。図７は、他の実
施例を示している。
時でないブリーフ・マップを計算するのにより実際的な
いくつかの用途がある。例えば、動画取り込み用途にお
いて取り込み時に動作順序で各画像に対するブリーフ・
マップを計算することが出来ないかもしれない。それに
もかかわらず、それは、そういった用途において、取り
込み時にデジタル画像の被写体と背景に対応する付加的
な情報を生成するのにまだ有利である。図７は、他の実
施例を示している。
【００７２】CCDまたはCMOS画像センサーまたは同等品
である画像センサー702は、そのネイティブ解像度でレ
ンズ／アイリス・アセンブリ701を通して景色情報を記
録する。アナログ画像信号はアナログ・デジタル・コン
バータ（A/D）703によりデジタルデータに変換される。
デジタル化されたデータは、次にセンサーシグナル加工
作業704により処理されてデジタル画像データ705を生成
する。デジタル画像データ705は適切な解像度、色空間
符号化、そしてビット深さを持つ3つの独立したカラー
画像レコードから成り立っている。その結果として生じ
るデータは画像圧縮部706により圧縮され、圧縮デジタ
ル画像データ707を生成する。
である画像センサー702は、そのネイティブ解像度でレ
ンズ／アイリス・アセンブリ701を通して景色情報を記
録する。アナログ画像信号はアナログ・デジタル・コン
バータ（A/D）703によりデジタルデータに変換される。
デジタル化されたデータは、次にセンサーシグナル加工
作業704により処理されてデジタル画像データ705を生成
する。デジタル画像データ705は適切な解像度、色空間
符号化、そしてビット深さを持つ3つの独立したカラー
画像レコードから成り立っている。その結果として生じ
るデータは画像圧縮部706により圧縮され、圧縮デジタ
ル画像データ707を生成する。
【００７３】取り込み時、他のプロセスは撮影被写体と
デジタル画像データ705の対応する背景領域の重要性に
関する追加情報を生成し、圧縮されたデジタル画像デー
タ707の将来のトランスコーディングを容易にする。視
線追尾センサー708は、視線追尾アルゴリズム709により
処理され取り込み時またはその近辺でユーザの視線に基
づく視線情報710を提供する。同様に、デプス・センサ7
11はデプス・画像アルゴリズム712により処理されるデ
プス情報を捕獲しデプスマップ713を生成する。同様
に、デジタル画像データ705はアクティビティ計算ユニ
ット719により処理されアクティビティマップ720を生成
する。好ましい実施例においては、視線情報710、デプ
ス・マップ713、そしてアクティビティマップ720は、追
加情報圧縮ユニット714により圧縮されて追加情報715を
生成する。前述したように、追加情報715の様式、数値
精度、そして空間解像度は、様々な要素に依存してい
る。例えば、画像データと組み合わせることにより発生
するビット・レートの許容できる増加、トランスコーダ
が採用することが予測される画像圧縮アルゴリズムの
型、等である。追加情報715が三個全ての要素、つまり
視線情報710、デプス・マップ713、そしてアクティビテ
ィマップ720、から構成されている必要はない。一つだ
けの要素或いはいくつかの要素の組合せでこの追加情報
715を構成しても良い。
デジタル画像データ705の対応する背景領域の重要性に
関する追加情報を生成し、圧縮されたデジタル画像デー
タ707の将来のトランスコーディングを容易にする。視
線追尾センサー708は、視線追尾アルゴリズム709により
処理され取り込み時またはその近辺でユーザの視線に基
づく視線情報710を提供する。同様に、デプス・センサ7
11はデプス・画像アルゴリズム712により処理されるデ
プス情報を捕獲しデプスマップ713を生成する。同様
に、デジタル画像データ705はアクティビティ計算ユニ
ット719により処理されアクティビティマップ720を生成
する。好ましい実施例においては、視線情報710、デプ
ス・マップ713、そしてアクティビティマップ720は、追
加情報圧縮ユニット714により圧縮されて追加情報715を
生成する。前述したように、追加情報715の様式、数値
精度、そして空間解像度は、様々な要素に依存してい
る。例えば、画像データと組み合わせることにより発生
するビット・レートの許容できる増加、トランスコーダ
が採用することが予測される画像圧縮アルゴリズムの
型、等である。追加情報715が三個全ての要素、つまり
視線情報710、デプス・マップ713、そしてアクティビテ
ィマップ720、から構成されている必要はない。一つだ
けの要素或いはいくつかの要素の組合せでこの追加情報
715を構成しても良い。
【００７４】追加情報715は、関連づけユニット716によ
り圧縮デジタル画像データ707と関連づけられ、強調さ
れた圧縮デジタル画像717が形成される。前述したよう
に、圧縮デジタル画像データ707と追加情報715は、関連
づけユニット716により組み合わされて一つのファイル
にするか、別のファイルか場所置いてよい。その場合、
圧縮されたデジタル画像データ707を含む強調された圧
縮デジタル画像717は、また追加情報715を保存できる別
のファイルまたは場所へのポインターを含む。好ましい
実施例においては、強調された圧縮デジタル画像717
は、ソリッドステート取り外し可能なメモリーまたはマ
グネチック・テープのような記憶装置718に保存され
る。当業者は、強調された圧縮デジタル画像717を保存
する代わりに、ネットワーク上を直接送信することもで
きる。当業者は、オーディオ情報がデジタル画像と共に
取り込まれる場合は、圧縮オーディオ・データは圧縮デ
ジタル画像データ707と同期され多重化できる。
り圧縮デジタル画像データ707と関連づけられ、強調さ
れた圧縮デジタル画像717が形成される。前述したよう
に、圧縮デジタル画像データ707と追加情報715は、関連
づけユニット716により組み合わされて一つのファイル
にするか、別のファイルか場所置いてよい。その場合、
圧縮されたデジタル画像データ707を含む強調された圧
縮デジタル画像717は、また追加情報715を保存できる別
のファイルまたは場所へのポインターを含む。好ましい
実施例においては、強調された圧縮デジタル画像717
は、ソリッドステート取り外し可能なメモリーまたはマ
グネチック・テープのような記憶装置718に保存され
る。当業者は、強調された圧縮デジタル画像717を保存
する代わりに、ネットワーク上を直接送信することもで
きる。当業者は、オーディオ情報がデジタル画像と共に
取り込まれる場合は、圧縮オーディオ・データは圧縮デ
ジタル画像データ707と同期され多重化できる。
【００７５】最終強調圧縮デジタル画像717に含まれる
追加情報は、デジタル画像ビット・レートを取り扱い可
能な装置のための標準エンコーダにより無視される。し
かしながら、もし画像順序がデジタル画像または動画順
序を伝えるため不十分な帯域幅のチャンネルを送信され
なくてはならない場合は、追加情報を利用し静止画像ま
たは順序のためのブリーフ・マップを計算できるトラン
スコーダが有利である。上記のような低帯域トランスコ
ーダの例を図８Ａに示す。
追加情報は、デジタル画像ビット・レートを取り扱い可
能な装置のための標準エンコーダにより無視される。し
かしながら、もし画像順序がデジタル画像または動画順
序を伝えるため不十分な帯域幅のチャンネルを送信され
なくてはならない場合は、追加情報を利用し静止画像ま
たは順序のためのブリーフ・マップを計算できるトラン
スコーダが有利である。上記のような低帯域トランスコ
ーダの例を図８Ａに示す。
【００７６】図７に示される強調された圧縮デジタル画
像717は、データ抽出ユニット801に入力される。データ
抽出ユニット801は、圧縮デジタル画像802と追加情報80
3を強調された圧縮デジタル画像717から抽出する。圧縮
デジタル画像802と追加情報803を独立した様々なファイ
ルまたは場所から抽出することが必要となるかもしれな
い。好ましい実施例においては、追加情報803は、圧縮
形式である。その場合にはデータ抽出ユニット801も追
加解凍ステップを行って追加情報803を抽出する。圧縮
デジタル画像802は、画像解凍部804により解凍され、解
凍デジタル画像805を形成する。追加情報803と解凍デジ
タル画像805は、主要被写体検知ユニット808に入力され
る。主要被写体検知ユニット808は主要被写体ブリーフ
・マップ809を生成する。主要被写体ブリーフ・マップ8
09の計算のために主要被写体検知ユニット808により使
用される方法は、例えば、Luoらにより1998年12月31日
に出願された米国特許No. 6,282,317に記載されたもの
と類似しており、以前にまとめられている。それと異な
っている唯一の点は、主要被写体検知ユニットが解凍デ
ジタル画像805に作用することである。また、追加情報8
03は、以前に説明されたように主要被写体検知ユニット
808による追加の特徴として用いられる。当業者は、主
要被写体検知ユニット808がうまく作動するには、解凍
デジタル画像805が適正な品質であることが必要である
ことに容易に気がつく。解凍デジタル画像805は、主要
被写体ブリーフ・マップ809に反応する画像圧縮部806に
より低いビット・レートまで再圧縮され、再圧縮デジタ
ル画像807を生成する。好ましい実施例においては、ト
ランスコーダ800により使用される画像圧縮部806は、JP
EG2000エンコーダである。主要被写体ブリーフ・マップ
809に反応する解凍デジタル画像805を再圧縮する方法
は、例えば、Joshiらにより2001年7月3日に出願された
米国特許出願09/898,230に記載されたものと類似してお
り、以前にまとめられている。もし画像または動作順序
圧縮装置806がJPEG、MPEG、そしてH.263のような離散コ
サイン変換に基づく圧縮計画を利用する場合、当業者
は、主要被写体ブリーフ・マップ809が図６に図示され
るそれと類似の方法で圧縮デジタル画像807の各8x8ブロ
ックに対して量子化マトリクス乗数を生成するのに使用
できる。
像717は、データ抽出ユニット801に入力される。データ
抽出ユニット801は、圧縮デジタル画像802と追加情報80
3を強調された圧縮デジタル画像717から抽出する。圧縮
デジタル画像802と追加情報803を独立した様々なファイ
ルまたは場所から抽出することが必要となるかもしれな
い。好ましい実施例においては、追加情報803は、圧縮
形式である。その場合にはデータ抽出ユニット801も追
加解凍ステップを行って追加情報803を抽出する。圧縮
デジタル画像802は、画像解凍部804により解凍され、解
凍デジタル画像805を形成する。追加情報803と解凍デジ
タル画像805は、主要被写体検知ユニット808に入力され
る。主要被写体検知ユニット808は主要被写体ブリーフ
・マップ809を生成する。主要被写体ブリーフ・マップ8
09の計算のために主要被写体検知ユニット808により使
用される方法は、例えば、Luoらにより1998年12月31日
に出願された米国特許No. 6,282,317に記載されたもの
と類似しており、以前にまとめられている。それと異な
っている唯一の点は、主要被写体検知ユニットが解凍デ
ジタル画像805に作用することである。また、追加情報8
03は、以前に説明されたように主要被写体検知ユニット
808による追加の特徴として用いられる。当業者は、主
要被写体検知ユニット808がうまく作動するには、解凍
デジタル画像805が適正な品質であることが必要である
ことに容易に気がつく。解凍デジタル画像805は、主要
被写体ブリーフ・マップ809に反応する画像圧縮部806に
より低いビット・レートまで再圧縮され、再圧縮デジタ
ル画像807を生成する。好ましい実施例においては、ト
ランスコーダ800により使用される画像圧縮部806は、JP
EG2000エンコーダである。主要被写体ブリーフ・マップ
809に反応する解凍デジタル画像805を再圧縮する方法
は、例えば、Joshiらにより2001年7月3日に出願された
米国特許出願09/898,230に記載されたものと類似してお
り、以前にまとめられている。もし画像または動作順序
圧縮装置806がJPEG、MPEG、そしてH.263のような離散コ
サイン変換に基づく圧縮計画を利用する場合、当業者
は、主要被写体ブリーフ・マップ809が図６に図示され
るそれと類似の方法で圧縮デジタル画像807の各8x8ブロ
ックに対して量子化マトリクス乗数を生成するのに使用
できる。
【００７７】図８Ａの低帯域トランスコーダの一部の代
替品が図８Ｂに図示されている。図８Ａのトランスコー
ダ800と図８Ｂのトランスコーダ810の間の主な差は、図
８Ｂのトランスコーダ810では主要被写体ブリーフ・マ
ップが全く計算されないことである。加情報803の一部
または全部は解凍デジタル画像805の様々な領域の圧縮
の量を制御するために画像圧縮部806により使用され
る。このような実施例は、例えばブリーフ・マップ計算
の計算要求事項がトランスコーダ技術能力を超えている
動作結像システムでは好まれる。
替品が図８Ｂに図示されている。図８Ａのトランスコー
ダ800と図８Ｂのトランスコーダ810の間の主な差は、図
８Ｂのトランスコーダ810では主要被写体ブリーフ・マ
ップが全く計算されないことである。加情報803の一部
または全部は解凍デジタル画像805の様々な領域の圧縮
の量を制御するために画像圧縮部806により使用され
る。このような実施例は、例えばブリーフ・マップ計算
の計算要求事項がトランスコーダ技術能力を超えている
動作結像システムでは好まれる。
【００７８】JPEG拡張、MPEGまたはH.263のような離散
型コサイン変換（DCT）コーディングに基づくトランス
コーダのある特定の実施例を図９に図示する。トランス
コーダ900は、図６に示されているものと非常によく似
ている。唯一の差は、空間的適応型量子化のための主要
被写体ブリーフ・マップ403を用いる代わりに追加情報8
03を使用することである。解凍デジタル画像805は、分
割ユニット901により8x8ブロックに分割される。追加情
報803は乗数計算ユニット905に入力され、乗数計算ユニ
ットは追加情報803に基づいて各8x8に対して乗数906を
計算する。好ましい実施例において、追加情報803はデ
プス・マップから構成される。デプス・マップはその画
像のための最大デプスにより分割することにより正規化
される。次に、各8x8について平均正規化されたデプス
値が計算される。
型コサイン変換（DCT）コーディングに基づくトランス
コーダのある特定の実施例を図９に図示する。トランス
コーダ900は、図６に示されているものと非常によく似
ている。唯一の差は、空間的適応型量子化のための主要
被写体ブリーフ・マップ403を用いる代わりに追加情報8
03を使用することである。解凍デジタル画像805は、分
割ユニット901により8x8ブロックに分割される。追加情
報803は乗数計算ユニット905に入力され、乗数計算ユニ
ットは追加情報803に基づいて各8x8に対して乗数906を
計算する。好ましい実施例において、追加情報803はデ
プス・マップから構成される。デプス・マップはその画
像のための最大デプスにより分割することにより正規化
される。次に、各8x8について平均正規化されたデプス
値が計算される。
【００７９】JPEG拡張は、乗数値（線形または非線形）
のための二つの事前指定された表を可能にする。好まし
い実施例においては、線形表が使用される。この線形表
に対して、入力は（1/16）単位で（1/16）から（31/1
6）まで値域が定められる。8x8ブロックに対し正規化さ
れるデプス値の平均が0から1までであるので、好ましい
実施例において、乗数は以下のように決められる。
のための二つの事前指定された表を可能にする。好まし
い実施例においては、線形表が使用される。この線形表
に対して、入力は（1/16）単位で（1/16）から（31/1
6）まで値域が定められる。8x8ブロックに対し正規化さ
れるデプス値の平均が0から1までであるので、好ましい
実施例において、乗数は以下のように決められる。
【００８０】
【数１４】乗数＝[平均x32.0]/16
ここで、平均値とは8x8ブロックに対する平均正規化デ
プス値を表しており、[x]はx以下である最大整数値を表
している。この結果として得られる乗数値は、[1/16, 3
1/16]の範囲までクリップされる。予想される通り、よ
り高い平均デプス値を持つブロックに対する乗数がより
高くなり、結果として更に粗い量子化になる。これは妥
当である、何故なら更に遠くにある物体が視覚的により
重要性が低いと考えられるからである。当業者は、より
高い平均デプス値が更に高い増倍率までマップされる限
り他のマッピングを使用できることに気付くだろう。
プス値を表しており、[x]はx以下である最大整数値を表
している。この結果として得られる乗数値は、[1/16, 3
1/16]の範囲までクリップされる。予想される通り、よ
り高い平均デプス値を持つブロックに対する乗数がより
高くなり、結果として更に粗い量子化になる。これは妥
当である、何故なら更に遠くにある物体が視覚的により
重要性が低いと考えられるからである。当業者は、より
高い平均デプス値が更に高い増倍率までマップされる限
り他のマッピングを使用できることに気付くだろう。
【００８１】DCTユニット902は、二次元離散的コサイン
変換（2-D DCT）を用いて各8x8ブロックを変換して、変
換された8x8ブロック903を形成する。量子化ユニット90
4は適切な量子化マトリクスと乗数計算ユニット905によ
り供給される乗数906を用いてDCT係数を量子化し、量子
化係数907を形成する。次に、エントロピー符号化シン
タックス生成ユニット908は、解凍デジタル画像807を生
成し、画像はJPEG標準までの拡張と一致する。当業者
は、8x8ブロックに対する平均ブリーフ値に基づく量子
化を変動させる同じような取り組みが動作順序を最圧縮
するためのMPEGおよびH.263アルゴリズム・ファミリー
でイントラおよびインターコード化された8x8ブロック
を圧縮するのに用いることができることに気付くだろ
う。
変換（2-D DCT）を用いて各8x8ブロックを変換して、変
換された8x8ブロック903を形成する。量子化ユニット90
4は適切な量子化マトリクスと乗数計算ユニット905によ
り供給される乗数906を用いてDCT係数を量子化し、量子
化係数907を形成する。次に、エントロピー符号化シン
タックス生成ユニット908は、解凍デジタル画像807を生
成し、画像はJPEG標準までの拡張と一致する。当業者
は、8x8ブロックに対する平均ブリーフ値に基づく量子
化を変動させる同じような取り組みが動作順序を最圧縮
するためのMPEGおよびH.263アルゴリズム・ファミリー
でイントラおよびインターコード化された8x8ブロック
を圧縮するのに用いることができることに気付くだろ
う。
【００８２】当業者は、図９に図示されている基本構想
が他の形の追加情報を使用するために修正できることに
更に気付くだろう。例えば、アクティビティマップまた
は視線情報が乗数計算ユニット905により利用可能であ
り、乗数906の計算が特定の追加情報の特性に合わせて
行われるようにできる。
が他の形の追加情報を使用するために修正できることに
更に気付くだろう。例えば、アクティビティマップまた
は視線情報が乗数計算ユニット905により利用可能であ
り、乗数906の計算が特定の追加情報の特性に合わせて
行われるようにできる。
【００８３】本発明は、主要被写体ブリーフ・マップを
生成することがa1）前記デジタル画像から同質の特性を
持つ領域を抽出するステップ、a2）デジタル画像から少
なくとも一つの構造的顕著性特徴と少なくともひとつの
意味的顕著性特性を抽出するステップ、そしてa3）確率
的推理エンジンを用いて少なくとも一つの構造的顕著性
特徴と少なくとも一つの意味的顕著性特性を各領域が主
要被写体であるブリーフの推定値と一体化するステップ
からなる強調された圧縮デジタル画像の生成方法であ
る。
生成することがa1）前記デジタル画像から同質の特性を
持つ領域を抽出するステップ、a2）デジタル画像から少
なくとも一つの構造的顕著性特徴と少なくともひとつの
意味的顕著性特性を抽出するステップ、そしてa3）確率
的推理エンジンを用いて少なくとも一つの構造的顕著性
特徴と少なくとも一つの意味的顕著性特性を各領域が主
要被写体であるブリーフの推定値と一体化するステップ
からなる強調された圧縮デジタル画像の生成方法であ
る。
【００８４】本発明は、主要被写体ブリーフ・マップを
生成することがb）独立した検出部からデータを収集す
るステップでありそのステップでは全てのデータはデジ
タル画像を取り込む際に収集される、そしてc）各領域
が主要被写体であるブリーフの推定値を修正するために
収集されたデータを使用するステップから更に構成され
る強調された圧縮デジタル画像の生成方法である。
生成することがb）独立した検出部からデータを収集す
るステップでありそのステップでは全てのデータはデジ
タル画像を取り込む際に収集される、そしてc）各領域
が主要被写体であるブリーフの推定値を修正するために
収集されたデータを使用するステップから更に構成され
る強調された圧縮デジタル画像の生成方法である。
【００８５】本発明は、a）前記強調された圧縮デジタ
ル画像から追加情報を抽出するステップ、b）前記強調
圧縮デジタル画像から圧縮デジタル画像を抽出するステ
ップ、c）解凍デジタル画像を形成するために前記圧縮
デジタル画像を解凍するステップ、そしてd）目標サイ
ズを超えない再圧縮されたデジタル画像を生成するため
に追加情報に応答する前記解凍デジタル画像を更に圧縮
するステップから更に構成される強調された圧縮デジタ
ル画像の生成方法。
ル画像から追加情報を抽出するステップ、b）前記強調
圧縮デジタル画像から圧縮デジタル画像を抽出するステ
ップ、c）解凍デジタル画像を形成するために前記圧縮
デジタル画像を解凍するステップ、そしてd）目標サイ
ズを超えない再圧縮されたデジタル画像を生成するため
に追加情報に応答する前記解凍デジタル画像を更に圧縮
するステップから更に構成される強調された圧縮デジタ
ル画像の生成方法。
【００８６】本発明は、ステップd）が更にd1）変換係
数のアレイを生成するために前記解凍デジタル画像に空
間―周波数変換を行うステップと、d2）歪み重み計数を
各変換係数のための追加情報から導出するステップ、そ
してd3）目標サイズを超えることがなく、前記歪み重み
係数に反応する画像圧縮システムを用いて再圧縮デジタ
ル画像を生成するステップからなる強調された圧縮デジ
タル画像の生成方法である。
数のアレイを生成するために前記解凍デジタル画像に空
間―周波数変換を行うステップと、d2）歪み重み計数を
各変換係数のための追加情報から導出するステップ、そ
してd3）目標サイズを超えることがなく、前記歪み重み
係数に反応する画像圧縮システムを用いて再圧縮デジタ
ル画像を生成するステップからなる強調された圧縮デジ
タル画像の生成方法である。
【００８７】本発明は、a）前記強調された圧縮デジタ
ル画像から追加情報を抽出するステップ、b）前記強調
圧縮デジタル画像から前記圧縮デジタル画像を抽出する
ステップ、c）解凍デジタル画像を形成するために前記
圧縮デジタル画像を解凍するステップ、d）前記抽出さ
れた追加情報と前記解凍されたデジタル画像から主要被
写体ブリーフ・マップを生成するステップ、そしてe）
目標サイズを超えない再圧縮されたデジタル画像を生成
するために追加情報に応答する前記解凍デジタル画像を
更に圧縮するステップから更に構成される強調された圧
縮デジタル画像の生成方法である。
ル画像から追加情報を抽出するステップ、b）前記強調
圧縮デジタル画像から前記圧縮デジタル画像を抽出する
ステップ、c）解凍デジタル画像を形成するために前記
圧縮デジタル画像を解凍するステップ、d）前記抽出さ
れた追加情報と前記解凍されたデジタル画像から主要被
写体ブリーフ・マップを生成するステップ、そしてe）
目標サイズを超えない再圧縮されたデジタル画像を生成
するために追加情報に応答する前記解凍デジタル画像を
更に圧縮するステップから更に構成される強調された圧
縮デジタル画像の生成方法である。
【００８８】本発明は、ステップe）が更にe1）変換係
数のアレイを生成するために前記解凍デジタル画像に空
間―周波数変換を行うステップと、e2）歪み重み計数を
各変換係数のための前記ブリーフ・マップから導出する
ステップ、そしてe3）目標サイズを超えることがなく、
前記歪み重み係数に反応する画像圧縮システムを用いて
再圧縮デジタル画像を生成するステップからなる強調さ
れた圧縮デジタル画像の生成方法である。
数のアレイを生成するために前記解凍デジタル画像に空
間―周波数変換を行うステップと、e2）歪み重み計数を
各変換係数のための前記ブリーフ・マップから導出する
ステップ、そしてe3）目標サイズを超えることがなく、
前記歪み重み係数に反応する画像圧縮システムを用いて
再圧縮デジタル画像を生成するステップからなる強調さ
れた圧縮デジタル画像の生成方法である。
【００８９】本発明は、a）前記ウェーブレット係数に
より重み付けされる対応する合成基底関数を合計するこ
とにより前記解凍デジタル画像を再構築するために使用
されるウェーブレット計数のアレイを生成するために前
記解凍デジタル画像にウェーブレット分解を行うステッ
プ、b）歪み-重み計数を各変換係数のための前記ブリー
フ・マップから導出するステップ、そしてc）誤差関数
を最小限にするために前記歪み重み係数を用いて前記ウ
ェーブレット係数から目標サイズを超えない再圧縮デジ
タル画像を生成するステップから更に構成される再圧縮
されたデジタル画像を生成するための主要被写体ブリー
フ・マップを用いて解凍デジタル画像を再圧縮する方法
である。
より重み付けされる対応する合成基底関数を合計するこ
とにより前記解凍デジタル画像を再構築するために使用
されるウェーブレット計数のアレイを生成するために前
記解凍デジタル画像にウェーブレット分解を行うステッ
プ、b）歪み-重み計数を各変換係数のための前記ブリー
フ・マップから導出するステップ、そしてc）誤差関数
を最小限にするために前記歪み重み係数を用いて前記ウ
ェーブレット係数から目標サイズを超えない再圧縮デジ
タル画像を生成するステップから更に構成される再圧縮
されたデジタル画像を生成するための主要被写体ブリー
フ・マップを用いて解凍デジタル画像を再圧縮する方法
である。
【００９０】本発明は、ステップb）が更にb1）ウェー
ブレット係数のためにそのウェーブレット係数に対応す
る前記ブリーフ・マップにおいて支援領域を識別するス
テップとb2）前記識別された支援領域においてブリーフ
値を用いて前記ウェーブレット係数のための歪み重み係
数を計算するステップから更に構成される解凍デジタル
画像を再圧縮する方法である。
ブレット係数のためにそのウェーブレット係数に対応す
る前記ブリーフ・マップにおいて支援領域を識別するス
テップとb2）前記識別された支援領域においてブリーフ
値を用いて前記ウェーブレット係数のための歪み重み係
数を計算するステップから更に構成される解凍デジタル
画像を再圧縮する方法である。
【００９１】本発明は、前記再圧縮デジタル画像がJPEG
2000に準拠している解凍デジタル画像を再圧縮する方法
である。
2000に準拠している解凍デジタル画像を再圧縮する方法
である。
【００９２】本発明は、前記誤差関数が前記歪み重み係
数により重み付けされる平均二乗誤差関数である解凍デ
ジタル画像を再圧縮する方法である。
数により重み付けされる平均二乗誤差関数である解凍デ
ジタル画像を再圧縮する方法である。
【００９３】本発明では、前記ウェーブレット係数のた
めに歪み重み係数を計算するb2）ステップが支援領域の
ブリーフ値を平均し平均ブリーフ値の関数として歪み重
み係数を計算することにより実行される解凍デジタル画
像を再圧縮する方法である。
めに歪み重み係数を計算するb2）ステップが支援領域の
ブリーフ値を平均し平均ブリーフ値の関数として歪み重
み係数を計算することにより実行される解凍デジタル画
像を再圧縮する方法である。
【００９４】本発明は、a）各強調された圧縮デジタル
画像から次々に追加情報を抽出するステップ、b）各強
調圧縮デジタル画像から次々に圧縮デジタル画像を抽出
するステップ、c）一連の解凍デジタル画像を形成する
ために各圧縮デジタル画像を解凍するステップ、そして
d）目標サイズを超えない再圧縮された一連のデジタル
画像を生成するために追加情報に応答する各解凍デジタ
ル画像を前記順序から圧縮するステップから更に構成さ
れる強調された圧縮デジタル画像の生成方法である。
画像から次々に追加情報を抽出するステップ、b）各強
調圧縮デジタル画像から次々に圧縮デジタル画像を抽出
するステップ、c）一連の解凍デジタル画像を形成する
ために各圧縮デジタル画像を解凍するステップ、そして
d）目標サイズを超えない再圧縮された一連のデジタル
画像を生成するために追加情報に応答する各解凍デジタ
ル画像を前記順序から圧縮するステップから更に構成さ
れる強調された圧縮デジタル画像の生成方法である。
【００９５】本発明は、連続した各デジタル画像の追加
情報を生成することがb）独立した検出部からデータを
収集するステップでありそのステップでは全てのデータ
は前記デジタル画像を取り込む際に収集されるところの
強調された圧縮デジタル画像の生成方法である。
情報を生成することがb）独立した検出部からデータを
収集するステップでありそのステップでは全てのデータ
は前記デジタル画像を取り込む際に収集されるところの
強調された圧縮デジタル画像の生成方法である。
【００９６】本発明では、a）各強調された圧縮デジタ
ル画像から次々に追加情報を抽出するステップ、b）各
強調圧縮デジタル画像から次々に圧縮デジタル画像を抽
出するステップ、c）一連の解凍デジタル画像を形成す
るために各圧縮デジタル画像を解凍するステップ、d）
各解凍されたデジタル画像と抽出された追加情報から各
デジタル画像のための主要被写体ブリーフ・マップを生
成するステップ、そしてe）目標サイズを超えない再圧
縮された一連のデジタル画像を生成するために主要被写
体ブリーフマップに応答する各解凍デジタル画像をその
順序から圧縮するステップから更に構成される強調され
た圧縮デジタル画像の生成方法である。
ル画像から次々に追加情報を抽出するステップ、b）各
強調圧縮デジタル画像から次々に圧縮デジタル画像を抽
出するステップ、c）一連の解凍デジタル画像を形成す
るために各圧縮デジタル画像を解凍するステップ、d）
各解凍されたデジタル画像と抽出された追加情報から各
デジタル画像のための主要被写体ブリーフ・マップを生
成するステップ、そしてe）目標サイズを超えない再圧
縮された一連のデジタル画像を生成するために主要被写
体ブリーフマップに応答する各解凍デジタル画像をその
順序から圧縮するステップから更に構成される強調され
た圧縮デジタル画像の生成方法である。
【００９７】本発明は、連続した各解凍デジタル画像を
再圧縮するステップe）がa）前記解凍デジタル画像を複
数の領域に分割するステップとb）その領域に対する主
要被写体ブリーフ値の関数としてその領域のそれぞれに
対して量子化パラメータを決定するステップから更に構
成される強調された圧縮デジタル画像の生成方法であ
る。
再圧縮するステップe）がa）前記解凍デジタル画像を複
数の領域に分割するステップとb）その領域に対する主
要被写体ブリーフ値の関数としてその領域のそれぞれに
対して量子化パラメータを決定するステップから更に構
成される強調された圧縮デジタル画像の生成方法であ
る。
【００９８】本発明は、前記領域がマクロブロックであ
り再圧縮デジタル画像がJPEG2000に準拠しているところ
の強調された圧縮デジタル画像の生成方法である。
り再圧縮デジタル画像がJPEG2000に準拠しているところ
の強調された圧縮デジタル画像の生成方法である。
【００９９】本発明は、前記領域がマクロブロックであ
り再圧縮デジタル画像がH.263に準拠している強調され
た圧縮デジタル画像の生成方法である。
り再圧縮デジタル画像がH.263に準拠している強調され
た圧縮デジタル画像の生成方法である。
【０１００】本発明は、量子化パラメータ決定ステップ
b）がその領域の主要被写体ブリーフ値を平均しその平
均ブリーフ値の関数として前記量子化パラメータを計算
することにより実行される強調された圧縮デジタル画像
の生成方法である。
b）がその領域の主要被写体ブリーフ値を平均しその平
均ブリーフ値の関数として前記量子化パラメータを計算
することにより実行される強調された圧縮デジタル画像
の生成方法である。
【０１０１】本発明は、a）圧縮されたデジタル画像を
形成するためのデジタル画像を圧縮するための手段、
b）前記取り込まれたデジタル画像については撮影被写
体の重要性に関連して追加情報とその取り込まれた画像
の対応する背景領域を生成するための手段、c）重み付
けされた追加情報が生成されるように前記取り込まれた
デジタル画像については前記撮影被写体の重要性に関連
して追加情報を重み付けするための手段、そしてd）前
記強調された圧縮デジタル画像を生成するために前記重
み付けされた追加情報と前記圧縮されたデジタル画像と
を結びつけるための手段からなる強調された圧縮デジタ
ル画像の生成方法である。
形成するためのデジタル画像を圧縮するための手段、
b）前記取り込まれたデジタル画像については撮影被写
体の重要性に関連して追加情報とその取り込まれた画像
の対応する背景領域を生成するための手段、c）重み付
けされた追加情報が生成されるように前記取り込まれた
デジタル画像については前記撮影被写体の重要性に関連
して追加情報を重み付けするための手段、そしてd）前
記強調された圧縮デジタル画像を生成するために前記重
み付けされた追加情報と前記圧縮されたデジタル画像と
を結びつけるための手段からなる強調された圧縮デジタ
ル画像の生成方法である。
【０１０２】本発明は、a）前記強調された圧縮デジタ
ル画像から追加情報を抽出するための手段、b）前記強
調され圧縮されたデジタル画像から圧縮されたデジタル
画像を抽出するための手段、c）解凍されたデジタル画
像を形成するために前記圧縮されたデジタル画像を解凍
するための手段、そしてd）ビット・ストリーム目標サ
イズを超えない再圧縮されたデジタル画像を生成するた
めに追加情報に反応する前記解凍デジタル画像を更に圧
縮するための手段からなる強調圧縮デジタル画像をトラ
ンスコードするためのシステムである。
ル画像から追加情報を抽出するための手段、b）前記強
調され圧縮されたデジタル画像から圧縮されたデジタル
画像を抽出するための手段、c）解凍されたデジタル画
像を形成するために前記圧縮されたデジタル画像を解凍
するための手段、そしてd）ビット・ストリーム目標サ
イズを超えない再圧縮されたデジタル画像を生成するた
めに追加情報に反応する前記解凍デジタル画像を更に圧
縮するための手段からなる強調圧縮デジタル画像をトラ
ンスコードするためのシステムである。
【０１０３】
【発明の効果】本発明によれば、デジタル画像データの
撮影被写体およびそれに対応する背景領域の重要度に関
連する追加情報を生成する。これにより、それ以後に行
われる圧縮デジタル画像データのトランスコーディング
を容易にできる。
撮影被写体およびそれに対応する背景領域の重要度に関
連する追加情報を生成する。これにより、それ以後に行
われる圧縮デジタル画像データのトランスコーディング
を容易にできる。
【図１】 先行技術によるデジタル画像取込・処理シス
テムのブロック図である。
テムのブロック図である。
【図２Ａ】 本発明の一つの実施の形態を採り入れたイ
メージ取込装置のブロック図である。
メージ取込装置のブロック図である。
【図２Ｂ】 本発明の別の実施の形態を採り入れたイメ
ージ取込装置のブロック図である。
ージ取込装置のブロック図である。
【図２Ｃ】 本発明の別の実施の形態を採り入れたイメ
ージ取込装置のブロック図である。
ージ取込装置のブロック図である。
【図３】 主要被写体検出ユニットのブロック図であ
る。
る。
【図４】 本発明のトランスコーダの一つの実施の形態
のブロック図である。
のブロック図である。
【図５】 本発明のトランスコーダに用いられるイメー
ジ圧縮回路の一つの実施の形態のブロック図である。
ジ圧縮回路の一つの実施の形態のブロック図である。
【図６】 本発明のトランスコーダに用いられるイメー
ジ圧縮回路の別の実施の形態のブロック図である。
ジ圧縮回路の別の実施の形態のブロック図である。
【図７】 本発明の別の実施の形態を採り入れたイメー
ジ取込装置のブロック図である。
ジ取込装置のブロック図である。
【図８Ａ】 本発明のトランスコーダの別の実施の形態
のブロック図である。
のブロック図である。
【図８Ｂ】 本発明のトランスコーダの別の実施の形態
のブロック図である。
のブロック図である。
【図９】 図８Ｂに示したトランスコーダに用いるイメ
ージ圧縮回路の一つの実施の形態のブロック図である。
ージ圧縮回路の一つの実施の形態のブロック図である。
１００ 先行技術のデジタル画像取込処理システム
１０１ デジタル画像取込装置
１０２ コンピュータ
１０３ ネットワーク
１０４ ローカル・データ記憶装置
１０５ 高解像度カラーモニタ
１０６ ハードコピー出力プリンタ
１０７ キーボード
１０８ マウス
２００ カメラ
２０１ レンズ／絞りアセンブリ
２０２ 画像センサー
２０３ Ａ／Ｄ変換器
２０４ センサー・シグナル加工作業
２０５ デジタル画像データ
２０６ 画像圧縮部
２０７ 圧縮デジタル画像データ
２０８ 主要被写体検知ユニット
２０９ ブリーフ・マップ
２１０ 視線追尾センサー
２１１ 視線追尾アルゴリズム
２１２ 視線情報
２１３ デプス・センサー
２１４ デプス画像アルゴリズム
２１５ デプス・マップ
２１６ ブリーフ・マップ圧縮装置
２１７ 関連づけユニット
２１８ 結合装置
２１９ 拡張された圧縮デジタル画像
２２０ 記憶装置
３０１ 画像細分化ユニット
３０２ 特徴抽出ユニット
３０３ ブリーフ計算
４００ トランスコーダ
４０１ データ抽出ユニット
４０２ 圧縮デジタル画像データ
４０３ 主要被写体ブリーフ・マップ
４０４ 画像解凍部
４０５ 解凍デジタル画像
４０６ 画像圧縮部
４０７ 再圧縮デジタル画像
５００ ＪＰＥＧ２０００画像エンコーダ
５０１ サブバンド分解作業
５０２ サブバンド係数
５０３ コードブロック分割ユニット
５０４ コードブロック
５０５ コードブロック圧縮装置
５０６ 圧縮コードブロック・ビット・ストリーム
５０７ バイトカウント表
５０８ 歪み重み付け計算ユニット
５０９ 歪み重み付け
５１０ ビット割り当て量
５１１ レート制御ユニットとＪＰＥＧ２０００ビット
・ストリーム・オーガナイザ ６００ 変換コーダ ６０１ 分割ユニット ６０２ ＤＣＴユニット ６０３ 変換された８ｘ８ブロック ６０４ 量子化ユニット ６０５ 乗数計算ユニット ６０６ 乗数 ６０７ 量子化係数 ６０８ エントロピー符号化シンタックス生成ユニット ７０１ レンズ／アイリス・アセンブリ ７０２ 画像センサー ７０３ Ａ／Ｄコンバータ ７０４ センサー・シグナル処理 ７０５ デジタル画像データ ７０６ 画像圧縮部 ７０７ 圧縮デジタル画像データ ７０８ 視線追尾センサー ７０９ 視線追尾アルゴリズム ７１０ 視線情報 ７１１ デプス・センサー ７１２ デプス画像アルゴリズム ７１３ デプス・マップ ７１４ 追加情報圧縮装置 ７１５ 追加情報 ７１６ 関連づけユニット ７１７ 強調された圧縮デジタル画像 ７１８ 記憶装置 ７１９ アクティビティ計算ユニット ７２０ アクティビティマップ ８００ 帯域トランスコーダ ８０１ データ抽出ユニット ８０２ 圧縮デジタル画像 ８０３ 追加情報 ８０４ 画像解凍部 ８０５ 解凍デジタル画像 ８０６ 画像圧縮部 ８０７ 再圧縮デジタル画像 ８０８ 主要被写体検知ユニット ８０９ 主要被写体ブリーフ・マップ ８１０ 代替低帯域トランスコーダ ９００ ドット・ベース・トランスコーダ ９０１ 分割ユニット ９０２ ＤＣＴユニット ９０３ 変換された８ｘ８ブロック ９０４ 量子化ユニット ９０５ 乗数計算ユニット ９０６ 乗数 ９０７ 量子化係数 ９０８ エントロピー符号化シンタックス生成ユニット
・ストリーム・オーガナイザ ６００ 変換コーダ ６０１ 分割ユニット ６０２ ＤＣＴユニット ６０３ 変換された８ｘ８ブロック ６０４ 量子化ユニット ６０５ 乗数計算ユニット ６０６ 乗数 ６０７ 量子化係数 ６０８ エントロピー符号化シンタックス生成ユニット ７０１ レンズ／アイリス・アセンブリ ７０２ 画像センサー ７０３ Ａ／Ｄコンバータ ７０４ センサー・シグナル処理 ７０５ デジタル画像データ ７０６ 画像圧縮部 ７０７ 圧縮デジタル画像データ ７０８ 視線追尾センサー ７０９ 視線追尾アルゴリズム ７１０ 視線情報 ７１１ デプス・センサー ７１２ デプス画像アルゴリズム ７１３ デプス・マップ ７１４ 追加情報圧縮装置 ７１５ 追加情報 ７１６ 関連づけユニット ７１７ 強調された圧縮デジタル画像 ７１８ 記憶装置 ７１９ アクティビティ計算ユニット ７２０ アクティビティマップ ８００ 帯域トランスコーダ ８０１ データ抽出ユニット ８０２ 圧縮デジタル画像 ８０３ 追加情報 ８０４ 画像解凍部 ８０５ 解凍デジタル画像 ８０６ 画像圧縮部 ８０７ 再圧縮デジタル画像 ８０８ 主要被写体検知ユニット ８０９ 主要被写体ブリーフ・マップ ８１０ 代替低帯域トランスコーダ ９００ ドット・ベース・トランスコーダ ９０１ 分割ユニット ９０２ ＤＣＴユニット ９０３ 変換された８ｘ８ブロック ９０４ 量子化ユニット ９０５ 乗数計算ユニット ９０６ 乗数 ９０７ 量子化係数 ９０８ エントロピー符号化シンタックス生成ユニット
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 ラジャン・エル・ジョシ
アメリカ合衆国14534ニューヨーク州ピッ
ツフォード、シムズベリー・レイン15番
Ｆターム(参考） 5C022 AA13 AC69
5C053 FA08 GB36 GB37 KA22
5C059 LA01 MA00 MA23 MA41 MA45
MB03 MB29 MC11 ME01 RC12
RC37 SS06 SS11 TA17 TB04
TC34 TD13 UA02 UA15 UA38
Claims (11)
- 【請求項１】 ａ）デジタル画像を取り込むステップ
と、 ｂ）前記デジタル画像の撮影被写体とそれに対応する背
景の領域の重要度に関連する追加情報を生成するステッ
プと、 ｃ）前記デジタル画像を圧縮して、圧縮デジタル画像を
生成するステップと、 ｄ）追加情報を前記圧縮デジタル画像に関連付けて、拡
張圧縮デジタル画像を生成するステップと、 ｅ）前記拡張圧縮デジタル画像をデータ記憶装置へ保存
するステップとを含む、拡張圧縮デジタル画像生成法。 - 【請求項２】 関連付ける前記ステップの前に、ステッ
プ（ｂ）で生成された前記追加情報を更に圧縮して圧縮
追加情報を生成することを特徴とする請求項１に記載の
デジタル画像生成法。 - 【請求項３】 前記追加情報に更に圧縮するステップ
は、ロスレス圧縮法を採用したことを特徴とする請求項
２に記載のデジタル画像生成法。 - 【請求項４】 前記デジタル画像が一連のデジタル動画
の中の一つであることを特徴とする請求項１に記載のデ
ジタル画像生成法。 - 【請求項５】 前記デジタル画像を圧縮するステップ
は、ＪＰＥＧ圧縮法を採用することを特徴とする請求項
１に記載のデジタル画像生成法。 - 【請求項６】 前記デジタル画像を圧縮するステップ
は、ＪＰＥＧ２０００圧縮法を採用することを特徴とす
る請求項１に記載のデジタル画像生成法。 - 【請求項７】 前記追加情報を生成するステップは、個
々の感知素子からデータを収集するステップをさらに含
み、全てのデータを前記デジタル画像の取り込み時に集
めることを特徴とする請求項１に記載のデジタル画像生
成法。 - 【請求項８】 前記追加情報が、前記デジタル画像の被
写体領域と背景領域の重要度に関する連続した一連のブ
リーフ値を含む主要被写体マップであることを特徴とす
る請求項１に記載のデジタル画像生成法。 - 【請求項９】 前記追加情報を生成するステップは、 ａ）前記画像の領域における高周波成分の相対的強度表
現を算出するステップと、 ｂ）前記高周波成分の相対的強度表現を圧縮しエンコー
ドして、圧縮デジタル画像に取り込むステップとを含む
ことを特徴とする請求項１に記載のデジタル画像生成
法。 - 【請求項１０】 前記追加情報を生成するステップは、 ａ）カメラのファインダーに視線追尾センサーを使用し
て、取り込み時の目の動きを追跡するステップと、 ｂ）前記視線追尾センサーに基づいて視線追尾データを
生成するステップと、 ｃ）前記視線追尾データをエンコーディングするステッ
プとを含むことを特徴とする請求項１に記載のデジタル
画像生成法。 - 【請求項１１】 追加情報を生成するステップは、 ａ）デプスセンサーを用いて各フレームのオブジェクト
に関するデプスマップを取り込むステップと、 ｂ）前記デプスセンサーに基づいてデプスデータを生成
するステップと、 ｃ）前記デプスデータをエンコーディングするステップ
とを含むことを特徴とする請求項１に記載のデジタル画
像生成法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/025529 | 2001-12-19 | ||
| US10/025,529 US7106366B2 (en) | 2001-12-19 | 2001-12-19 | Image capture system incorporating metadata to facilitate transcoding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003250132A true JP2003250132A (ja) | 2003-09-05 |
Family
ID=21826607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002368033A Pending JP2003250132A (ja) | 2001-12-19 | 2002-12-19 | メタデータを採り入れてトランスコードを容易にした動画取込システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7106366B2 (ja) |
| EP (1) | EP1345447A3 (ja) |
| JP (1) | JP2003250132A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011508268A (ja) * | 2007-12-27 | 2011-03-10 | クゥアルコム・インコーポレイテッド | デプスマップ生成を伴う方法及び装置 |
| US8363953B2 (en) | 2007-07-20 | 2013-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
Families Citing this family (93)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3854817B2 (ja) * | 2001-04-19 | 2006-12-06 | キヤノン株式会社 | 画像処理装置および画像処理装置の制御方法および記憶媒体 |
| JP2003304492A (ja) * | 2002-02-08 | 2003-10-24 | Canon Inc | 画像処理装置 |
| US7266254B2 (en) * | 2002-02-13 | 2007-09-04 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| US20030206597A1 (en) * | 2002-04-19 | 2003-11-06 | Droplet Technology, Inc. | System, method and computer program product for image and video transcoding |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| FR2844935B1 (fr) * | 2002-09-25 | 2005-01-28 | Canon Kk | Transcodage de donnees numeriques |
| US7483575B2 (en) * | 2002-10-25 | 2009-01-27 | Sony Corporation | Picture encoding apparatus and method, program and recording medium |
| US7206022B2 (en) * | 2002-11-25 | 2007-04-17 | Eastman Kodak Company | Camera system with eye monitoring |
| US20070055462A1 (en) * | 2002-11-29 | 2007-03-08 | Daniel Mulligan | Circuit for use in a multifunction handheld device with wireless host interface |
| US20040104707A1 (en) * | 2002-11-29 | 2004-06-03 | May Marcus W. | Method and apparatus for efficient battery use by a handheld multiple function device |
| US20070078548A1 (en) * | 2002-11-29 | 2007-04-05 | May Daniel M | Circuit for use in multifunction handheld device having a radio receiver |
| US20070052792A1 (en) * | 2002-11-29 | 2007-03-08 | Daniel Mulligan | Circuit for use in cellular telephone with video functionality |
| JP2004214828A (ja) * | 2002-12-27 | 2004-07-29 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理用コンピュータプログラム、及びこの画像処理用コンピュータプログラムを記憶する記憶媒体 |
| US7580578B1 (en) * | 2003-02-03 | 2009-08-25 | Canon Kabushiki Kaisha | Method and device for forming a compressed transcoded digital image signal |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US20050018911A1 (en) * | 2003-07-24 | 2005-01-27 | Eastman Kodak Company | Foveated video coding system and method |
| US20060280364A1 (en) * | 2003-08-07 | 2006-12-14 | Matsushita Electric Industrial Co., Ltd. | Automatic image cropping system and method for use with portable devices equipped with digital cameras |
| JP4443165B2 (ja) * | 2003-08-20 | 2010-03-31 | 株式会社リコー | 画像圧縮装置及び画像圧縮方法 |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
| US20050078747A1 (en) * | 2003-10-14 | 2005-04-14 | Honeywell International Inc. | Multi-stage moving object segmentation |
| US20050129111A1 (en) * | 2003-12-16 | 2005-06-16 | Nokia Corporation | Transform-domain video editing |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US10721405B2 (en) | 2004-03-25 | 2020-07-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
| US8331723B2 (en) * | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| US7512536B2 (en) * | 2004-05-14 | 2009-03-31 | Texas Instruments Incorporated | Efficient filter bank computation for audio coding |
| US20080260275A1 (en) * | 2004-05-17 | 2008-10-23 | Ikuro Ueno | Image Coding Apparatus |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| EP1630744A1 (en) * | 2004-08-26 | 2006-03-01 | Thomson Licensing | Method and apparatus for improved encoding of video signals using additional encoder information items, and corresponding storage medium |
| US20060084039A1 (en) * | 2004-10-19 | 2006-04-20 | Massachusetts Institute Of Technology | Drawing tool for capturing and rendering colors, surface images and movement |
| US7529772B2 (en) * | 2005-09-27 | 2009-05-05 | Scenera Technologies, Llc | Method and system for associating user comments to a scene captured by a digital imaging device |
| US7991230B2 (en) * | 2005-10-14 | 2011-08-02 | Microsoft Corporation | Modeling micro-structure for feature extraction |
| JP4466585B2 (ja) * | 2006-02-21 | 2010-05-26 | セイコーエプソン株式会社 | 対象物が表現された画像の数の算出 |
| US8098295B2 (en) * | 2006-03-06 | 2012-01-17 | Given Imaging Ltd. | In-vivo imaging system device and method with image stream construction using a raw images |
| US8880571B2 (en) * | 2006-05-05 | 2014-11-04 | Microsoft Corporation | High dynamic range data format conversions for digital media |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| US7684331B2 (en) * | 2007-04-16 | 2010-03-23 | Hewlett-Packard Development Company, L.P. | Scheduling packet transmission |
| US9036871B2 (en) | 2007-09-01 | 2015-05-19 | Eyelock, Inc. | Mobility identity platform |
| US9002073B2 (en) | 2007-09-01 | 2015-04-07 | Eyelock, Inc. | Mobile identity platform |
| WO2009029757A1 (en) | 2007-09-01 | 2009-03-05 | Global Rainmakers, Inc. | System and method for iris data acquisition for biometric identification |
| US8212870B2 (en) | 2007-09-01 | 2012-07-03 | Hanna Keith J | Mirror system and method for acquiring biometric data |
| US9117119B2 (en) | 2007-09-01 | 2015-08-25 | Eyelock, Inc. | Mobile identity platform |
| KR101335346B1 (ko) | 2008-02-27 | 2013-12-05 | 소니 컴퓨터 엔터테인먼트 유럽 리미티드 | 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| JP5359302B2 (ja) * | 2008-03-18 | 2013-12-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4656190B2 (ja) * | 2008-06-10 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法 |
| CN102113014A (zh) * | 2008-07-31 | 2011-06-29 | 惠普开发有限公司 | 图像的感知分割 |
| JP4780172B2 (ja) * | 2008-10-10 | 2011-09-28 | ソニー株式会社 | 情報処理装置および方法 |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8923390B2 (en) * | 2009-06-19 | 2014-12-30 | The Hong Kong University Of Science And Technology | Scalar quantization using bit-stealing for video processing |
| BR112013021160B1 (pt) | 2011-02-17 | 2021-06-22 | Eyelock Llc | Método e aparelho para processar imagens adquiridas usando um único sensor de imagens |
| US8615140B2 (en) | 2011-11-18 | 2013-12-24 | Canon Kabushiki Kaisha | Compression of image data in accordance with depth information of pixels |
| US20130195206A1 (en) * | 2012-01-31 | 2013-08-01 | General Instrument Corporation | Video coding using eye tracking maps |
| CN103578098B (zh) * | 2012-08-07 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 在商品图片中提取商品主体的方法和装置 |
| US20150237325A1 (en) * | 2012-08-15 | 2015-08-20 | Industrial Technology Research Institute | Method and apparatus for converting 2d images to 3d images |
| US9984504B2 (en) | 2012-10-01 | 2018-05-29 | Nvidia Corporation | System and method for improving video encoding using content information |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US10237563B2 (en) | 2012-12-11 | 2019-03-19 | Nvidia Corporation | System and method for controlling video encoding using content information |
| GB201301445D0 (en) * | 2013-01-28 | 2013-03-13 | Microsoft Corp | Adapting robustness in video coding |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| KR20140119220A (ko) * | 2013-03-27 | 2014-10-10 | 한국전자통신연구원 | 영상 재압축 제공 장치 및 방법 |
| US10242462B2 (en) * | 2013-04-02 | 2019-03-26 | Nvidia Corporation | Rate control bit allocation for video streaming based on an attention area of a gamer |
| KR20160071242A (ko) * | 2014-12-11 | 2016-06-21 | 삼성전자주식회사 | 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법 |
| US10269257B1 (en) * | 2015-08-11 | 2019-04-23 | Gopro, Inc. | Systems and methods for vehicle guidance |
| CN108696761B (zh) * | 2017-04-08 | 2022-03-04 | 腾讯科技（深圳）有限公司 | 一种图片文件处理方法及其设备、系统 |
| WO2019125191A1 (en) * | 2017-12-18 | 2019-06-27 | Motorola Solutions, Inc | Method and device for generating an augmented image |
| CN109800629B (zh) * | 2018-12-05 | 2023-04-07 | 天津大学 | 一种基于卷积神经网络的遥感图像目标检测方法 |
| CN113272858A (zh) * | 2018-12-18 | 2021-08-17 | 爱克发有限公司 | 将射线照相图像分解为不同类型的子图像的方法 |
| CN110493600B (zh) * | 2019-08-23 | 2023-07-04 | 腾讯科技（深圳）有限公司 | 图像编码方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678332A (ja) * | 1992-08-28 | 1994-03-18 | Sanyo Electric Co Ltd | 画像処理回路 |
| JPH08331561A (ja) * | 1995-03-30 | 1996-12-13 | Canon Inc | 画像処理装置 |
| JPH10308943A (ja) * | 1997-05-08 | 1998-11-17 | Toshiba Corp | 画像処理装置及び画像処理方法 |
| JP2001145101A (ja) * | 1999-11-12 | 2001-05-25 | Mega Chips Corp | 人物画像圧縮装置 |
| JP2001231041A (ja) * | 2000-02-17 | 2001-08-24 | Canon Inc | 画像符号化方法及び装置 |
| JP2001230947A (ja) * | 2000-02-18 | 2001-08-24 | Canon Inc | 画像処理装置およびその処理方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5673355A (en) * | 1990-08-17 | 1997-09-30 | Samsung Electronics Co., Ltd. | Deemphasis & Subsequent reemphasis of high-energy reversed-spectrum components of a folded video signal |
| US5835616A (en) * | 1994-02-18 | 1998-11-10 | University Of Central Florida | Face detection using templates |
| JPH08116490A (ja) * | 1994-10-14 | 1996-05-07 | Olympus Optical Co Ltd | 画像処理装置 |
| US5978514A (en) | 1994-11-10 | 1999-11-02 | Kabushiki Kaisha Toshiba | Image data coding and decoding system for efficiently compressing information using the shape and position of the image content |
| GB9509831D0 (en) * | 1995-05-15 | 1995-07-05 | Gerzon Michael A | Lossless coding method for waveform data |
| JPH09214904A (ja) * | 1996-02-05 | 1997-08-15 | Matsushita Electric Ind Co Ltd | テレビ受信機，及び付加情報送信方法 |
| US5697001A (en) | 1996-04-24 | 1997-12-09 | Eastman Kodak Company | Camera for generating and recording object data with the recorded image |
| JP3037140B2 (ja) * | 1996-06-13 | 2000-04-24 | 日本電気オフィスシステム株式会社 | デジタルカメラ |
| US5913088A (en) | 1996-09-06 | 1999-06-15 | Eastman Kodak Company | Photographic system capable of creating and utilizing applets on photographic film |
| US6650361B1 (en) * | 1997-12-17 | 2003-11-18 | Canon Kabushiki Kaisha | Imaging apparatus control method, and a computer program product having computer program code therefor |
| JP3597780B2 (ja) | 1998-03-20 | 2004-12-08 | ユニヴァーシティ オブ メリーランド | 注目領域に対する有損失／無損失の画像符号化 |
| US6297825B1 (en) * | 1998-04-06 | 2001-10-02 | Synapix, Inc. | Temporal smoothing of scene analysis data for image sequence generation |
| US6721493B1 (en) * | 1998-06-24 | 2004-04-13 | Samsung Electronics Co., Ltd. | Recording medium for storing information for still picture, recording and/or reproducing method and apparatus therefor |
| US6393056B1 (en) * | 1998-07-01 | 2002-05-21 | Texas Instruments Incorporated | Compression of information from one detector as a function of information from another detector |
| US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
| US6704434B1 (en) * | 1999-01-27 | 2004-03-09 | Suzuki Motor Corporation | Vehicle driving information storage apparatus and vehicle driving information storage method |
| US6707950B1 (en) * | 1999-06-22 | 2004-03-16 | Eastman Kodak Company | Method for modification of non-image data in an image processing chain |
| DE69922706T2 (de) | 1999-09-08 | 2005-12-08 | 3Dv Systems Ltd. | 3d- bilderzeugungssystem |
| US6724943B2 (en) * | 2000-02-07 | 2004-04-20 | Sony Corporation | Device and method for image processing |
| EP1128284A2 (en) * | 2000-02-21 | 2001-08-29 | Hewlett-Packard Company, A Delaware Corporation | Associating image and location data |
| KR100776529B1 (ko) | 2000-03-13 | 2007-11-16 | 소니 가부시끼 가이샤 | 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및 장치 |
| US6668093B2 (en) * | 2000-05-05 | 2003-12-23 | Xerox Corporation | Method for improving dictionary-based compression by ordering raster data |
| US20040001155A1 (en) * | 2000-08-16 | 2004-01-01 | Olympus Optical Co., Ltd. | Data recording and reproducing apparatus |
| US7123295B2 (en) * | 2001-08-22 | 2006-10-17 | Hewlett-Packard Development Company, L.P. | Memory management in an image capturing device |
-
2001
- 2001-12-19 US US10/025,529 patent/US7106366B2/en not_active Expired - Lifetime
-
2002
- 2002-12-09 EP EP02080153A patent/EP1345447A3/en not_active Withdrawn
- 2002-12-19 JP JP2002368033A patent/JP2003250132A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678332A (ja) * | 1992-08-28 | 1994-03-18 | Sanyo Electric Co Ltd | 画像処理回路 |
| JPH08331561A (ja) * | 1995-03-30 | 1996-12-13 | Canon Inc | 画像処理装置 |
| JPH10308943A (ja) * | 1997-05-08 | 1998-11-17 | Toshiba Corp | 画像処理装置及び画像処理方法 |
| JP2001145101A (ja) * | 1999-11-12 | 2001-05-25 | Mega Chips Corp | 人物画像圧縮装置 |
| JP2001231041A (ja) * | 2000-02-17 | 2001-08-24 | Canon Inc | 画像符号化方法及び装置 |
| JP2001230947A (ja) * | 2000-02-18 | 2001-08-24 | Canon Inc | 画像処理装置およびその処理方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8363953B2 (en) | 2007-07-20 | 2013-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
| US8532394B2 (en) | 2007-07-20 | 2013-09-10 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
| JP2011508268A (ja) * | 2007-12-27 | 2011-03-10 | クゥアルコム・インコーポレイテッド | デプスマップ生成を伴う方法及び装置 |
| US8233077B2 (en) | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1345447A3 (en) | 2005-02-09 |
| US7106366B2 (en) | 2006-09-12 |
| EP1345447A2 (en) | 2003-09-17 |
| US20030122942A1 (en) | 2003-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003250132A (ja) | メタデータを採り入れてトランスコードを容易にした動画取込システム | |
| US6895121B2 (en) | Method for utilizing subject content analysis for producing a compressed bit stream from a digital image | |
| US6785423B1 (en) | Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions | |
| CN104094589B (zh) | 图像捕捉控制器、图像处理器、控制图像捕捉的方法以及图像处理方法 | |
| US20060045381A1 (en) | Image processing apparatus, shooting apparatus and image display apparatus | |
| KR20120112709A (ko) | 높은 동적 범위의 이미지 생성 및 렌더링 | |
| Dziembowski et al. | IV-PSNR—the objective quality metric for immersive video applications | |
| US8615140B2 (en) | Compression of image data in accordance with depth information of pixels | |
| TWI355843B (en) | Image encoding with dynamic buffer-capacity-level- | |
| JP2004112760A (ja) | 画像記録装置及び画像データ選択方法 | |
| US20080298702A1 (en) | Fixed rate JPEG encoding | |
| JP2006295299A (ja) | デジタル絞りシステム | |
| US20170124682A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer readable storage medium | |
| US20070047646A1 (en) | Image compression apparatus and method | |
| KR101551915B1 (ko) | 영상압축방법 및 영상압축장치 | |
| TWI390959B (zh) | 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 | |
| US20080260029A1 (en) | Statistical methods for prediction weights estimation in video coding | |
| JP2001204030A (ja) | 画像処理装置及び方法と記憶媒体 | |
| Borman et al. | Image sequence processing | |
| EP3497929A1 (en) | Image compression based on semantic relevance | |
| JP4375662B2 (ja) | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 | |
| JP4079315B2 (ja) | ボリュームデータ符号化装置 | |
| JP2022510733A (ja) | 複数の画像全体の圧縮 | |
| Sandy et al. | Analysis of video compression algorithms using DCT, DWT and FFT | |
| EP4415359A1 (en) | Encoding of pre-processed image frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080520 |