JP2006203833A - 可変ピクセルデジタル撮影 - Google Patents

Abstract

【課題】従来のデジタル撮影では、映像の重要度に関わりなく均等に格子状に配列したピクセルを用いてデジタル撮影を行ってきた。限りあるピクセルを有効活用するためには、出願人が先に提案したプログラムにより仮想的にピクセル密度を変更できるバーチャルイメージセンサを用いるとよい。
【解決手段】先に提案したバーチャルイメージセンサの件では、原理的な技術を提案したものの、技術の詳細についてはあまり触れられていなかった。本件ではバーチャルイメージセンサにおける撮影方法、カメラの構成方法、データの圧縮方法、データの配信方法等の詳細について提案する。
【選択図】図１

Description

本件はデジタル撮影技術に関するものである。

従来のデジタル撮影では、映像の重要度に関わりなく均等に格子状に配列したピクセルを用いてデジタル撮影を行ってきた。限りあるピクセルを有効活用するためには、出願人が先に提案したプログラムにより仮想的にピクセル密度を変更できるバーチャルイメージセンサを用いるとよい。

先に提案したバーチャルイメージセンサの件では、原理的な技術を提案したものの、技術の詳細についてはあまり触れられていなかった。

本件ではバーチャルイメージセンサにおける撮影方法、カメラの構成方法、データの圧縮方法、データ配信方法等の技術の詳細について提案する。なお本件は可変ピクセルデジタル撮影に関するものであり、請求項は先に出願したバーチャルイメージセンサを用いたものに限定したものではない。

発明の実施形態

以下、この発明の実施形態について詳細に説明する。

請求項１の詳細
図１に示すようにデジタル撮影時に映像にゆがみを与えることができるミラーやその他のデバイスを用いて映像にゆがみを与えイメージセンサに映像を取り込む。撮影したイメージは、ゆがみ情報を基にデジタル処理により補正した後、画像圧縮を行う方法（図２）、ゆがみ補正せずに圧縮し、ゆがみ情報を別に保持し、復号時にゆがみ修正を行う方法（図３）などが挙げられる。これらの可変ピクセルデジタル技術により図４に示すような、局部的に詳細なピクセル情報を持つイメージデータを得ることができる。なお図１、図４の画像、及び図２、図３のフロー図は請求項を制限するものではない。

請求項２の詳細
ゆがみを修正した後のイメージは図５の右上図のように、連続的にピクセル密度が変化するピクセル情報を持つ。このような密度の異なるピクセル分布を持つイメージは、符号化やその他のデータ処理の際に不都合であるため、図５右下図に示すように、各座標のピクセル密度に配慮して矩形のピクセル情報に量子化し、同じ密度のピクセルはグループ化する。グループ化したブロック内では一定密度の２次元に配列されたＸ^＊Ｘ（Ｘは自然数）のピクセル情報を持つ。必要に応じてブロックが２分木の構造となるように量子化、グループ化する。量子化、グループ化されたピクセル情報をディスプレイに表示するときは、拡大率とオフセットに配慮して、可変ピクセルからイメージの生成に必要なピクセル情報をピックアップし、２次元に配列したイメージを生成する。必要に応じてピクセル情報をピックアップする際には、その周囲のピクセルとの相関性を考慮し、補間や平均化等のデジタル処理により新しいピクセルデータを生成する。なお図５は請求項を制限するものではない。

請求項３の詳細
図６に示すように量子化、グループ化された可変ピクセルを適切な大きさのブロックに再帰的に分割して階層化し、同じ密度のピクセルよりなるブロックまでに分割されたピクセル情報を、圧縮アルゴリズム等を用いて符号化する。適切な大きさに分割する指針としては、量子化、グループ化の際に可変ピクセルが２分木構造で分割されたものであれば、最も大きなブロックサイズを起点として再帰的に分割し、階層化する。なお図６は請求項を制限するものではない。

請求項４の詳細
図７に示すように、可変ピクセル静止画イメージ情報を、ゆがみ修正、量子化、グループ化、階層化、符号化し、階層化情報と符号化イメージ情報を伝送、データ保存する。復号時には、階層化情報と符号化イメージ情報、その他の情報を基に復号する。復号された可変ピクセルのイメージ情報と階層化情報、及び必要に応じてユーザからのコマンド情報を加味してデジタル処理を施し目的の静止画イメージ情報を生成する。なお図７は請求項を制限するものではない。

図８に示すように撮影した後の映像のゆがみを修正せずに、符号化アルゴリズムによりイメージを符号化し、ゆがみ情報と共に伝送、保存する。視聴時には復号化し、ゆがみ情報を基にデジタル処理を施し、必要に応じてユーザからのコマンド情報の加味し、座標変換、可変ピクセルの量子化、グループ化のデジタル処理を施し、目的の静止画イメージ情報を生成する。なお図８は請求項を制限するものではない。

図９に示すように、撮影後にゆがみを修正したイメージを、２次元に配列したピクセル情報になるように、低密度領域のピクセルを分割化する。この際、必要に応じてゆがみ修正後の可変ピクセルデータは請求項２に述べる量子化、グループ化処理を施しておく。低密度領域のピクセルの分割時には周辺のピクセルとの相関性を加味して、補間等を用いて分割処理を施す。ピクセルの分割化により得られた２次元に配列したイメージを符号化する際には、必要に応じて、ゆがみ情報を元に詳細に情報を保持すべき領域の重み付けを行い、圧縮率を制御し、静止画イメージの符号化を施す。必要に応じて符号化イメージと同時に重み付け情報を伝送、保存する。イメージデータの復号時には、復号化イメージ情報の復号化を行い、必要に応じてユーザのコマンド情報と重み付け情報を加味してデジタル処理を施し目的の静止画イメージを生成する。なお図９は請求項を制限するものではない。

図１０に示すように、可変ピクセルのイメージをピクセル密度に差分に配慮して階層化し、ピクセル情報の抽出と符号化のデジタル処理を階層ごとに実施し、伝送、保存する。復号時には、これらの情報を階層ごとに復号化する。なお図１０は請求項を制限するものではない。必要に応じてピクセル情報の階層化前に、可変ピクセル情報のゆがみ修正、量子化、グループ化、階層化のデジタル処理を施す。

請求項５の詳細
図１１に示すように、デジタル撮影後にゆがみ修正され、量子化、グループ化、階層化された可変ピクセル動画イメージ情報の符号化時に、可変ピクセルの階層化情報も加味して相関性を調べ、動画イメージの符号化を施し、符号化動画イメージ情報と階層化情報を伝送、保存する。復号時には階層化情報を加味して復号し、必要に応じてユーザの制御情報を基に目的の動画イメージを生成する。なお図１１は請求項を制限するものではない。

図１２に示すように、デジタル撮影後にゆがみを修正せずに動画イメージの符号化処理を行う。この際に必要に応じてゆがみ情報より領域の重み付けを行い、符号化の際に分割したブロックごとの圧縮率を制御し、符号化動画イメージデータとゆがみ情報を伝送、保存する。復号時には符号化動画イメージ情報を復号した後に、ゆがみ情報と必要に応じてユーザの制御情報を加味してデジタル処理を施し、目的の動画イメージを生成する。なお図１２は請求項を制限するものではない。

図１３に示すように、デジタル撮影後、必要に応じてゆがみ修正、量子化、グループ化処理されたイメージ情報を、２次元に配列した従来方式のピクセル情報になるように、低密度のピクセルを分割する。ピクセルの分割では、必要に応じて周辺のピクセル情報との相関性を加味し、補間等のデジタル処理を施し分割する。次に必要に応じてゆがみ情報を基に領域の重み付け情報行い、動画イメージ情報の符号化処理を行い、必要に応じて重み付け情報を符号化動画イメージ情報と同時に伝送、保存する。復号時にはイメージの復号を行い、必要に応じて重み付け情報やユーザのコマンド情報を加味してデジタル処理を行い、目的の動画イメージを生成する。なお図１３は請求項を制限するものではない。

請求項６の詳細
図１４に示すように、曲面ミラーの回転移動、平行移動、また周辺の光学レンズの平行移動により、高密度のピクセルを割り当てる領域を操作する。図１５に示すように、光学レンズを通過した像の焦点に対して曲面ミラーの位置を変更することで、ピクセル密度分布を制御することができ、焦点と反射面を近づけることでピクセル密度分布が均等な従来方式の撮影を実現する。また図１６に示すように、平面ミラーと曲面ミラーを併用することで、平面ミラー使用時には従来の固定ピクセルのデジタル撮影を行い、曲面ミラー使用時に可変ピクセルデジタル撮影を行う。なお図１４，図１５，図１６は請求項を制限するものではない。

請求項７の詳細
スポーツ中継等において全体的な風景を撮影し、同時に特定の領域が詳細撮影されるように可変ピクセルデジタル撮影を行う。例えば野球中継において外野席よりスタジアム全体を撮影し、同時に内野が拡大されるように映像にゆがみを与え撮影する。これにより視聴者はスタジアム全体を視聴でき、同時にコマンド操作で内野席を高画質にデジタルズームして視聴することができる。詳細に撮影するものが動体である場合には動体を追跡し、詳細に撮影する座標を変更していく。また必要に応じて視聴者側のリクエストの集計データとその他の制御情報により、映像中で領域の重み付けし、可変ピクセルデジタル撮影を行う。また、必要に応じて映像中のＣＭ情報の領域に重み付けし、可変ピクセルデジタル撮影を行う。

請求項８の詳細
表示装置に表示されている可変ピクセルの動画、静止画のイメージの領域を指定し、他の表示装置に転送し、指定した部分の可変ピクセルの動画、静止画のイメージ情報を表示する機能を提供する。また必要に応じて端末側の拡大縮小操作により、不足したデータを再転送し表示する機能を提供する。または必要に応じて、あらかじめ拡大縮小可能なすべてのデータを転送することができる機能を提供する。また必要に応じてこれらの可変ピクセルの動画、静止画のイメージ情報を端末側で録画保存、端末側のコマンド操作により、別の録画再生機器で録画保存する機能を提供する。また複数の可変ピクセルの動画、静止画イメージ情報の同時録画機能の機能を提供する。

請求項９の詳細
複数のカメラにより可変ピクセルデジタル撮影を行い、図１７に示すように得られた複数の可変ピクセルイメージを重ね合わせることで、複数の高密度領域を持つイメージを得る。合成の際には必要に応じて可変ピクセルの量子化処理を施しておく。詳細に撮影すべき複数の目標が動体である場合には、それぞれの動体をカメラが追跡して詳細撮影を行い合成する。また図１８に示すように複数の曲面ミラーを用い、それぞれのミラーが個別に動体を追跡することで複数の動体の詳細撮影を実現する。ミラー間の光学レンズ群は必要に応じて設置する。なお図１７、図１８は請求項を制限するものではない。

請求項１０の詳細
図１９に示すように、磁気ヘッドにより磁気ディスクを磁化することで、磁気ディスクから隔離された磁性流体液面に任意のゆがみを与え、磁性流体液面を反射する映像のゆがみを制御する。なお図１９は請求項を制限するものではない。

請求項１１の詳細
図２０に示すように、ミラー面に液晶を設け液晶の屈折率を制御することで液晶を通過し、ミラー面で反射する光線に任意のゆがみを与える。また透過性の液晶デバイスにおいて、液晶部の屈折率を制御し、映像に任意のゆがみを与える。電極部は液晶を制御するものである。なお図２０は請求項を制限するものではない。

請求項１２の詳細
可変ピクセルの動画、静止画イメージ情報の視聴時に、ユーザが指定した領域を、表示装置に仮想フレーム上に表示する機能を提供する。また必要に応じて、これらの仮想フレームを複数表示する機能を提供する。また、必要に応じて外部からの制御情報により、仮想フレームに表示されている可変ピクセルの動画、静止画のイメージ情報を録画保存する機能を提供する。また複数の仮想フレームを個別に同時録画する機能を提供する。また録画した可変ピクセルの動画、静止画イメージの視聴時に、視点移動や拡大縮小により不足したピクセルデータを、ネットワーク等を介して取得し、目標のイメージを生成する機能を提供する。またあらかじめ視点移動や拡大縮小処理に対応できるように必要なピクセルデータを事前に収集しておく機能を提供する。

請求項１３の詳細
ゆがみを与えずに従来方式のデジタル撮影を行い、映像中の重要度に応じて領域に重み付けを行い、ピクセルを矩形領域で分割し、不要な情報を破棄、または周辺のピクセルデータとの相関性を加味して、平均化や補間のデジタル処理を施しピクセル量を削減し、必要に応じて量子化、グループ化、階層化することで、本件で提案する可変ピクセルと互換性のあるイメージデータを生成する。

請求項１４の詳細
可変ピクセルの静止画、動画イメージ情報を、数段階の拡大縮小表示に必要なピクセル情報に階層化する。また必要に応じて、オフセットにも配慮しデータの階層化する。また必要に応じてレイヤーごとに暗号化を施し、映像の拡大表示、縮小表示の際に制限機能を設ける。必要に応じて階層化されたデータを多層ディスク上の異なるレイヤーに書き込み、視聴時には、イメージの表示に必要なレイヤーのピクセルデータを読み込み、可変ピクセルの静止画、動画イメージを生成する。

請求項１５の詳細
映像中にあるバーコード等のイメージパターンや赤外線、その他の目印により特定の領域を認識し、この領域の重み付けを行い可変ピクセルの静止画、動画イメージデータを生成する。この際に必要に応じて量子化、グループ化、階層化のデジタル処理を施す。

応用例

本件で提案する可変ピクセルによるデジタル撮影の応用例としては、デジタル静止画撮影、デジタル動画撮影、また撮影した可変ピクセルの静止画、動画イメージデータのネットワーク配信が挙げられる。

発明の効果

本件で提案する可変ピクセルデジタル撮影により、限りあるイメージセンサの資源を有効に活用でき、より品質の高いデジタル撮影が実現される。

可変ピクセル撮影の基礎原理の説明図 可変ピクセルデジタル撮影のフロー図 可変ピクセルデジタル撮影のフロー図 固定ピクセルと可変ピクセルの比較図 可変ピクセルの量子化、グループ化の説明図 量子化、グループ化されたピクセルの階層化、符号化の説明図 可変ピクセルの静止画の符号化及び復号のフロー図 可変ピクセルの静止画の符号化及び復号のフロー図 可変ピクセルの静止画の符号化及び復号のフロー図 可変ピクセルの階層化符号化、復号化のフロー図 可変ピクセルの動画の符号化及び復号のフロー図 可変ピクセルの動画の符号化及び復号のフロー図 可変ピクセルの動画の符号化及び復号のフロー図 詳細に撮影する座標を変更するシステムの説明図 可変ピクセルのピクセル分布を制御するシステムの説明図 曲面ミラーと平面ミラーを併用したデジタル撮影方法の概略図 可変ピクセルイメージの合成方法の説明図 複数の曲面ミラーを用いた撮影方法の概略図 磁性流体を用いた曲面ミラーの断面図（上）と上面図（下） 反射型液晶ミラーの斜視図（上）と断面図（下）

Claims (15)

1. デジタル撮影時に、映像にゆがみを与える機能を持つミラーやレンズ、その他のデバイスを用い、映像にゆがみを与えてイメージセンサに取り込み、デジタル処理によりゆがみを修正することで、ピクセル密度の異なるイメージを得る可変ピクセルデジタル撮影方法
2. 可変ピクセルデータを量子化、グループ化し、この際に必要に応じて各グループが縦横それぞれＸ個（Ｘは任意の自然数）ピクセルからなるようにグループ化し、更に２分木構造になるようにグループ化する方法。このイメージをディスプレイ上に表示するときに、拡大率とオフセットに配慮して、必要なピクセルをピックアップして、２次元に配列したイメージ情報を生成するデータ生成方法。ピクセルをピックアップする際に、そのピクセルの周囲の相関性に配慮して補間や平均化のデジタル処理を行い、新しいピクセルデータを生成し、２次元に配列したイメージを生成するデータ生成方法。
3. 量子化、グループ化された可変ピクセルデータを再帰的に適切な大きさのブロックに分割することで階層化し、同じ密度のピクセルのみのブロックにまで分割されたピクセル情報を符号化し、逆に復号時にも階層化に配慮して復号する可変ピクセル静止画、及び可変ピクセル動画の符号化、復号処理方法
4. 可変ピクセルの静止画データの圧縮方法に関連し、ゆがみ修正、量子化、グループ化、符号化等のデジタル処理が施された符号化イメージ情報と、階層化情報を伝送、保存し、復号時には階層化情報を基に符号化イメージ情報の復号を行い、必要に応じてユーザからのコマンド情報も加味してデジタル処理を施すことで目的の静止画イメージを生成する、可変ピクセル静止画データの符号化及び復号方法。撮影時の映像のゆがみを修正せずに静止画イメージの符号化を行い、ゆがみ情報を符号化イメージ情報と同時に伝送、保存し、視聴時にはイメージを復号し、ゆがみ情報と、必要に応じてユーザからのコマンド情報を加味してデジタル処理を施すことで目的の静止画イメージを生成する可変ピクセルの符号化及び復号方法。デジタル撮影後、ゆがみ修正処理を施したイメージ情報を、従来の２次元に配列したピクセルの情報に展開し、必要に応じて領域の重み付けを行い、ピクセル情報の符号化の際に圧縮率を制御することで得られた符号化イメージ情報を伝送、保存し、この際に必要に応じて重み付け情報を同時に伝送、保存し、復号時には、符号化イメージ情報の復号し、必要に応じてユーザのコマンド操作と重み付け情報を加味してデジタル処理を施すことで目的の静止画イメージを生成する可変ピクセルの符号化及び復号方法。可変ピクセルのイメージ情報をピクセル密度に違いに配慮して階層化し、階層ごとに符号化し伝送、保存し、復号時には符号化情報を階層ごとに復号化し原画像を生成する可変ピクセルの階層的符号化及び復号方法
5. 可変ピクセルの動画イメージの圧縮方法に関連し、必要に応じて量子化、グループ化、階層化のデジタル処理を施し、イメージ情報の符号化時に階層化情報の差分を加味して相関性を調べ符号化し、得られた符号化動画イメージ情報と階層化情報を伝送、保存し、復号時には階層化情報を加味して符号化動画イメージを復号し、必要に応じてユーザのコマンド操作を加味してデジタル処理を施すことで目的の動画イメージを生成する可変ピクセル動画情報の符号化及び復号方法。ゆがみ補正をせずに動画イメージの符号化し、この際に必要に応じてゆがみ情報より領域の重み付けを行い、重み付け情報を基に動画イメージの圧縮率を制御して符号化し、得られた符号化動画イメージ情報とゆがみ情報を伝送、保存し、復号時には動画イメージを復号した後に、必要に応じてゆがみ情報やユーザの制御情報を加味してデジタル処理を施すことで目的の動画イメージを生成する可変ピクセル動画の符号化及び復号方法。撮影後、ゆがみが修正されたイメージ情報を、２次元に配列した従来方式のピクセル情報に展開し、必要に応じてゆがみ情報を元に領域の映像の重み付けを行い、これを元に分割された各ブロックの圧縮率を制御して符号化し、必要に応じて重み付け情報を符号化動画イメージと同時に伝送、保存し、復号時に符号化動画イメージ情報の復号を行い、必要に応じて重み付け情報やユーザのコマンド情報を加味してデジタル処理を施すことで目的の可変ピクセル動画イメージを生成する可変ピクセル動画イメージの符号化及び復号方法。
6. 曲面ミラーや映像にゆがみを与えることができるデバイスの回転移動、平行移動、また周辺の光学レンズの平行移動により、可変ピクセルのピクセル密度の分布を制御する技術、焦点を反射面に近づけることで映像のゆがみを抑え、従来方式の均等にピクセルが配列したイメージの撮影を実現するデジタル撮影方法。曲面ミラーと平面ミラーを併用し、可変ピクセルデジタル撮影と固定ピクセルデジタル撮影の双方の機能を持つデジタル撮影方法
7. スポーツ中継等において全体的な風景を撮影し、特定の領域の重み付けを行い、可変ピクセルデジタル撮影により局部的に詳細撮影する撮影方法。映像中の動体を追跡し詳細撮影する可変ピクセルデジタル撮影方法。視聴者側のリクエストとその他の外部制御情報により、詳細に撮影すべき領域を決定し撮影する可変ピクセルデジタル撮影方法。画面中のＣＭ情報を詳細に撮影する可変ピクセルデジタル撮影方法。
8. ディスプレイに表示されている可変ピクセルイメージの領域を指定し、他の表示装置にその箇所のピクセル情報を転送し、指定した領域のイメージを表示するシステム。これらの可変ピクセルのイメージを転送先で録画保存するシステム。別の録画再生機器で録画保存するシステム。
9. 複数のカメラにより可変ピクセルのデジタル撮影を行い、映像を重ね合わせることで、複数の高密度領域を持つイメージを得るデジタル撮影方法。目標が動体である場合には、それぞれのカメラが追跡して詳細撮影を行い後に合成する可変ピクセルデジタル撮影方法。複数の曲面ミラーを用い、それぞれのミラーが個別に動体を追跡することで、複数の動体を追跡し詳細撮影する可変ピクセルデジタル撮影方法
10. 磁気ヘッドにより磁気ディスクを磁化し、磁気ディスクの磁力により磁性流体液面にゆがみを与え、磁性流体液面を反射する映像にゆがみを与える技術
11. 電気信号により液晶の屈折率を制御し、ここを反射、透過する映像にゆがみを与える技術
12. 可変ピクセル撮影されたイメージの特定の領域をディスプレイ上の仮想フレームで表示するシステム。仮想フレームを複数表示するシステム。仮想フレームを他の表示装置に転送するシステム。このイメージを録画保存するシステム。複数のフレームを個別に同時録画するシステム。ネットワーク等を介して録画したデータの視聴時の視点移動や拡大縮小時に不足したデータを介して取得することで目的のイメージを生成するシステム。あらかじめ視点移動や拡大縮小処理に対応できるように必要なデータを事前にダウンロードするシステム
13. 従来の方式でデジタル撮影を行い、重要度に応じて特定の領域のピクセル情報を破棄、または周辺のピクセルとの相関性に配慮して平均化や補間のデジタル処理を施すことでピクセル情報を破棄し、可変ピクセルデジタル撮影された映像と互換性のある可変ピクセルイメージ情報を生成するデジタル画像処理方法
14. 可変ピクセルの静止画、動画イメージ情報を、数段階の拡大縮小表示可能なピクセル情報に階層化し、必要に応じてレイヤーごとに暗号化を施し、映像の拡大表示、縮小表示の際に制限機能を設けるシステム。階層ごとにディスク上の別レイヤーに記録保存する方法
15. 画面中のバーコードや赤外線、その他の目印を元に詳細に撮影する領域を識別し、領域の重み付けを行い可変ピクセルの静止画、動画イメージを得る可変ピクセルデジタル撮影方法。