JP2016500162A - オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体 - Google Patents

オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体 Download PDF

Info

Publication number
JP2016500162A
JP2016500162A JP2015529134A JP2015529134A JP2016500162A JP 2016500162 A JP2016500162 A JP 2016500162A JP 2015529134 A JP2015529134 A JP 2015529134A JP 2015529134 A JP2015529134 A JP 2015529134A JP 2016500162 A JP2016500162 A JP 2016500162A
Authority
JP
Japan
Prior art keywords
point
imaging device
object space
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015529134A
Other languages
English (en)
Other versions
JP6367803B2 (ja
Inventor
ヤニク パヴォル
ヤニク パヴォル
Original Assignee
ベイスター3ディー リミテッド
ベイスター3ディー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイスター3ディー リミテッド, ベイスター3ディー リミテッド filed Critical ベイスター3ディー リミテッド
Publication of JP2016500162A publication Critical patent/JP2016500162A/ja
Application granted granted Critical
Publication of JP6367803B2 publication Critical patent/JP6367803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

オブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法であって、撮影デバイス(3)のグラティキュール(35)上に表示されるオブジェクト空間(1)のオブジェクト(11)の各点(12)について、撮影デバイス(3)からの点の距離(I)に関する情報が登録され、その後、この情報が画像のグラティキュール(35)の各点(36)に追加のデータとして記憶されることを特徴とする、方法。撮影システム(2)が、ソフトウェア・アプリケーションのブロック(5)、および評価ソフトウェアを有するコンピューティングモジュールのブロック(6)を含む、CPU(4)の中央制御装置の入力に結合される少なくとも2つの撮影デバイス(3)からなり、ソフトウェア・アプリケーションのブロック(5)および評価ソフトウェアの計算モジュールのブロック(6)の、CPU(4)との通信はデータバスを介して行われ、CPU(4)の出力は内部メモリおよび/または着脱式メモリのブロック(7)ならびにオンライン出力のブロック(8)の両方に結合されることを趣旨とする、撮影デバイス(3)を包含する、先行する請求項のいずれか一項に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。【選択図】なし

Description

本発明は、オブジェクト空間のオブジェクト点の記述および画像情報の登録のための方法ならびにその実施のための結合体に関する。
人は周囲の世界を見るために眼を使い、人間は眼のおかげでシーンの奥行きに関する情報に基づき空間内を移動することができる。同じシーンの2つの平面状のずらした画像を見たときに人間の脳内で生成される、静止画像の次元的(立体)知覚が、1830年代にサー・チャールズ・ホイートストン(Sir Charles Wheatstone)によってすでに説明されていた。我々は、2次元画像を見たときに奥行き情報をはっきりと識別することができない。片方の眼を使って見る場合には、単眼の現象に基づいて奥行きを知覚することしかできない。3次元(立体)画像を見るには、2つの眼が必要である。両眼視は、両方の眼を使うシーンまたは画像の知覚である。結果として生じる画像は網膜上で反射され、それを脳が次元的外観の知覚に再構成する。立体映像は、次元的画像またはフレームの表示に関係する部門である。ここで、左眼および右眼のために作成される2つのフレームはステレオペアと呼ばれる。立体ビデオ周波数は、一連の連続フレームを見ることである。近年、立体映像は、各種の科学部門、娯楽産業の分野または他所において幅広く応用されている。3次元(立体)イメージングのための視覚化技術が長年利用されていることは周知である。これらのシステムはただ1つの画像を両方の眼のために投影するのではなく、別々の視像の対のうちの一方を各々の眼のために投影しようと試みる。隣同士に表示される2つの画像の立体イメージングが知られている。歴史的には、それが、今日もなお用いられている最も古い方法である。ステレオビューア(いわゆる立体鏡)を用い、眼の径間(約7cm)だけ水平にずらされ、隣同士に配置されたカメラによってキャプチャされた2つの静止画像を、メガネを使って見る。オーディオ技術と同様に、この距離は通常、ステレオベースと呼ばれる。2枚のレンズを有する特殊なカメラがこれらの目的のために製作されていた、および製作されている。デジタルイメージングのおかげで、必要とされるずらし画像は、専用のソフトウェア・アプリケーションを用いてデジタル画像から作成することができる。メガネは、ずらし画像の直接視(この場合には、右眼は右の成分画像を見て、左眼は左の成分画像を見る)または交差視(この場合には、右眼は左の成分画像を見て、左眼は右の成分画像を見る)のどちらかを可能にする。実験により、「交差」視は、視野の拡大および立体的奥行き感の向上を可能にするものであることが明らかになった。特殊なプリズム光学素子を備えるメガネがこのイメージングのために開発されている。この場合には、成分画像も交差させる。原理は可動画像にも有効であり、したがって、それは理論的にはテレビのために適用可能である。ただし、特殊な水平走査が必要になる。成分画像の輝度の寄与が完全に加えられるため、これらのシステムの利点には、結果として生じる画像の十分な輝度がある。多くの場合、成分画像は写真スライドである。これらの3Dイメージング原理のうちの別のものは、2つのずらし画像の重ね合わせ(アナグリフシステム)の立体イメージングである。見られる画像は、この場合も同様に眼の距離だけ水平にずらされ、したがって、異なる角度の下でシーンを投影する2つのカメラによって並行して撮影された2つの成分画像の重ね合わせ(いわゆるアナグリフ)からなる。映画または投影テレビスクリーンにおいて、成分画像は色フィルタ(シアンおよび赤色)を介して描画面上に投影される。視聴者は、対応する色のガラスを有するメガネを使ってスクリーンを見る。この色濾光は、各々の眼が1つの成分画像だけを知覚し、脳が空間知覚を生成することを確実にする。この分離方法は、カラー画像の場合には、結果として生じる仮想画像の色知覚を歪ませる場合がある。このシステムの多くのバージョンが徐々に開発されてきている。それらの1つは、例えば、異なる色の組み合わせ(投影機のフィルタでは黄色−濃青色、およびメガネのフィルタでは琥珀色−濃青色)が用いられるカラーコード3Dシステムである。メガネすら使わずに−無論、次元的知覚を用いずに−アナグリフを見る可能性を目指す、大幅により狭いステレオベースを用いるアナクロム法にも言及するべきである。この方法の不利点は−特別なメガネを使用する必要を除けば−空間知覚(立体感)が現れる画像軸からの観察者の位置からの許容可能な逸脱が小さいことである。今日、デジタル写真の時代では、標準的な2Dデジタル画像からアナグリフを生成するための多くのソフトウェア・アプリケーションが存在する。視聴のための別の方法は、(直交または円偏光を有する)種々の偏光フィルタを装着した3Dメガネである。同様に、この場合には、結果として生じる画像は、ずらしたカメラによって撮影された2つの成分画像の並行した重ね合わせからなる。重ね合わせは、異なる配向または偏光方向を有する偏光フィルタを装着した2台の投影機からの投影によって投影スクリーン上に作り出される。視聴者は、眼によって異なる偏光の対応する偏光フィルタを有するメガネを用いてスクリーンを見る。このいくらかより高価な方法の利点は色知覚の色歪みの低減である。しかし、投影スクリーンは非常に高価である(特殊処理されたシルバー描画面)。なぜなら、それは、入射および反射光束の偏光に変化を与えること(減偏光)が許されないからである。
上述のソリューションの根本的な不利点は、眼から脳によって受け取られる信号の時間不連続の問題である。この時間不連続の理由は、左眼および右眼を通り抜ける信号は時間のずれをもって脳の視覚中枢に到達するという事実である。これは、画像信号の不自然な受け取りに起因する脳の不安定を生じさせる。視覚中枢は不連続な信号を処理しなければならないが、中枢はそのために作られていない。受け取った情報のこの処理の結果としては、てんかんの発作または頭痛が挙げられてよい。代替手段は、遮光を用いた成分画像の連続的立体イメージングである(遮光法)。ずらしたカメラによって撮影された成分画像は連続的にディスプレイ上に表示されるか、または投影スクリーンに投影される。それらのシーケンスは、例えば、半フレームの周期に等しくてもよい。急激な内容変化の画像のシーケンス群の場合の歪みを低減するために、−例えば、100Hzの露出を用いて−交番周期を短くすることができる。同じ理由で、使用されるディスプレイの発光団(特に緑色)または投影スクリーンは、長い残光を見せてはならない。同様に、この場合にも特殊なメガネが必要となる。左眼および右眼の開口は成分画像の交番と同期された仕方で連続的に遮光され、開かれる。必要とされる同期信号は通常、IR放射帯内で放射され、これは視聴空間、および視聴者の数を事実上制限する場合がある。技術的適用性は、例えば、LCD SHシャッタメガネによって提供することができる。このバージョンの場合には、視野角度はより広い。最後に説明した方法の場合には、信号は第1および第2の投影機から並行して放射され、信号間の唯一の相違は、一方の画像は青色成分が遮断され、他方は赤色成分が遮断されることである。人間の眼は緑色(画像情報の最大70%は緑色からなる)に対して最も感受性が高いため、色調が若干変わっただけでも、脳は混乱し、人間は画像を立体画像として知覚する。当然、これは異なる知覚負荷を与えるが、上述の問題(頭痛およびてんかんの発作)は軽減される。説明した方法のうちの最後のものは、視聴者のメガネ機能の制御を必要としない受動的な非同期式の形態で実施することができるであろう。この場合には、成分画像は、異なる偏光方向を有する偏光フィルタを備える2台の投影機によって時系列で投影される。視聴者は、上述の方法と同様に眼によって異なる偏光の対応する偏光フィルタを有するメガネを使用する。本セクションに説明されている全ての3Dシステムに共通の不利点は、特別なメガネの使用を必要とすることである。加えて、参考文献は、非特許文献1を記載している。この論文は、平面格子の構造に結合された三角形フィールドの構造に基づく3Dイメージングのためのプロセスについて説明している。このシステムは、右および左のカメラを用いた取得に基づく。このとき、左および右のカメラから取得した写真は重なり合い、画像領域を相互に定義し、計算することができる箇所では、単一の色の三角形が、各方向の少なくともいくつかの点を用いて定義される。右および左の画像の側方のずれを考慮して、三角形のうちのどれがより高いか、およびより低いかを計算することができるであろう。三角形は仮想的なもので、仮想中心に配置され、空間圧迫システムに依存して折れるコンパクトな領域を生成する。こうすれば、部分的な画像立体感が結果として作り出され得るであろう。この三角格子は、例えば、プレス型内の金属板表面として振る舞い得るため、ある程度の画像の輪郭付けは達成することができるであろう。しかし、リアルなイメージングのために必要とされるほどの高い画像の奥行きダイナミクスを達成することも、精密な点構造を達成することも全くできない。問題は、表面を三角形の領域によって計算し、それらの上または下への圧迫が空間の錯覚を作り出すことである。しかし、それでもなお、これは、視覚的な画像の忠実性を生み出すことはできないさまざまに変形された三角形フィールドを有するコンパクトな格子である。このシステムは、2D画像の輪郭付けのときの三角形フィールドの可能性のデモンストレーションとしてのみ機能することができる。しかし、変形された2D空間を観察する時、人間は3D像を見ることはできず、カラー領域によって作り出され、したがって画像細部のいかなる描写の可能性もない、像面の部分的に輪郭付けされたインプリントしか見ることができないことは重要なことである。完全な奥行きダイナミクスによる画像描写はここでは生じず、現実の次元知覚に比較するとわずか数パーセントである。加えて、輪郭付けされた画像は、圧迫されたカラー領域の三角形構造を有する存在しない中心画像としての三角形フィールドによって作成される。これは、コンピュータゲームにおいてのみ一般的に用いられている技術を利用することの可能性のデモンストレーションである。しかし、この技術はバーチャルリアリティの作成のために構築されている。三角格子のこの手順および計算に基づき、人間の眼に、それは実像を見ていると納得させることができる3−Dイメージング(imagining)を得ることはほとんど不可能である。
Sung−Yeol KimおよびYo−Sung Ho著、「奥行きマップの階層分解を用いた3dビデオのためのメッシュベースの奥行き符号化(Mesh−Based Depth Coding For 3d Video Using Hierarchical Decomposition Of Depth Maps)」、光州科学技術院(Gwangju Institute of Science and Technology、GIST)1 Oryong−dong Buk−gu, 500−712、光州市、韓国
本発明の目的は、追加の光電式補助またはその他の補助の使用を必要とすることなく3Dで機能することを可能にするであろう、オブジェクト空間からの点の記述のための新しい方法の設計である。
撮影デバイスのグラティキュール上に表示される被写体空間の各被写体点について、撮影デバイスからの距離に関する情報が記録され、このように作成された情報が各画像グラティキュール点に追加のデータとして保存されることを趣旨とする、オブジェクト空間からのオブジェクト点の記述の方法によって、上述の不利点は取り除かれ、目的は達成される。
オブジェクト空間内のオブジェクト点の完全な記述のためには、互いから一定の距離を置いて配置された少なくとも2つの撮影デバイスを用いて距離情報「I」が記録されると、有利である。
さらに、オブジェクト空間のオブジェクト点から画像グラティキュール点までの「z」軸方向におけるグラティキュール点からの距離情報「I」が各オブジェクト点について登録されると、有利である。
異なる半透明性レベルの遮光点を包含するオブジェクト空間内のオブジェクトの正確な記述のためには、異なる半透明性レベルの遮光点を包含するオブジェクト空間のオブジェクト点について、撮影デバイスからのそれらの距離「I」に関する情報が記録され、その一方で、遮光点の輝度および色情報が前記レイヤ点の半透明性レベルと併せて同時に記録され、このように生成された情報が画像グラティキュール点に記憶されると、有利である。
異なる半透明性レベルおよび異なる奥行き情報のレイヤ点のいくつかの重なり合った領域を表示する画像のために、撮影デバイスからのこれらの点の他の距離に関する奥行き情報が付与され、同時に、画像点の輝度および色情報がレイヤ内の点の半透明性レベルと併せて記録され、このように生成された情報が各画像に追加のデータとして記憶される。
本発明の拠り所は、任意の既知のコーデックによって符号化された各画像情報に以下の情報が追加されることである:
−撮影デバイスからオブジェクト空間の各フレームまたは画像点(画素)の距離に関する個別または群のどちらかの形態の情報(奥行きインプリント)。
−画像点軸内において、異なる半透明性レベルおよび異なる「I」距離の奥行きインプリント点の背後に隠された遮光点、例えば、不完全に半透明のガラス、霧などの背後のシーン、に関する情報。
−不透明点の縁部の背後の遮光点に関する情報。これは、各不透明点の背後に、内部の輝度および色情報ならびに撮影デバイスからの内部の「I」距離の遮光点が存在する場合があるためである。
このソリューションの利点は、符号化および画像データ転送の既存のシステムとの100%の後方互換性である。本発明に係る登録の方法は、現行のプロフェッショナル技術が、とりわけ、2D画像と同様にこのデータを用いて機能し、2Dでエディットおよび編集を行い、その後、発明者らの設計に基づいて作成された追加のデータからの情報を用いてリアルな3D画像に変換することを可能にする。必要なデータの組み合わせは、放送規格を含む、各画像点の色成分を直接記憶する、適切なコーデック、および輝度および色成分の不均衡な分割、いわゆるクロマサンプリング(最も一般的な変形の4:2:2から、3:1:1HDCAM等の非標準のものを含む、全ての他の変形および組み合わせに及ぶ)を用いる現在の圧縮放送規格のどちらに関しても、問題はない。
クロマサブサンプリングの現在の記録:
4:4:4:4 4:軸Xおよび軸Y上の点の位置
4:点の色情報
4:点の輝度情報
4:画像全域における輝度均一化のための点の輝度情報
4:4:4 4:軸Xおよび軸Y上の点の位置
4:点の色情報
4:点の輝度情報
4:2:2 4:軸Xおよび軸Y上の点の位置
2:点の色情報
2:点の輝度情報
4:2:0 4:軸Xおよび軸Y上の点の位置
2:点の色情報
0:点の輝度情報
4:1:1 4:軸Xおよび軸Y上の点の位置
1:点の色情報
1:点の輝度情報
本発明に係る奥行きインプリントに関する情報に基づき、記録は以下の通りになるであろう:
4:4:4:4+奥行き情報
4:4:4+奥行き情報
4:2:2+奥行き情報
4:2:0+奥行き情報
4:1:1+奥行き情報
4:4:4:4+奥行き情報+4:4+奥行き情報
4:4:4+奥行き情報+4:4+奥行き情報
4:2:2+奥行き情報+2:2+奥行き情報
4:2:0+奥行き情報+2:0+奥行き情報
4:4:4:4+奥行き情報+4:4+奥行き情報+4:4+奥行き情報
4:4:4+奥行き情報+4:4+奥行き情報+4:4+奥行き情報
4:2:2+奥行き情報+2:2+奥行き情報+2:2+奥行き情報
4:2:0+奥行き情報+2:0+奥行き情報+2:0+奥行き情報
このようにまとめられた3D画像フォーマットは主として、プロフェッショナルのカムコーダから消費者市場向けの基本的な携帯電話機、コンピュータおよびタブレットに至る各種のデバイスの出力になるであろうということが有利な点である。
その後、同一のフォーマットが、ビデオ処理のための専用編集アプリケーションまたは静止画像を扱うための対応するグラフィカルソフトウェアにおけるさらなる処理のための入力として用いられてもよく、同時に、それは出力フォーマットにもなるであろう。
同様に、3D画像フォーマットは、この目的に適した3Dイメージングデバイスまたはユニットのための入力フォーマットとして用いられるであろう。
最後に、3D画像フォーマットは、必要に応じて、単純化した形状を効果的に生成することができる、3次元シーンの本格的な記録(例えば、立体写真用の現在の「3次元」投影システムもしくはイメージングデバイスのための2x2Dフォーマット画像、または一般的なイメージングユニットもしくは印刷のための2Dフォーマット画像)を可能にするので、3D画像フォーマットは画像データの記憶およびアーカイブのためにも適している。本方法に係る3Dフォーマット画像は、概して、必要な重複のみを保存するおかげで、データフロー(およびしたがって必要なアーカイブデバイスの容量)に対して効果がある。
本発明に係る方法の利点は、オブジェクト空間の各点について、撮影デバイスからの距離(すなわち奥行き情報)が常に正確に付与されるであろうということである。クロミナンス情報が、100%未満の彩度レベルを有する場所(半透明性が原因となる)の上のオブジェクト点、または撮影デバイスの位置から可視でない点を記述する必要がある場合には、記述は、別の「I」距離ならびに輝度およびクロミナンス情報からなることになる。
オブジェクト空間のオブジェクト点を精密に記述するために、撮影デバイスを包含する、先の方法クレームに係る方法の実施のための結合体が用いられる。この結合体は、撮影システムが、ソフトウェア・アプリケーションのブロック、および評価ソフトウェアを有するコンピューティングモジュールのブロックを含む、CPUの中央制御装置の入力に結合される少なくとも2つの撮影デバイスからなり、ソフトウェア・アプリケーションのブロックおよび評価ソフトウェアの計算モジュールのブロックの、CPUとの通信はデータバスを介して行われ、CPUの出力は内部メモリおよび/または着脱式メモリのブロックならびにオンライン出力のブロックの両方に結合されることを趣旨とする。
オブジェクト空間のオブジェクト点の奥行き情報および一次撮影デバイスのグラティキュール点へのそれらの付与を確実にするためには、撮影デバイスが一次撮影デバイスおよび少なくとも1つの二次撮影デバイスからなると、有利である。
オブジェクト空間内のオブジェクトの記述のためには、二次撮影デバイスが放射線(距離)検出器および放射線放出器からなると、有利である。
オブジェクト空間内のオブジェクトの形状および色の記述のためには、一次撮影デバイスまたは二次撮影デバイスがカムコーダからなると、有利である。
放射線(距離)検出器が、光学素子を装着したCCDまたはCMOSセンサからなり、放射線放出器がレーザからなると、有利である。
最大360°の複数の視点からの色または形状のいずれかに関連する、オブジェクト空間内のオブジェクト点の記述のためには、オブジェクト(オブジェクト空間)の周囲に一定の距離を置いて配置される少なくとも3つの撮影システムが用いられると、有利である。
このように設計された結合体は奥行き情報データの正確な定義および付与を可能にし、オブジェクト空間の奥行き情報を作り出すであろう。これらの結合体内に含まれる撮影システムは、オブジェクト空間の各点について多様な仕方で奥行き情報を獲得し、付与することを可能にし、かくして各2D画像のための完全な奥行き情報を作成する。図面を用いて本発明を説明する。
撮影デバイスの画像グラティキュールの選択された点を示す図である。 「z」座標を用いて表現される、特定のグラティキュール点の「I」距離を示す図である。 撮影デバイスのグラティキュール点、およびオブジェクト空間のオブジェクト点の特定の「I」距離の指示を付与された「z」座標を示す図である。 撮影デバイスのグラティキュール点、およびオブジェクト空間の第1および第2のオブジェクト点の特定の「I」距離の指示を付与された「z」座標を示す図である。 3つの撮影デバイスによって可視のオブジェクト空間のオブジェクト点を示す図である。 2つの撮影デバイスによって可視のオブジェクト空間のオブジェクト点を示す図である。 1つの二次撮影デバイスによって可視のオブジェクト空間のオブジェクト点を示す図である。 一次撮影デバイスによって可視のオブジェクト空間のオブジェクト点を示す図である。 互いに対して120°の間隔を置いて配置された3つの撮影デバイスのシステムによって可視のオブジェクト空間のオブジェクト点を示す図である。 一次撮影デバイスならびに放射線検出器および放出器によって可視のオブジェクト空間のオブジェクト点を示す図である。 2つの撮影デバイスを包含する撮影システムの結合体、および関連サービスブロックを有するCPUの結合体の基本ブロック図を示す。 撮影デバイスは、カムコーダからなる一次撮影デバイス、ならびに放射線放出器および放射線検出器からなる少なくとも1つの二次撮影デバイスである、撮影システムの結合体のブロック図を示す。 撮影デバイスは、カムコーダからなる一次撮影デバイスである、撮影システムの結合体のブロック図を示す。 一次撮影デバイスは、カムコーダからなる一次撮影デバイスであり、二次撮影デバイスはカムコーダならびに放射線放出器および検出器の両方からなる、撮影システムの結合体のブロック図を示す。 一次撮影デバイスおよび二次撮影デバイスは放射線放出器および検出器からなる、撮影システムの結合体のブロック図を概略的に示す。 アプリケーション・ソフトウェアを用いて個々の線上の画像グラティキュールの個々の点の特定情報を付与する一実施形態を示す図である。 3Dコーデックと、3つのコーデック形式のうちのどれが「奥行き情報」との組み合せのために用いられるであろうかに基づくその登録の方法とを示す図である。 互いから一定の距離を置いて配置された3つの撮影デバイスのシステムによって撮影されるオブジェクト空間のオブジェクト点を示す図である。
本発明の諸実施形態を用いて本発明を詳細に説明する。言うまでもなく、これらの例は、本発明の背後にある原理を適用するための示唆的な実施形態である。
本発明に係る方法およびその実施のための結合体の説明の目的のために、ここで、発明者らは、本明細書下文の以下の説明において使用される用語を以下に定義する。
使用する用語の定義。我々は撮影時には2Dで作業し、以下の用語を使用する:
撮影デバイス−イメージセンサを用いてオブジェクト空間を撮影し、その後、オブジェクト空間に関する取得されたデータを、取得されたデータの記憶、処理またはイメージングの目的のために記録するデバイス(本発明の定義内の撮影デバイスによれば、例えば、カメラ、カムコーダ、X線デバイス、放出器および検出器システムならびに/あるいはこの種の同様のデバイスであってもよい)
イメージセンサ−グラティキュール内に配置され、入射光放射線を電気信号に変換する(convers)一連の感光性素子からなる電子部品(例えばCCDチップまたはCMOS)
撮影デバイスグラティキュール−本発明内では、感光性を有するイメージセンサの素子のネットワークである。通例、これらの感光性素子は格子状に配列され、素子によって撮影された値は処理時にはマトリックス内に配列される。
感光性素子−被写体空間の区域に関する画像情報をキャプチャする、イメージセンサの最小撮影単位(最小グラティキュール単位)
オブジェクト空間−撮影デバイスのレンズの前方に位置する空間。撮影されるオブジェクトはオブジェクト空間内に位置する。これらのオブジェクトは互いに重なり合うかもしくは隠し合う場合があるか、またはそれらはさまざまに折れる場合がある。それらは異なる色および半透明性のものである場合がある。各オブジェクトはその色度および半透明性によって特徴付けられる。
オブジェクト空間の区域−感光性を有する撮影デバイスの素子によってキャプチャされる被写体空間の部分
画像/フレーム−画像情報を持つ画像の一群の点による撮影されたオブジェクト空間の表現。
画像点(画素)−感光性を有する撮影デバイスグラティキュールの1つの素子によってキャプチャされるオブジェクト空間の区域を表現する、画像情報(色および輝度)を有する最小画像(フレーム)単位。画像点の数は、感光性を有する撮影デバイス(イメージセンサ)のグラティキュール素子の数に対応する。
我々は3Dへの処理および変換のための以下の用語を追加する:
オブジェクト空間の奥行きインプリント−(現在までに輝度および色情報のみが分かっていた)画像点に付与される、それらによって表現されるオブジェクト空間の区域内のオブジェクトから撮影デバイスのイメージセンサの平面までの「I」距離のセット。これらの距離は、例えば、2つの異なる撮影デバイスから撮影された少なくとも2つの画像の処理時の三角測量によって取得する。各画像に1つだけ距離を付与する。オブジェクト空間の区域が、複数のオブジェクトであって、それらの色度および半透明性によって特徴付けられる、複数のオブジェクトを含み、それらの一部はイメージセンサの視野から完全に覆われているか、またはそれらはより近くのオブジェクトの半透明性のためにのみ部分的な程度に可視である場合には、撮影デバイスのイメージセンサ、またはイメージセンサの平面に最も近いものとして位置する画像点に、オブジェクト空間のこの区域からのオブジェクト距離を付与する。つまり、奥行きインプリントは結果としてオブジェクト空間の外殻を決定する。
奥行きインプリント点−撮影デバイスのイメージセンサ、またはイメージセンサの平面の最も近くに位置するオブジェクト空間の構成部分からのオブジェクトの表現。
遮光点/奥行きインプリント点の遮光点−本発明の意味では、オブジェクト空間の区域内の奥行きインプリント点の背後に位置する、すなわち、撮影デバイスの画像グラティキュールの平面から、撮影デバイスの画像グラティキュールの平面に最も近いものとして位置するオブジェクト空間の構成部分からのオブジェクトの距離を超える距離に位置するオブジェクト空間の構成部分からのオブジェクトの表現。点は、撮影デバイスの画像グラティキュールの平面から、または背後にそれが位置する特定の点(奥行きインプリント点もしくは遮光点)からの「I」距離、輝度および色情報または半透明性によって定義される。これらの点の数は無制限である。
奥行き情報−奥行きインプリント、および遮光点に関する情報の組み合わせによって作成される。それゆえ、奥行き情報は、オブジェクト空間内の個々のオブジェクト、ならびにオブジェクト空間の撮影の瞬間におけるオブジェクト空間内のそれらの配置、色、輝度および半透明性を特定するために必要とされる多くの情報を含む。
3Dコーデック−本発明において、標準コーデック+各画像点についての奥行き情報に関する情報。あるいは、撮影デバイスからの個々の点の「I」距離を定義する「z」軸上の他の点についての奥行き情報に関するデータであって、「z」軸上のそれらの距離「I」、ならびに輝度および色度情報の登録を伴うデータ。
色度情報−本発明において、前記点の色に関する情報
視線−本発明において、Am点とL点あるいはAm点とP点あるいはAm点とS点と交わる線。
概して、本発明に係るオブジェクト空間1のオブジェクト11の点12の記述のための方法は以下のステップに基づく。第1のステップは、オブジェクト空間1内に位置する2Dフォーマットで登録された各オブジェクト11について、互いから一定の距離を置いて配置された少なくとも2つの撮影デバイス3を同じに用いてその点の各々についてその距離に関する奥行き情報を登録することであり、第2のステップは、このように生成された情報を各画像に追加のデータとして記憶することである。オブジェクト空間1、例えば、2Dフォーマットで登録された画像、について上述したように、オブジェクト−オブジェクト空間1からの画像−の個々の点12に関する登録された情報に奥行きインプリントを追加する。
図11に、オブジェクト空間1内に位置するオブジェクト11の個々の点12の撮影である、本発明に係る方法のための結合体の基本的な構成を示す。この構成における結合体は、少なくとも2つの撮影デバイス3を含む撮影システム2を含む。撮影デバイス3は中央処理装置4(以下、「CPU」のみ)の入力に結合される。CPU 4は、放射線放出器34および検出器33の制御用のソフトウェア・アプリケーション51、および撮影デバイス3の制御用のソフトウェア・アプリケーション52、およびグラティキュール35の点36の評価用のソフトウェア・アプリケーション53を含む、ソフトウェア・アプリケーション5のブロックを統合し、加えて、ソフトウェア・アプリケーション61を有する計算モジュール6のブロックも統合される。加えて、CPU 4は、その入力のうちのいくつかが、内部メモリおよび/または着脱式メモリのブロック7に、およびオンライン出力のブロック8に結合される。
撮影システム2とCPU 4との間の通信を以下に説明する。撮影されたデータは、撮影デバイス(system)3から放射線放出器38および検出器39の計算モジュールならびに/あるいは画像プロセッサ37を介してCPU 4の入力にもたらされ、後者は、その内部に包含されたソフトウェア・アプリケーション5のブロック、放射線放出器38および検出器39ならびに/あるいは放射線検出器12との通信用のソフトウェア・アプリケーション51、一次撮影デバイス10および/または二次撮影デバイス11の画像プロセッサ37との通信用のソフトウェア・アプリケーション52、ならびにグラティキュール35の点36の評価用のソフトウェア・アプリケーション53、ならびに3Dコーデックの計算用のソフトウェア・アプリケーション61のための計算モジュール6を介して伝達する。グラティキュール35の点36の評価用のソフトウェア・アプリケーション53を用いて、奥行き情報の数学的計算を遂行し、次に、この距離情報をオブジェクト11の各点12に追加のデータとして保存し、奥行きインプリントを作成する。次に、3Dコーデックの計算用のソフトウェア・アプリケーション61を用いて3Dコーデックを計算し、追加のデータとしてファイルに書き込み、3Dコーデックは、追加のデータを用いて繰り返されるイメージングファイルに用いなければならない。
図13に、本発明に係る、オブジェクト空間1のオブジェクト11、例えば撮影される像、の3D撮影のための撮影システム2の別の可能な結合体を示す。この結合体の目的は、一次撮影デバイス31の角度の外側に位置するが、二次撮影デバイス32によって可視のオブジェクト11の点12の定義を含む奥行き情報を得ることである。この構成における撮影システム2の結合体は3つの撮影デバイス3を包含する。ここで、それらのうちの1つは一次撮影デバイス31、いわゆる中心のものであり、2つは二次撮影デバイス32、いわゆる側方のものである。撮影システム2の撮影デバイス3はこの場合も先と同様にCPU 4の入力に結合される。CPU 4は、撮影デバイス3用のソフトウェア・アプリケーション52、および撮影デバイス3の制御用のソフトウェア・アプリケーション52、およびグラティキュール35の点36の評価用のソフトウェア・アプリケーション53を含む、ソフトウェア・アプリケーション5のブロックを統合し、加えて、ソフトウェア・アプリケーション61を有する計算モジュール6のブロックも統合される。加えて、CPU 4は、その入力のうちのいくつかが、内部メモリおよび/または着脱式メモリのブロック7に、およびオンライン出力のブロック8に結合される。
これは可能な実施形態の1つである。実際には、異なる数の二次撮影デバイス32を用いてもよく、それらは一次撮影デバイス31とともに同じ平面上に単一の軸上に設置する必要はない。しかし、X、YおよびZ座標によって範囲を定められた空間内のそれらの相互位置に関する情報を有する必要がある。さらに、撮影デバイス3の撮影角度「u」、およびオブジェクト空間1内のオブジェクト11を検知する撮影デバイス3の取得角度「u」を知る必要がある。ここで、二次撮影デバイス32を用いて撮影されるオブジェクト空間1上への視方向は一次撮影デバイス31のオブジェクト空間1への視方向と同一であるのか、それとも異なるのか、および異なる場合には、何度およびどの方向に異なるのかを知らなければならない。空間内に位置するオブジェクトの点12の特定および奥行き情報のその後の生成のための手順は同一であることは、全ての条件に妥当する。処理するデータの量は、二次撮影デバイス32の数が異なる場合にのみ、空間内のそれらの配置に依存して変化する。計算原理はここで変わらず、撮影デバイス3の相互位置を修正するいくつかの新しい値および式のみを追加することになる。
撮影システム2は、中心の一次撮影デバイス31からさまざまな距離に配置された1対もしくは2対または複数の二次撮影デバイス32を伴って用いることができる。こうすれば、大幅により奥行きのある視像が獲得され、処理または投影時にはこれを回転させ、エディットしてもよい。オブジェクト空間1のオブジェクト11の点12のイメージングである、一次画像のグラティキュール35の各点36、およびオブジェクト空間1のオブジェクト11の点12のイメージングである、二次画像のグラティキュール35の全ての点36の配置の情報に基づき、算式によって、撮影デバイス3が配置された平面(軸)からの各個々の画像点の距離の計算が可能になるであろう。
図9に、撮影システム2を用いたオブジェクト空間1のオブジェクト11の点12の記述のための別の方法を示す。この場合には、撮影システム2は互いに対して120°の間隔で配置され、(少なくとも3つのシステムを有する)この構成では、オブジェクト空間1内のオブジェクト11の、それらの表面の360°の範囲内の点12を撮影することが可能である。この場合には、我々は、撮影システム2の相互位置およびこれらの撮影システム2の撮影角度「u」を知らなければならない。このように配置された撮影システム2は各々、一次撮影デバイス31からの画像、および奥行き情報を記録する。我々が選択したこれらの撮影システム2のうちの1つを、グループの全ての撮影システム2のうちの一次撮影システム2として定義する。我々が一次撮影システム2として定義したその撮影システムのための一次撮影デバイス31の画像に以下のデータを追加する:撮影システム2のこの集団からの奥行き情報。それは、一次撮影システム2のうちの一次撮影デバイス31からの画像は、最大360°視の複数の点からのオブジェクト空間内のオブジェクト11の点12についての画像データを包含する奥行き情報を有して完成することを意味する。
撮影デバイス3に、ズームを可能にしたレンズを装着する場合には、ズームは、レンズの最長可能焦点距離の、最短のものに対する比率として特徴付けられる。それゆえ、ズームは、いわゆるズームレンズまたは調節自在レンズの焦点距離を調整する能力を有するレンズに基づく。光学ズームは、レンズの移動に基づいてもたらされるレンズの焦点距離の変更である。焦点距離の変更は、撮影デバイスのレンズにおける個々の光学部材の再配置によって達成される。その際には、個々の光学群が、一定の傾度を有する渦線上を動き、それにより、互いに対して移動する。ここでは、ズーム機能のための2つの実施形態が明らかである。一次撮影デバイス31だけにズーム機構を装着している第1の実施形態の場合には、ズーム情報を、点の評価用のソフトウェア・アプリケーション53との通信によってCPU 4に転送する。その一方で、二次撮影デバイス32はそれらの撮影角度「u」を変更させない。ソフトウェア・アプリケーションを用いた数学的処理によって、全ての撮影データは一次撮影デバイス31の焦点距離(ズーム)に整合される。
第2の実施形態の場合には、二次撮影デバイス32にも同様にズーム機構を装着することになる。ズームは光学式(上記参照)またはデジタル式のいずれかであってよい。
図14に、3D撮影のための撮影システム2の構成のための別の実施形態を示す。この実施形態の撮影システム2は、左手および右手側に二次撮影デバイス32を伴う中心の一次撮影デバイス31(例えば、中心レンズを有するカムコーダ、および一次撮影デバイス31の両側に配置されるレンズを有するCCDセンサの対)、ならびに放射線放出器34および検出器33、例えば波動/粒子放出器、を有する二次撮影デバイス32を含む。二次撮影デバイス32内に設置された放射線放出器34および検出器33は、カウンタタクトモードかまたは異なる周波数かのどちらかで動作する。放射線放出器34および検出器33はオブジェクト11の個々の点12の距離を同時に測定する。
オブジェクト11の個々の点12について撮影された距離データを、点の評価用のソフトウェア・アプリケーション53を用いて数学的に処理し、個々の画像点に付与する。この実施形態は「奥行き情報」の計算を改善する。放射線放出器34および検出器33によって追加的に測定される距離が計算のチェックとして用いられ、潜在的な計算誤差を無くす。その後、一次撮影デバイス31の各画像点についての奥行き情報を、点の評価用のソフトウェア・アプリケーション53を用いてコーデック内に登録する。
撮影システム2の構成についての別の実施形態は、放射線放出器34および検出器33、例えば、波動/粒子放出器、への撮影デバイス3の結合である。この撮影システム2は可視画像スペクトル外でも直接用いることができる。図15を参照されたい。これは、可視スペクトル放射線が存在しないか、または色度情報の書き込みを可能にするには放射線が全く弱いが、それにもかかわらず、たとえ色度情報はなくても奥行き情報の生成は必要であろうという条件下で、オブジェクト空間1内のオブジェクト11を撮影する必要があるときの状況である。放射線放出器34および検出器33を装着した1つの撮影デバイス3を一次として用い、放射線放出器34および検出器33を装着した少なくとも2つの撮影デバイス3を二次として用いる場合には、色度、輝度および半透明性データ以外の全てのデータを包含する奥行き情報を生成することができる。
具体的な実施形態は、携帯電話またはタブレットをオブジェクト11の撮影のための撮影デバイス3として使用するオブジェクト空間1のオブジェクト11の撮影のための撮影システム2の構成である、図12参照。撮影システム2は2つの撮影デバイス3からなる。この実施形態における撮影システム2の結合体は撮影デバイス3を2つだけ包含する。それらのうちの1つは、カムコーダからなる一次撮影デバイス31、いわゆる中心であり、2つ目のものは、放射線放出器34および検出器33、例えば波動/粒子放出器、からなる二次撮影デバイス32、いわゆる側方のものである。
それらの中心の軸内のレンズ、または中心を外れたレンズ(後者の場合には、位置の数学的補正も含まれなければならない)の隣の一方の側には、放射線放出器34、例えば掃引レーザ、高出力IRもしくはUVダイオードまたは任意のその他の種類の波動/粒子放出器がある。レンズの他方の側には、放射線放出器34によって放射された放射線反射を撮影するための放射線検出器33がある。ここで、放射線放出器38および検出器39の個々の計算モジュールは出力放射線ビームと入力放射線ビームとの間の時間遅延を計算し、こうして取得した時間遅延情報を、CPU 4においてソフトウェア・アプリケーション51を用いて計算することになり、これに基づき、一次撮影デバイス31によって撮影された2Dシーンまでの距離を付与することになる。このような撮影システム2は携帯電話またはタブレットの一体部分である。このデータは3Dコーデック内に登録することになる。そのおかげで、我々は、携帯電話またはタブレット等のデバイスを用いた、後の処理のための3Dシーンの取得を達成することができるであろう。この実施形態は、1つの一次撮影デバイス31および少なくとも1つの二次撮影デバイス32を使用することは経済的理由のために実現可能でないと思われる非常に安価なハンドカムコーダに適用可能である。
本発明に係るオブジェクト空間1からのオブジェクト11の点12の記述の方法は、例えば、図13に示す撮影システム2の結合体を用いて実施することができる。全ての3つの撮影デバイス3は、ここでは、z軸とαおよびβの角度をはさむ、軸yおよびxによって規定される、同じ平面上に正確に位置する。ここで、角度αおよびβは好ましくはz軸と90°の角度をなす。この場合には、撮影デバイス3は、一次撮影デバイス31、一次撮影デバイス31の左手および右手側に一次撮影デバイス31から等距離の所に位置する2つの二次撮影デバイス32からなる。我々は全ての3つの撮影デバイス3の相互位置が分かっている。撮影デバイス3はオブジェクト空間1を同期して撮影する。この場合には、オブジェクト空間1内のオブジェクト11の3つの画像を取得する。ここで、画像のうちの1つ、いわゆる一次は、一次撮影デバイス31、いわゆる中心のものによって取得し、2つのさらなる画像、いわゆる二次は、左手および右手の二次撮影デバイス32によって取得する。二次画像は参照画像に対してずれている。グラティキュール35の点36を、示している計算手法の数学的手順を用いて数える。ここで、それらのうちの最初のものは、オブジェクト空間1のオブジェクト11の個々の点12までの「I」距離の計算および付与のための計算手法を示す。
Figure 2016500162
上記の図における奥行き情報の計算の説明のために用いている用語および記号を以下に定義する:
Am−撮影されるオブジェクト空間1内の任意の点12。ここで、「m」は任意の整数である
S−撮影デバイス3−この手法においては、そのサイズは無限小(点)として定義する
L−撮影デバイス3−(我々の技術セットにおける少なくとも2つのさらなる撮影デバイスのうちの左手側に位置するもの);この手法においては、そのサイズは無限小(点)として定義する
P−撮影デバイス3−(我々の技術セットにおける少なくとも2つのさらなる撮影デバイスのうちの右手側に位置するもの);この手法においては、そのサイズは無限小(点)として定義する
S、LおよびPはX軸上にある
I−X軸からのAm点の最短距離
−S撮影デバイスの撮影角度、u角度の軸は、S点を通り、同時にX軸と垂直である直線と同一である
−L撮影デバイスの撮影角度、u角度の軸は、L点を通り、同時にX軸と垂直である直線と同一である
−P撮影デバイスの撮影角度、u角度の軸は、P点を通り、同時にX軸と垂直である直線と同一である
−Sを中心とし、rの半径を有する円
−Lを中心とし、rの半径を有する円
−Pを中心とし、rの半径を有する円
d’−我々の手法内の座標系におけるX軸に基づくオブジェクト空間1のデジタルイメージング(その結果は例えば写真となる)の寸法であって、オブジェクト空間はS撮影デバイスによって撮影された、寸法
d’−我々の手法内の座標系におけるX軸に基づくオブジェクト空間1のデジタルイメージング(その結果は例えば写真となる)の寸法であって、オブジェクト空間はL撮影デバイスによって撮影された、寸法
d’−我々の手法内の座標系におけるX軸に基づくオブジェクト空間1のデジタルイメージング(その結果は例えば写真となる)の寸法であって、オブジェクト空間はP撮影デバイスによって撮影された、寸法
A’m−オブジェクト空間1のイメージング内に(例えば写真上に)示されるAm点であって、オブジェクト空間1はS撮影デバイスによって撮影された、Am点
A’m−オブジェクト空間1のイメージング内に(例えば写真上に)示されるAm点であって、オブジェクト空間1はL撮影デバイスによって撮影された、Am点
A’m−オブジェクト空間1のイメージング内に(例えば写真上に)示されるAm点であって、オブジェクト空間1はP撮影デバイスによって撮影された、Am点
−k円の区域。ここで、dの長さはd’と等しく、同時に、端点dはu角度の辺上にあり、同時に、少なくとも1つの内部のd点はS中心およびu角度によって規定される円区域内にある
−k円の区域。ここで、dの長さはd’と等しく、同時に、端点dはu角度の辺上にあり、同時に、少なくとも1つの内部のd点はL中心およびu角度によって規定される円区域内にある
−k円の区域。ここで、dの長さはd’と等しく、同時に、端点dはu角度の辺上にあり、同時に、少なくとも1つの内部のd点はP中心およびu角度によって規定される円区域内にある
Am−d交点ならびにAm点およびS点を通る直線である、点
Am−d交点ならびにAm点およびL点を通る直線である、点
Am−d交点ならびにAm点およびP点を通る直線である、点
−S点とL点との間の距離
−S点とP点との間の距離
u’−X軸と、Am点、Am点およびL点を通る直線とによってはさまれる角度
u’−X軸と、Am点、Am点およびS点を通る直線とによってはさまれる角度
u’−X軸と、Am点、Am点およびP点を通る直線とによってはさまれる角度
「I」距離の計算:
「o」は円の長さとする
「r」は円の半径とする
「pi」はルドルフ数とする
「u」は撮影角度とする
「d」は、(前記円の中心角である)撮影角度の辺によって規定される区域に属する円の区域の長さとする
このとき、以下のことが一般に成り立つ:
o=2 x pi x r
d=(u x pi x r)/180
r=(180 x d)/(u x pi)
および我々の手法の場合:
=(u x pi x r)/180
=(u x pi x r)/180
=(u x pi x r)/180
=d’,d=d’,d=d’
=dSa+dSb,d=dLa+dLb,d=dPa+dPb
=(180 x d)/(u x pi)
=(180 x d)/(u x pi)
=(180 x d)/(u x pi)
u’=((180−u)/2)+((dSa x 180)/(r x pi))
u’=((180−u)/2)+((dSa x 180)/(((180 x d)/(u x pi))x pi))
u’=((180−u)/2)+((dSa x u)/d
u’=((180−u)/2)+((dLa x 180)/(r x pi))
u’=((180−u)/2)+((dLa x 180)/(((180 x d)/(u x pi))x pi))
u’=((180−u)/2)+((dLa x u)/d
u’=((180−u)/2)+((dPa x 180)/(r x pi))
u’=((180−u)/2)+((dPa x 180)/(((180 x d)/(u x pi))x pi))
u’=((180−u)/2)+((dPa x u)/d
l=v/(cotg(u’)+cotg(u’))
または
l=v/(cotg(u’)+cotg(u’))
ここで、それらのうちの2つ目は「u」撮影角度の定義を示す。
Figure 2016500162
本文書では、撮影デバイス3の「u」撮影角度は、軸が、本手法の目的のために点として定義される撮影デバイス3を通る角度であり、同時に、角度軸および角度の辺によって作られる平面は、オブジェクト空間1の撮影区域の投影によって作られる平面と垂直である。さらに、撮影デバイス3がキャプチャすることができる、撮影角度の辺とオブジェクト空間1との交点を通る直線は、撮影デバイス3の水平軸と平行である。
それゆえ、我々は利用可能な3つの画像を有し、それらに基づき、我々はソフトウェア・アプリケーション53を用いて、計算手法によって示される数学的手順を用い、参照中心画像のグラティキュール35の各点36の、二次画像上の配置の知識に基づき、撮影デバイス3が配置された平面(軸)からの、画像上に撮影された、オブジェクト空間のオブジェクト11の各個々の点12の距離を計算することができる。
画像グラティキュール35の個々の線上のグラティキュール35の点36を用いて示される、オブジェクト空間1のオブジェクト11の個々の点12、図5および図18参照、の特定の方法は、この説明の最後におけるブロック図に示すステップのシーケンスによって行われる。
Figure 2016500162
奥行き情報の決定が特定方法の結果になる。
本実施形態の3つの画像は全て、同一の点分解能を有する。すなわち、一次撮影デバイス31のグラティキュール35および二次撮影デバイス32のグラティキュール35は同一である。全ての3つの画像は撮影デバイス3を用いて同時に取得されることになる条件が満たされなければならない。
明らかに、撮影システム2内に配置される個々の撮影デバイス3の異なる光学的特性および物理的特性を考慮すると、個々の画像は、異なる色彩表示、すなわち、異なる色および輝度を有することになる。したがって、「奥行き情報」を決定する際には、一番初めのステップとしてこの不均衡を解消しなければならない。これは、全ての3つの画像の釣り合いのとれた色彩表示を得るために一次撮影デバイス31のICCプロファイルを二次撮影デバイス32のプロファイルに付与することによって達成される。一次撮影デバイス31によって取得された画像は常に色合わせのための参照画像となる。
加えて、グラティキュール35の個々の線および点36によって取得された画像のグラティキュール35を比較する。これによって、比較する画像の個々のグラティキュール線35上の個々の点36が互いに対してどのようにずれているのかが明らかになる。
個々の画像のグラティキュール35の点36の比較は、画像のグラティキュール35の水平および垂直の両方向に遂行することができる。本例に関する本発明に係る上述の手順の説明のために、我々は水平線を計算の記述のためにグラティキュール35の最初の線から最後の線まで下方向に数えることにすると仮定する。
一次撮影デバイス31および二次撮影デバイス32によって各画像を取得する時には、以上に示す計算手法から明らかなように、「u」撮影角度に関する情報も同様に各撮影デバイス3のために登録する。一次撮影デバイス31の場合には、撮影角度は「u」として識別され、それに対して、二次撮影デバイス32の場合には、撮影角度は文字「u」、「u」によって識別される。撮影角度データは、どの数の焦点距離を計算式において用いる必要があるのかを定義する。この情報がCPU 4に読み込まれるとすぐに、点の評価用のソフトウェア・アプリケーション53は、一次撮影デバイス31によって撮影された画像からのグラティキュール35の最初の線の点36に関する情報を用いるであろう。これが参照画像になる。次に、我々は、右および左の二次撮影デバイス32によって取得された画像からのグラティキュール35の最初の線の点36に関する情報を用いるであろう。言うまでもなく、色度情報は標準モードにおいて1670万色を有する。我々はこれらの最初の3本の線上の個々の点36のカラープロファイルを比較するであろう。そして、二次画像のグラティキュール35の次の最初の線内の他の点36と比較するための参照データは、一次撮影デバイス31によって取得された画像のグラティキュール35の最初の線からの点36に関するデータとする。次に、評価用のソフトウェア・アプリケーション53を用いて、これらの3本の線の全ての画像点をCPU 4において比較する。ここで、グラティキュール35の全ての3本の比較される線からの点36の全てのデータは計算時に互いに従属することが重要である。評価用のソフトウェア・アプリケーション53による計算は、右および左の二次撮影デバイス32からのグラティキュール35の最初の線上の同じ色のグラティキュールの点36は、一次撮影デバイス31によって取得された画像のグラティキュール35の最初の線である、グラティキュール35の参照線の点36に関するデータに対してグラティキュール線35上のグラティキュールの点36の何個分右または左にずれているのかを指示する。グラティキュール35の比較される線の点36のずれのこの比較は、線全長に沿って各点ごとに遂行される。次に、我々は、評価用のソフトウェア・アプリケーション53を用いて、一次撮影デバイス31からの参照画像のグラティキュール35の最初の線上の点36についての「z」軸上の距離「I」を計算するであろう。この場合には、二次撮影デバイス32からの画像のグラティキュール35の最初の線の点36を、一次撮影デバイス31の画像上に示される個々の点36の位置の決定のために用いる。このように、我々はグラティキュール35のこれらの点36についての「奥行きインプリント」を計算することができる。
グラティキュール35の個々の点36の奥行き情報の計算のために、我々は、二次撮影デバイス32によって取得した画像上のグラティキュール35の最初の線上の点36について同一の距離の計算を遂行しなければならない。ただし、右の二次デバイス32、次に左の二次デバイス32からの画像の最初の線35のグラティキュール35の点36の距離について計算するという優先順がある。これらの撮影デバイス3は、異なる「u」撮影角度からオブジェクト空間1を撮影するため、左の二次デバイス32の場合には、撮影角度は「u」と識別され、右の二次デバイス32の場合には、撮影角度は「u」と識別される。このように、我々は、一次撮影デバイス31からの画像のための線35のグラティキュール35の点36の背後にある同じ「z」軸上に追加の点12を置くことができる。これらは、「奥行きインプリント」を「遮光点(単数または複数)」で補完する遮光点である。このように、我々は、一次撮影デバイス31の参照画像のためのグラティキュール線35上のグラティキュール35の特定の点36についての「奥行き情報」を得ることができる。上述の方法を用いて、グラティキュール線35上のグラティキュール35の全ての点36を比較し、参照画像のグラティキュール35の全ての線を同様に処理することになる。
グラティキュール縁部35上のグラティキュール35の点36の描画を改善するためには、二次撮影デバイス32のためにより大きなグラティキュール35用いることが有利である。より大きなグラティキュールを二次撮影デバイス31のために用いる場合には、結果として生じる、「奥行き情報」を有する画像のグラティキュール35の縁部上の点36はより良好に描画されることになる。
1つの撮影デバイス3のみによって可視である、参照画像の背後の遮光点12を正確に付与するために、我々は「縁部、領域および不連続の検出」の技術を用いるであろう。これは、ただ1つの撮影デバイス3からの画像上で可視のグラティキュール35の点36の計算のための手順である。図7から明らかな通りの1つの撮影デバイス3によってのみ可視のオブジェクト11の点12、および図8から明らかな通りの一次撮影デバイス31によって可視の点12の計算。
−3つの撮影デバイス3によって可視であるオブジェクト空間1のオブジェクト11の点12の計算、図5参照
−2つの撮影デバイス3によって可視であるオブジェクト空間1のオブジェクト11の点12の計算、図6参照
−1つの撮影デバイス3によって可視であるオブジェクト空間1のオブジェクト11の点12の計算、図7および8参照。
3つの撮影デバイス3によって可視であるオブジェクト空間1のオブジェクト11の点12の計算。この場合には、点12と左および右の中心の撮影デバイス3のグラティキュール35の点36との間の連結が視直線群9を形成する、図5参照。この手順は、「z」軸上の点12の計算を目的とする上述の本文と同一である。
2つの撮影デバイス3によって可視であるオブジェクト空間1のオブジェクト11の点12の計算。この場合には、点12と左および右の中心の撮影デバイス3との間の連結が視直線群9を形成する、図6参照。この手順は、「z」軸上の点12の計算を目的とする上述の本文と同一である。
1つの撮影デバイス3によって可視であるオブジェクト空間1のオブジェクト11の点12の計算。この場合には、点12(=Am)と左または中心の撮影デバイス3との間の連結が、Am点およびL点と交わる視直線9を形成する、図7参照。この視直線9はそれ自体では「z」軸上の点12の「I」距離を直接定義することができない。したがって、手順は以下の通りになる:我々はまず、視直線9上のどの距離「I」において、オブジェクト空間1のオブジェクト11の点12は位置特定できなくなるのかを決定する。このように、我々は、点12(計算手法においてはAm点として識別される)と他の撮影デバイス3のS点およびP点との間の連結を形成する他の視直線9’および9”との交点を見いだし得るであろう、視直線9上に位置する点12の全ての「I」距離を除外するであろう(それは2本または3本の視直線9’および9”上の交点の数学的除外である)。視直線9上の点12の「I」距離の正確な特定は、点12であって、それらの「I」距離をすでに付与されている、点12との比較によって達成され、したがって、それらは少なくとも2つの撮影デバイス3によって可視である。これらの点12は視直線9’および9”上に位置する。Am点およびL点と交わる複数の視直線9上で可視のオブジェクト空間1のオブジェクト11の点12の以前の計算時に、我々はオブジェクトの点12の大半について「I」距離の正確な付与を達成した。Am点およびL点と交わる視直線9上のオブジェクト空間1のオブジェクト11の点12、図7参照、および結合点12(Am)と撮影デバイス3(L)との間の「I」距離の正確な付与はこの時点では定義されない(図7参照)。その時点では、我々は、視直線9上のどこで、Am点およびL点と交わる点12は1つも存在しなくなり得るのかを知るのみである。
さらに、点12、1つの撮影デバイス3によってのみ可視であるいわゆる未分類遮光点、の計算のために、手順を以下に説明する。
取得した画像(参照および二次)のグラティキュール35の比較によって、比較する画像上のグラティキュール35の個々の線上における互いからの個々の点36の実際のずれが明らかになる。以下の手順は、我々がグラティキュール35の画像線上のグラティキュール35の未分類点36に遭遇した場合、すなわち、点の特定の時に、隣接する画像上の点36に関する点の位置を定めることができなかった場合に、適用される。未分類点36に対して、図7によれば、我々は、視直線9上のどの距離「I」において点は位置特定できなくなり、どの「u’」角度の下においてそれは特定されるのかについての情報を追加するのみであり、視直線9上の「I」の位置の正確な定義は、前記オブジェクト11(画像)の全ての点12の計算の完了後にのみなされるであろう。画像計算の最後において、我々は、結果として、2本または3本の視直線9によって定義されるオブジェクト空間1のオブジェクト11の全ての点12までの正確な奥行き情報を有するであろう、図5および6参照。オブジェクト空間1のオブジェクト11の点12の表現である、画像上のグラティキュール35の点36は、1本の視直線9によってのみ記録可能な「I」距離、図7参照、をまだ付与されないまま残ることになる。視直線9が点12に向かう「u’」角度データ、およびどの「I」距離において点12は視直線上で位置特定できなくなるのかの情報を含む、グラティキュール35の線上の点36のロケーションに関する情報を点36に追加する。視直線9上でまだ定義されていない正確な「I」距離を有しない各点12は、以前の計算からすでに「I」距離を付与された点12の系の一部分および連続した成分である。オブジェクト空間1のオブジェクト11の各点12は、画像のいずれかの隣接する部分の一部分である。各点12は、我々が視直線9上で「I」距離を付与する必要がある点12に非常に近接して位置する同一の色かまたは非常によく似た色のどちらかのすでに正確に定義された点12を有するグループの一部分である。視直線9上で「I」距離をまだ付与されていない点(単数または複数)12と密接に隣接するオブジェクト空間1のオブジェクト11の各点12は、オブジェクト空間1のオブジェクト11上でそれらに密接に隣接する点12または点群12と同一の色またはよく似た色のどちらかを有する。これらの色およびそれらの構造は、一般的に用いられる画像解析方法(縁部、領域および不連続の検出)を用いて特定し、解析することができる。これは、我々はこれらの点12を、縁部、領域および不連続性の検出の評価後のオブジェクト空間1のオブジェクト11の点12のグループの後に、視直線9上の正確な「I」距離においてこれらの点12と密接に隣接する他の正確に定義された点12とのそれらの比較に基づいて、正確に定義することができることを意味する。画像のグラティキュール35の点36を用いて示される各点12は画像のグラティキュール35全体の一部分を形成し、然るが故にそれらは定義することができ、視直線9上の「I」距離をそれらに付与することができるであろう。グラティキュール35の計算される点36および画像のための奥行き情報は、ただ1本の視直線9によって定義されるオブジェクト空間1のオブジェクト11の場合の点12が存在するときにも正確に定義されるであろう、図7参照。
この計算の後に、「奥行き情報」を得たフォーマットは完成する。「奥行き情報」データが追加された一次撮影デバイス31の参照画像。これは、オブジェクト空間1のオブジェクト11の点12の正確な定義を有する完全な3D画像である。
このフォーマットは普遍的であり、それはあらゆる画像写真またはビデオコーデックに登録することができるであろう。
本発明に係る以下のコーデックブロック図および図17に示されるイメージコーデックは、標準コーデックへの追加の情報、いわゆる「奥行きインプリント」または「奥行き情報」、の作成および配置の方法を意味する。
3Dコーデックブロック図は、奥行き情報を、2D写真およびビデオフォーマットの登録のために現在用いられている各種のコーデックへのその付与に関してどのように用い得るかを説明する。
Figure 2016500162
2Dコーデックは以下のように分類することができる:
・ユーザストリームをサポートするコーデック
・ユーザストリームをサポートしないコーデック、メタデータサポートを有するファイルシステム
・ユーザストリームをサポートしないコーデック、メタデータサポートを有しないファイルシステム
これは2Dコーデックの基本的な分類である。コーデック形式ごとに奥行き情報は異なる仕方で付与されるであろうことは、上記から明らかである。しかし、最終的には、これらの選択肢は全て、変更された3Dコーデックの完全な読み込みを2つの異なる仕方で可能にするであろう。
1つ目は、3Dコーデックを2D情報として処理し、奥行き情報は全く用いないであろう2Dデバイスを用いた3Dコーデックの読み込みである。この場合には、3Dコーデックの完全な処理を2Dデバイスのみの上で遂行することができ、最終的な編集および配付のためには2Dコーデックまたは3Dコーデックのどちらかを用いるであろう。
2つ目は、3Dコーデックを3D情報として処理し、ここでは奥行き情報を用いる3Dデバイスを用いた3Dコーデックの読み込みおよび処理ならびにそのイメージングである。
3Dコーデックのブロック図および図17に示されるコーデックの全ての3つの形式は以下のように分類することができる:
・ユーザストリームをサポートする3Dコーデック
・ユーザストリームをサポートしない3Dコーデック、メタデータサポートを有するファイルシステム
・ユーザストリームをサポートしない3Dコーデック、メタデータサポートを有しないファイルシステム
上述の3Dコーデックは、本発明に関連する同一のデータを含む。これは、「奥行きインプリント」も同様に包含する奥行き情報である。この奥行き情報は以上に定義されており、それはオブジェクト空間1のオブジェクト11の各点12についての精密なデータファイル(例えば写真、映画等)である。このデータ付与およびコーデック形式(3Dコーデックブロック図および図17)は、我々の類別によれば以下の通りである:
・ユーザストリームをサポートする3Dコーデック−この3Dコーデックの場合には、奥行き情報はメタデータコンテナとして3Dコーデック構造内にエンコードされ、オブジェクト空間1内の2Dフォーマットで登録されたオブジェクト11を含む3Dコーデックの一体部分になる。
・ユーザストリームをサポートしない3Dコーデック、メタデータサポートを有するファイルシステム−この3Dコーデックの場合には、奥行き情報はメタデータコンテナとして3Dコーデック構造内にエンコードされるが、メタデータ、およびオブジェクト空間1内の2Dフォーマットで登録されたオブジェクト11は別個に登録されるであろう。この場合には、それは3Dコーデックの一体部分をなす。
・ユーザストリームをサポートしない3Dコーデック、メタデータサポートを有しないファイルシステム−この3Dコーデックの場合には、奥行き情報はデータコンテナとして元の2Dコーデックと一緒に登録される。この場合には、奥行き情報は3Dコーデックの独立部分をなす。元の2Dコーデックと奥行き情報とのの組み合わせは、個々の画像のためのタイムラインを介して行われる。これらの2つの成分が、3Dコーデック、元の2Dコーデック+奥行き情報を有するデータコンテナ、を形成する。
本発明に係るオブジェクト空間1からのオブジェクト11の点12の記述の方法は、例えば、図12に示す撮影システム2の結合体を用いて実施することができる。この場合には、携帯電話またはタブレットにオブジェクト11の撮影のためのこの撮影システム2を装着する。撮影システム2は2つの撮影デバイス3からなる。この実施形態における撮影システム2の結合体は撮影デバイス3を2つだけ包含する。それらのうちの1つは、カムコーダからなる一次撮影デバイス31、いわゆる中心であり、2つ目のものは、放射線放出器34および検出器33、例えば波動/粒子放出器からなる二次撮影デバイス32、いわゆる側方のものである。この場合には、奥行き情報の計算のための情報が欠けており、したがって、我々はこの撮影方法のための奥行きインプリントを有することができるのみであろう。オブジェクト空間1内に位置するオブジェクト11の各点12についての「I」距離情報の受け取り、およびグラティキュール35の点36とのその後の結合のための手順が、一次および二次撮影デバイス3を含む、図10に係る奥行き情報の計算のためのブロック図に説明されている。この場合には、一次撮影デバイス3は中心カムコーダ31であり、二次撮影デバイス3は放射線放出器34および検出器33からなる。
画像グラティキュール35の個々の線上のグラティキュール35の点36、図5参照、を用いて示される、オブジェクト空間1の撮影区域の個々の点12を特定する方法は、ブロック図(一次撮影デバイス31、ならびに放射線放出器34および検出器33からなる二次撮影デバイス32からなる撮影システム2のための奥行き情報を計算するためのブロック図)に示されるステップのシーケンスを用いて行う。この結果もたらされる特定方法は奥行き情報の決定である。一次撮影デバイス31は画像または一連の画像群を生成する。二次撮影デバイス3を、放射線(波動/粒子)を送出する放射線放出器34を利用した「I」距離の測定のために用い、オブジェクト11の撮影される点12からの反射、および放射線検出器33による反射された放射線のその後の検出の後に、放射線の送出と検出との間の時間遅延を計算する。放射された放射線と放射線検出との間の時間差を用いて、撮影される実物の各個々の点について「z」軸上の「I」距離を計算する。オブジェクト11の各点12を1点1点このように進み、「z」軸上のこれらの点12についてのこの「I」距離情報を整列させ、この距離情報を奥行き情報として追加のデータとして、一次撮影デバイス31によって取得された画像に付与する。メイン撮影デバイスのグラティキュール35上の画像の撮影および二次撮影デバイス32のうちの放出器34からの放射線の撮影はどちらも、同じグラティキュール35において、撮影デバイス31に関して同一の「u」角度の下で行われるため、このデータは組み合わせることができる。好ましくは以下の構造的手法を計算のために用いる。一次撮影デバイス31は中心に位置する。二次撮影デバイス32は、一次撮影デバイス31から一方の側にある距離を置いて配置される放射線検出器33、および一次撮影デバイス31から他方の側にある距離を置いて配置される放射線放出器34からなり、一次撮影デバイス31、および一次撮影デバイス31を含む単一の軸上の平面から同じ距離にある。この種の配置の場合には、放射線検出器33の検出後に数学的な時間測定の補正は必要ない。
Figure 2016500162
一次撮影デバイス31、ならびに放射線放出器34および検出器33からなる二次撮影デバイス32を用いた奥行き情報の計算のためのブロック図。
このフォーマットは、任意のイメージ(写真またはビデオ)コーデックに登録するために十分普遍性がある。(3Dブロック図および図17参照。)
オブジェクト空間からのオブジェクト点の記述の方法は、画像情報の撮影、処理、およびイメージングが行われる場合に、適用可能である。それは、カメラ、カムコーダ、およびスキャナ等の画像情報の撮影、処理、およびイメージングを用いて機能する全てのデバイスと組み合わせて適用可能である。
1 オブジェクト空間
11 オブジェクト空間内のオブジェクト
12 オブジェクト点
2 撮影システム
3 撮影デバイス
31 一次撮影デバイス
32 二次撮影デバイス
33 放射線検出器
34 放射線放出器
35 グラティキュール
36 グラティキュールの点
37 撮影デバイスの画像プロセッサ
38 放出器の計算モジュール
39 検出器の計算モジュール
4 中央処理装置
41 撮影デバイスの中央処理装置
5 ソフトウェア・アプリケーションのブロック
51 放射線放出器および検出器制御用のソフトウェア・アプリケーション
52 撮影デバイス制御用のソフトウェア・アプリケーション
53 点の評価用のソフトウェア・アプリケーション
6 ソナー・アプリケーションを有する計算モジュール
7 メモリを有するデータモジュール
8 オンライン出力のブロック
81 デジタル出力
82 独立した奥行き情報
83 アナログ出力
9 視直線

Claims (10)

  1. オブジェクト空間(1)からのオブジェクト(11)の点(12)の記述方法であって、撮影デバイス(3)のグラティキュール(35)上に表示される前記オブジェクト空間(1)の前記オブジェクト(11)の各点(12)について、前記撮影デバイス(3)からの前記点の距離(I)に関する情報が登録され、その後、この情報が画像の前記グラティキュール(35)の各点(36)に追加のデータとして記憶されることを特徴とする、方法。
  2. 距離情報(I)は、互いからある距離を置いて配置された少なくとも2つの撮影デバイス(3)を用いて登録されることを特徴とする、請求項1に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法。
  3. 前記オブジェクト(11)の各点(12)について、前記オブジェクト空間(1)の前記オブジェクト(11)の前記点(12)から前記画像の前記グラティキュール(35)の前記点(36)までの、Z軸方向の前記グラティキュール(36)の前記点(36)からの前記点の距離(I)に関する情報が記録されることを特徴とする、請求項1または2に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法。
  4. 異なる半透明性レベルの遮光点を包含する前記オブジェクト空間(1)の前記オブジェクト(11)のために、前記撮影デバイス(3)からの前記点の距離(I)に関する情報が登録され、一方でそれと同時に前記オブジェクト(11)の遮光点の輝度および色度情報をそのレイヤ点(12)の前記半透明性レベルと一緒に登録し、このように生成された情報が前記画像の前記グラティキュール(35)の前記点(36)に記憶されることを特徴とする、請求項1〜3のいずれか一項に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法。
  5. 撮影システム(2)は、ソフトウェア・アプリケーションのブロック(5)、および評価ソフトウェアを有するコンピューティングモジュールのブロック(6)を含む、CPU(4)の中央制御装置の入力に結合される少なくとも2つの撮影デバイス(3)からなり、ソフトウェア・アプリケーションの前記ブロック(5)および前記評価ソフトウェアの計算モジュールの前記ブロック(6)の、CPU(4)との通信はデータバスを介して行われ、前記CPU(4)の出力は内部メモリおよび/または着脱式メモリのブロック(7)ならびにオンライン出力のブロック(8)の両方に結合されることを特徴とする、前記撮影デバイス(3)を包含する、請求項1〜4のいずれか一項に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。
  6. 前記撮影デバイス(3)は、一次撮影デバイス(31)および少なくとも1つの二次撮影デバイス(32)からなることを特徴とする、請求項5に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。
  7. 前記二次撮影デバイス(32)は、放射線検出器(33)および放射線放出器(34)からなることを特徴とする、請求項6に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。
  8. 前記一次撮影デバイス(31)または前記二次撮影デバイス(32)は、カムコーダからなることを特徴とする、請求項6に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。
  9. 前記放射線検出器(33)は、光学素子を装着したCCDまたはCMOSセンサからなり、前記放射線放出器(34)は、レーザからなることを特徴とする、請求項7に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。
  10. 少なくとも3つの撮影システム(2)は、前記オブジェクト(11)の周囲にある距離を置いて配置されることを特徴とする、請求項5に記載のオブジェクト空間(1)からのオブジェクト(11)の点(12)の記述の方法の実施のための結合体。
JP2015529134A 2012-08-29 2013-05-13 オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体 Expired - Fee Related JP6367803B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CZ2012-586A CZ308335B6 (cs) 2012-08-29 2012-08-29 Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
CZPV2012-586 2012-08-29
PCT/IB2013/000913 WO2014033511A1 (en) 2012-08-29 2013-05-13 Method for description of object points of the object space and connection for its implementation

Publications (2)

Publication Number Publication Date
JP2016500162A true JP2016500162A (ja) 2016-01-07
JP6367803B2 JP6367803B2 (ja) 2018-08-01

Family

ID=50182593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015529134A Expired - Fee Related JP6367803B2 (ja) 2012-08-29 2013-05-13 オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体

Country Status (11)

Country Link
US (1) US9918070B2 (ja)
EP (1) EP2904586A4 (ja)
JP (1) JP6367803B2 (ja)
KR (1) KR102112491B1 (ja)
CN (1) CN104584075B (ja)
AU (1) AU2013308155B2 (ja)
CA (1) CA2881037C (ja)
CZ (1) CZ308335B6 (ja)
EA (1) EA033516B1 (ja)
IN (1) IN2015DN01209A (ja)
WO (1) WO2014033511A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979930B2 (en) * 2015-12-03 2018-05-22 Beijing Pico Technology Co., Ltd. Head-wearable apparatus, 3D video call system and method for implementing 3D video call
US11683450B2 (en) * 2020-06-04 2023-06-20 FLIR Unmanned Aerial Systems AS Shutter and light signal synchronization systems and methods
US20230209035A1 (en) * 2021-12-28 2023-06-29 Faro Technologies, Inc. Artificial panorama image production and in-painting for occluded areas in images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028727A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
WO2010126612A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Reference picture lists for 3dv
WO2011039679A1 (en) * 2009-10-02 2011-04-07 Koninklijke Philips Electronics N.V. Selecting viewpoints for generating additional views in 3d video
JP2011528882A (ja) * 2008-07-21 2011-11-24 トムソン ライセンシング 3dビデオ信号の符号化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US20020122045A1 (en) * 1998-12-19 2002-09-05 Morgan Woodson Font anti-aliasing system
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
WO2005065085A2 (en) * 2003-12-21 2005-07-21 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
KR101648206B1 (ko) * 2008-09-25 2016-08-12 코닌클리케 필립스 엔.브이. 3차원 이미지 데이터 처리
WO2010058362A1 (en) * 2008-11-24 2010-05-27 Koninklijke Philips Electronics N.V. Extending 2d graphics in a 3d gui
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
US8908045B2 (en) * 2011-03-15 2014-12-09 David Alexander Stewart Camera device to capture and generate target lead and shooting technique data and images
CN102137267A (zh) * 2011-03-28 2011-07-27 彩虹集团公司 一种人物场景2d转3d算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028727A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
JP2011528882A (ja) * 2008-07-21 2011-11-24 トムソン ライセンシング 3dビデオ信号の符号化装置
WO2010126612A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Reference picture lists for 3dv
WO2011039679A1 (en) * 2009-10-02 2011-04-07 Koninklijke Philips Electronics N.V. Selecting viewpoints for generating additional views in 3d video

Also Published As

Publication number Publication date
KR102112491B1 (ko) 2020-06-05
JP6367803B2 (ja) 2018-08-01
AU2013308155A1 (en) 2015-02-26
EP2904586A4 (en) 2016-07-13
IN2015DN01209A (ja) 2015-06-26
WO2014033511A1 (en) 2014-03-06
CA2881037A1 (en) 2014-03-06
US20150195508A1 (en) 2015-07-09
US9918070B2 (en) 2018-03-13
CN104584075B (zh) 2018-12-21
EP2904586A1 (en) 2015-08-12
EA201590374A1 (ru) 2015-11-30
KR20150047604A (ko) 2015-05-04
AU2013308155B2 (en) 2019-02-07
CN104584075A (zh) 2015-04-29
CZ2012586A3 (cs) 2014-03-12
CA2881037C (en) 2022-01-04
CZ308335B6 (cs) 2020-05-27
EA033516B1 (ru) 2019-10-31

Similar Documents

Publication Publication Date Title
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
CN106170822B (zh) 3d光场相机和摄影方法
JP5456020B2 (ja) 情報処理装置および方法
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US5337096A (en) Method for generating three-dimensional spatial images
CN109379578A (zh) 全方位三维视频拼接方法、装置、设备以及存储介质
US20070122029A1 (en) System and method for capturing visual data and non-visual data for multi-dimensional image display
JP2010181826A (ja) 立体画像形成装置
JP6367803B2 (ja) オブジェクト空間のオブジェクト点の記述のための方法およびその実施のための結合体
JP2001016621A (ja) 多眼式データ入力装置
JP3676916B2 (ja) 立体撮像装置および立体表示装置
JP2011197675A (ja) 投影システム
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
Drazic et al. Optimal design and critical analysis of a high-resolution video plenoptic demonstrator
JP2005026772A (ja) 立体映像表示方法及び立体映像表示装置
KR100489213B1 (ko) 입체영상용 뷰 파인더 시스템
Steurer et al. 3d holoscopic video imaging system
WO2019161717A1 (zh) 光栅图片的生成方法、装置及存储介质
Gurrieri The omnidirectional acquisition of stereoscopic images of dynamic scenes
JPH07296165A (ja) 3次元画像撮影用カメラ
JPH0634339A (ja) 3次元画像入力装置
CN108924530A (zh) 一种3d拍摄异常图像校正的方法、装置及移动端
JP2012060512A (ja) 多眼撮像装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180705

R150 Certificate of patent or registration of utility model

Ref document number: 6367803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees