JP2016531470A - 視聴場所についてのステレオ情報の取得、送信および受信、ならびに、眼点系のその自動測定のためのｔｖマルチアングル法 - Google Patents

Abstract

本発明は、立体ＴＶに関する。本発明の技術的な結果として、立体映像の送信が、撮影される物理的場所の自動的なリアルタイムの測定の結果として制御される際の精度が向上する。本発明の方法では、同期した映像カメラと共に、対称的に中央に置かれたマルチアングルステレオシステムによって、ステレオ写真撮影が行われる。隣接ラインにおける映像信号は記録されかつ比較され、中央信号に隣接する角度信号は前記ラインにおいて検出される。前記信号の一時的な視差は単一の一時的な枠組みにおいて測定される。視差信号を、中央映像カメラの映像信号と同期させる。信号ストリームは受信する側に送信されかつ記録される。立体角度ショットの映像信号は、中央カメラの信号の要素を隣接する一時的な視差にずらすことによって再生され、画像が表される。【選択図】図１

Description

本発明は、ＴＶ技術、すなわち、立体ＴＶ（３ＤＴＶ）を対象とし、移動体用の精確な動的制御システムにおける技術ビジョンとして使用可能であり、３ＤＴＶおよびウェブの放送においてばかりでなく、視聴対象物の場所の空間次元およびその場所に存在する対象物についての情報が必要とされる文化、科学、および、技術の種々の部門においても広範に使用するためのものである。

隣接点の線形視差を、関数依存性に基づいてステレオペアフレームのそれらの画像において測定することによって整列させるために使用されるストロボ法が知られている。
Ｌ＝ｆ（Ｆ；ｂ；Δｌ） （１）
式中、Ｌは視聴点までの範囲であり、Ｆはステレオシステムレンズの焦点距離であり、ｂはステレオシステムベースであり、Δｌはステレオペアフレームにおける視聴点の隣接画像間の線形視差である。

類似形として、「Ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｅｘｔｅｒｎａｌ ｍｅｄｉｕｍ ｃｏｏｒｄｉｎａｔｅｓ ｆｏｒ ｃｏｍｐｏｓｉｎｇ ｉｔｓ ３Ｄ ｍｏｄｅｌ ｉｎ ３Ｄ ＴＶ ｓｙｓｔｅｍ ｏｆ ｔｅｃｈｎｉｃａｌ ｖｉｓｉｏｎ」という名称の特許文献１がある。特許文献１のこの方法は、ＰＣへ接続されるＴＶステレオブロック、画像可視化のためのディスプレイ、および、カーソル操向装置から成る技術ビジョンシステムを含む人間機械複合体における使用のために設計されている。視聴場面の測定点には、カーソルでディスプレイ上に印がつけられ、その３つの空間座標は、ＰＣソフトウェア、および、ディスプレイ上の視覚化を使用して自動的に計算される。この方法の欠点は次の通りである：ステレオペアフレームを送信する際の映像フロー倍加、場面の静的対象点の座標の測定、選択の際の操作者の介入の必要性、および、対象点のセットの幾何モデルを計算するための該セットの測定。

典型として、いわゆる２Ｄ＋Ｚ形式を使用する方法が使用される（非特許文献１）。

３Ｄ放送の工学的実装は、任意の共通（２Ｄ）画像と、カメラから各画素までの距離（Ｚ座標）についての情報とを相関させることによって行われる。このような画像の提示は「２Ｄ＋Ｚ形式」と呼ばれ、Ｚ座標面は「深度マニュスクリプト（ｄｅｐｔｈ ｍａｎｕｓｃｒｉｐｔ）」と呼ばれる。これによって、データフローによって送信する立体映像が単に２５〜３０％増加し得る。マニュスクリプトは、カメラから対象点までの距離がグレーのグラデーションで示される白黒画像として提示される。この場合、マニュスクリプト計算のために、映像記録の２つのチャネル間の相違を解析するためのアルゴリズムが使用される。合成解像度チャネルの映像フロー、および、対象点と同期した白黒深度マニュスクリプトＺ画像は、２つの画像回路によって受信側へ送信される。

３Ｄ画像再構成について、一連のフレームが計算されるものとする。立体画像は、深度マニュスクリプトに関して最初の画像の内挿によって復元される。得られた一連のフレームによって、３Ｄ映像がシミュレーションされた後、任意のステレオディスプレイ上に示される。

この方法の主な欠点には、フレーム画像の解析を要する複雑なアルゴリズム、および、システムの遅鈍を増大させる高い計算強度を適用する必要性が含まれる。このような方法は、一般に、主観的な立体画像のみの受信および視覚表示に適用可能である。このような技術では、対象場所のリアルタイムの自動測定は事実上実在しない。さまざまな媒体で、かつ、リアルタイムで動作中の遠隔および自動化制御を含む、ナビゲーションおよび車両制御システムに対するこの方法の応用には、かなり問題がある。

対象場所画像を判断するために、その測定は、ステレオペアフレームにおける対象点画像の全てまたは大部分の計算を伴うものとする。ステレオペア画像による対象物再構成の既知の方法では、それぞれの測定された点は、操作者によって判断されるが、多くの時間がかかり、空中写真によって撮られたステレオ画像がステレオコンパクタにおいて処理される時、静的画像のみに、例えばマッピング時にのみ適用されてよい。

このプロセスの自動化のために、多くのアルゴリズムが提案されている（非特許文献２、特許文献２（Ａ ｍｅｔｈｏｄ ｆｏｒ ｏｂｔａｉｎｉｎｇ ｓｔｅｒｅｏｓｃｏｐｉｃ ＴＶ ｉｍａｇｅｓ」）。しかしながら、この問題は極めて困難であり、見たところ全く対処されていないようである。ステレオペアの解析によって、コンピュータメモリの領域についてのかなり広範な知識の存在が示唆され、該知識がない場合、一般に、ステレオペアを復号化できる可能性は低い（非特許文献３）。

ロシア特許第２０６５１３３号明細書 ロシア特許第２１９２１０４号明細書

「Ｄｉｇｉｔａｌ ３Ｄ ＴＶ」、Ｔｅｌｅ−Ｓｐｕｔｉｋ、２０１０年６月（Ａｌｔｅｒｎａｔｉｖｅｓ ｆｏｒ ｃｏｍｐｏｓｉｎｇ ａ ３Ｄ ｖｉｓｕａｌｉｚａｔｉｏｎ ｓｙｓｔｅｍ）、７６／ａｎｎｏｕｎｃｅ／ｌ４．ｈｔｍｌ 「Ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ」、Ｐｈｙｓｉｃｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｅｎｃｙｃｌｏｐａｅｄｉａ、ｈｔｔｐ：／／ｗｗｗ．ａｒｔｉｃｌｅｓ／ｐａｒｔ＿２／３８８９．ｈｔｍｌ 「Ｍａｔｈｅｍａｔｉｃｓ ｏｆ ｓｔｅｒｅｏ ｉｍａｇｅｓ」、Ａ．Ａ．Ｖｅｄｅｎｏｖ、Ｍ．、１９９１

本発明の方法は、対象場所、精確な制御システムにおいて使用される画像回路によって送信され、かつ、拡張された快適な視聴ゾーンにおいて３Ｄ画像を楽しむための、必要最低限の十分なデータ量によるそのリアルタイムの自動測定に関係ない基準の不変のフレームにおいて、既存のＴＶ技術に基づいてＴＶステレオシステムを作成することを目的とする。本発明の方法は、依存性（１）に基づいており、この場合、全ての値は、以下の形で提示される場合がある線形視差値を除いて、一定である。
Ｌ＝ＫΔｌ
式中、Ｋは特定のステレオシステムの機器伝達関数である。

システムのためのＫは、３Ｄ較正済み場面に従って計量ベンチにおいて測定され、送信用ステレオＴＶ映像カメラの現在の設計の特徴全てのために一定値である。

システムにおいて使用されるメートル法に対応する単位で線形視差を測定することによって、３Ｄ視聴対象場所を表示しかつ測定するための主タスクが残存する。

到達目標は、本発明の実装のために、マルチアングルステレオＴＶシステムを、映像カメラ位置を対称的に中央に置いた空間的構造と同期させることによって、ステレオＴＶピックアップが実行され、該映像カメラのレンズの軸は、互いに平行であり、かつ、同じ平面に位置し、対象場所におけるそれぞれの点像からの信号と、アスペクト水平信号におけるそれら点像からその対象場所と結合した信号との間の当面の一時的な視差の測定に従った深度マニュスクリプトの形成、および、同時に視聴された対象場所のラインから水平方向に迅速に記録され、かつ、前記ステレオシステムの水平同期信号によって設定された原点による基準の一体化した一時的なフレームにおいて合成された映像信号の比較構造における水平方向走査速度によって、結合した信号は、水平方向映像信号の比較構造におけるそれら信号の処理と、映像カメラ位置の空間的構造におけるそれら信号の処理との類似性、および、ある角度の映像カメラにおける結合された信号レベルと中央の映像カメラにおける信号との相等性によって識別され、さらに、最大解像度の映像信号を画像回路内に送信し、かつ、コンピューティングブロックに対して受信機を介して同期した深度マニュスクリプト信号を送信し、それによって、ステレオフレーム、および、３Ｄ画像のマルチアングルステレオ表示を合成するために、一時的な視差に対応することによって信号を中央映像カメラからずらすことによって、かつ、制御システムを情報によって支持するために必要な含まれる対象物の座標および動特性の計算によって対象場所の３Ｄデジタル画像を合成する、フレームずつの解析によって、水平角の映像信号が再構成されるという理由で実現される。

本発明による凡例を示す図である。

は、水平同期信号から、水平方向走査速度によって測定される左、中央および右映像カメラにおける対象点Ｂの画像からの信号までの一時的な距離であり、

は、水平方向走査速度によって測定される対象点Ｂの画像についての一時的な視差であり、

は、左、中央および右映像カメラにおける対象点ＢのＢ’画像からの信号のレベルである、ステレオディスプレイと、による凡例を示す図である。

２Ｄ形式における視聴対象場所の２次元画像を送信するＴＶ法は、放送および工業目的双方で広範に使用される。３Ｄ形式における３次元画像の送信は、幾分型にはまらないように思われ、依然、広範な用途に対して受け入れ可能な技術的解決策はない。立体映画および写真のピックアップは周知であるが、これら目的のために使用される方法は、リアルタイムでの動的画像のＴＶ送信による受け入れは不完全である。両眼視を有する人または動物によって視聴対象場所の３次元認識の原理は、脳内で行われる両目における２次元画像を同時に比較解析することになる。その複雑さは、種々の角度で得られる視聴対象場所における各点の画像が、同じステレオペアのフレームを表す画像における空間的位置において互いに異なっている。ステレオペアフレームにおける対象点のこれらの画像は、結合されていると言われるもので、それらの空間的相違は視差と呼ばれる。視差値は、この点までの範囲を特徴とし、その範囲の評価または測定さえも可能にする。しかしながら、視聴場所の種々の点までの範囲は任意であり、その場所に位置する対象物の何らかの移動時に連続して変動するため、視差も、画像における値および位置付けによって連続して変化する。人間および動物において、ものの見方によって周囲の対象場所を認識するというこの問題は、両眼視装置と結合した脳によって解決される。

本発明の目標は、結合された点、ステレオペアのＴＶフレームにおけるそれら点の空間的位置付け、および、一般の空間−時間枠組みおよびメートル法における視差の測定の自動識別である。同期させた視差整列信号を送信されたクロミナンス映像信号に加えることによって、映像信号のステレオＴＶフローを形成する。制御システムにおいて受信側で見える情報フローを使用し、ステレオ表示の目的のために、視差信号によってステレオペアの第２のフレームを再構成する。

方法を実装するために、まず、ステレオシステムの空間的対称構造が形成される。この目的のために、対称的に位置する中央（最大解像度）および側部（角度）の映像カメラのレンズの軸は、同じ平面に配列され、互いに平行である。カメラ制御は、共通の走査段階によって時間が決められる。これによって、対象場所における同じラインの映像カメラによる同時読み出しが行われ、共通の走査段階によってもたらされる堅固な時間フレームにおいて全てのラインを結合する。以降、側部（角度）信号の中で中央信号と結合される同時に読み出されるラインにおいて検出する目的のために、ライン映像信号は即座に記録され、水平同期信号と比較される。得られる比較によるライン構造において、側部（角度）映像信号は、映像カメラの対称的に中央に置かれた空間的配置によって、中央信号に対して対称的に位置することになり、線形間隔は等しい。

ΔＢ’ttは、信号を識別するために結合させた空間的な位相的符号である。全ての映像カメラにおいて表された対象点からの信号は等しいという実用的な想定を行うと、

が得られる。

これら特徴的な符号（２、３）によると、計算器は、中央（先頭）信号と結合させた、対称的に配置されかつ等しい側部（角度）信号の組み合わせを識別し、水平方向走査速度によってそれら信号の間の一時的な視差を測定する。

２Ｄ形式の中央（先頭）最大解像度映像カメラの映像信号全てに対して得られる一時的な視差、および、一時的な視差の形式で信号を整列させるラインを表す値は、合成映像信号によって適宜に２Ｄ＋Ｚ形式における画像回路内に送信される。

受信側では、受信された情報から、対象場所および座標の３Ｄデジタル画像、および、その画像を構成する対象物の動特性は、映像カメラの相対的位置に対する機能的な整列依存、映像カメラレンズの焦点距離の目下の値、および、ナビゲーションおよび制御システムにおいて使用される一時的走査特性を使用して計算される。

ステレオペアフレームの再構成、および、基本的なステレオディスプレイ上のそれらフレームのマルチアングル３Ｄ視覚表示のために、それぞれのラインにおける合成解像度の映像信号は、水平方向走査の自己の速度によって定められる線形値、および、一時的な視差の対応する値によって、適所にずれる。一時的な視差の形式における整列信号の提示によって、画面の自己の線形寸法と結合した自己の速度による同じタイプの走査性を持つ全ての受信機による混和性がもたらされる。

さらに、基本的な表示法が使用される時、側部映像カメラの数がわずかに増加することによって、３Ｄ画像の快適な視聴ゾーンがかなり増大する場合がある。

Claims (1)

1. 視聴場所についてのステレオ情報を、その自動測定と共に取得、送信および受信し、かつ、Ｚは深度マニュスクリプトである、２Ｄ＋Ｚ形式におけるステレオＴＶ信号をもたらす立体ピックアップを含む、ＴＶマルチアングル法であって、
   ステレオ映像信号のフローを受信側へ平行移動させ、制御システムにおいて情報を使用し、ステレオペアフレームの映像信号を復元させ、それらステレオ表示は、マルチアングルステレオＴＶシステムを、映像カメラ位置を対称的に中央に置いた空間的構造と同期させることによって、ステレオＴＶピックアップが実行され、該映像カメラのレンズの軸は、互いに平行であり、かつ、同じ平面に位置し、対象場所におけるそれぞれの点像からの信号と、アスペクト水平信号におけるそれら点像からその対象場所と結合した信号との間の当面の一時的な視差の測定に従った深度マニュスクリプトの形成、および、同時に視聴された対象場所のラインから水平方向に即座に記録され、かつ、前記ステレオシステムの水平同期信号によって設定された原点による基準の一体化した一時的なフレームにおいて合成された映像信号の比較構造における水平方向走査速度によって、結合した信号は、水平方向映像信号の比較構造におけるそれら信号の処理と、映像カメラ位置の空間的構造におけるそれら信号の処理との類似性、および、ある角度の映像カメラにおける結合された信号レベルと中央の映像カメラにおける信号との相等性によって識別され、さらに、合成解像度の映像信号を画像回路内に送信し、かつ、コンピューティングブロックに対して受信機を介して同期した深度マニュスクリプト信号を送信し、それによって、ステレオフレーム、および、３Ｄ画像のマルチアングルステレオ表示を合成するために、一時的な視差に対応することによって信号を前記中央映像カメラからずらすことによって、かつ、前記制御システムを情報によって支持するために必要な含まれる対象物の座標および動特性の計算によって前記対象場所の３Ｄデジタル画像を合成する、フレームずつの解析によって、水平角の映像信号が再構成されることを特徴とする、ＴＶマルチアングル法。

Images