JP2005503086A

JP2005503086A - 非平行光軸リアルタイム３次元（立体）映像処理システム及びその方法

Info

Publication number: JP2005503086A
Application number: JP2003528035A
Authority: JP
Inventors: ジェオング，ホン; オウ，ヨンス
Original assignee: ジェイアンドエイチテクノロジーカンパニーリミテッド
Priority date: 2001-09-10
Filing date: 2002-09-10
Publication date: 2005-01-27
Also published as: US20040228521A1; KR20030021946A; WO2003024123A1; EP1454495A1; KR100424287B1

Abstract

非平行光軸カメラを備えたリアルタイム３次元映像処理システム及びその方法に関し、３次元空間における位置及び形態を演算するためのシステムであって、被写体を最適状態で観測するため、一対の非平行光軸間の角度である一対のカメラ間の角度を遠、近距離によって制御し、以って観測視野範囲を拡張し、システムパラメータを前記光軸間の角度に従って異なるように設定することで、映像整合を極大化させる構成とした。

Description

【技術分野】
【０００１】
本発明は、映像処理システムに関し、特に、非平行光軸リアルタイム立体（３次元）映像処理システム及びその方法に関するものである。
【背景技術】
【０００２】
一般に、リアルタイム立体（３次元）映像処理システムは、ステレオ整合(Stereo Matching)を主部とするプロセッサを用いるが、このとき、前記ステレオ整合とは、一対の２次元イメージから３次元空間の空間情報を再創出する過程（プロセス）をいう。
このようなプロセッサを用いた従来の技術としては、研究論文[Uemsh R. Dhond and J. K. Aggarwal. Structure from Stereo-a review. IEEE Transactions on Systems, Man, and Cybernetics, １９（６）：５５３−５７２, nov/dec １９８９]にステレオ整合に関する基本原理が記述されている。また、これを具現した従来のステレオ整合技術は、リアルタイム３次元映像整合システム(大韓民国特許出願第２０００-４１４２４号)に開示されている。
【０００３】
このような従来のリアルタイム３次元映像整合システムは、同一の光学特性を有する一対のカメラにより構成されているが、それら一対のカメラにより同一の空間領域を映すと、両カメラの各水平イメージスキャンラインに互いに類似した空間領域が選択されるから上記各スキャンラインのピクセル対が３次元空間の各点に対応されるように、一つのイメージでのピクセルが他のイメージでのピクセルに整合する。このような簡単な幾何学的特性を利用して、一対のカメラから３次元空間内の一つの点までの距離を求めることができる。このとき、一つのカメラにより選択されたイメージにおける所定ピクセルの位置と、他のカメラにより選択されたイメージに対応する所定ピクセルとの差を両眼視差(disparity)といい、このような両眼視差から計算された幾何学的特性を深さ(depth)という。すなわち、両眼視差は距離情報を包含している。よって、入力映像からリアルタイムに両眼視差を計算することで、観測空間の３次元距離情報及び形態情報を測定することができる。
【０００４】
然るに、このような従来のシステムにおいては、一対のカメラが平行に置かれた状態でのみ両眼視差値を計算して空間情報を認識することができる。しかも、このような方式では、近距離物体を観測する場合には目的物を最適に見ることができない。すなわち、遠距離物体を観測する場合は、一対のカメラに形成される角度が平行をなすと両眼視差が大きくないため問題にならないが、カメラ角が平行の状態で近距離物体を観測する場合には、測定された両眼視差値が非常に大きくなるか、または、同システムの両眼視差の測定範囲を超えるようになって、平行な前記両カメラの各映像に観測対象物体が正常に映されないため、映像整合が難しいという不都合な点があった。
【０００５】
実際に、上記システムをASIC-チップ(application specific integrated circuit-chip)として具現するとき、従来のリアルタイム３次元映像整合システムは、記憶ユニットの占める空間がプロセッサ全体で多くの部分を占めるという不都合な点を有している。
また、上記システムにおいては、通常、前方プロセッサ(forward processor)と後方プロセッサ(backward processor)とが交互に動作する。したがって、一方のプロセッサが動作するときに他方のプロセッサはアイドリング状態に置かれるため、非効率的で処理速度が遅いという不都合な点があった。
【発明の開示】
【０００６】
本発明は、このような従来の課題に鑑みてなされたもので、カメラ角を物体の位置によって調節可能にすることで観測が容易化され、両眼視差値が許容値水準以上にオーバーフロー(overflow)されることを防止し、よって、３次元空間上の位置及び形態を演算するためのシステム及びその方法を提供することを目的とする。
また、本発明の他の目的は、もし最上位プロセッシングエレメント(processing element)が最大両眼視差値を示し、最下位プロセッシングエレメントが最小の両眼視差値を示し、基礎プロセッシングエレメントベース（プロセッシングエレメント）は両眼視差値を'０'とするプロセッシングエレメントであると仮定するとき、両眼視差値として'０'を有する基礎プロセッシングエレメントの位置を適切に設定することで、出力される両眼視差の基準オフセット値を調節し得るシステム及びその方法を提供することにある。
【０００７】
また、本発明のその他の目的は、従来の記憶装置を廉価な外部記憶装置によって代替することで製作費用を節減し得るシステム及びその方法を提供することにある。
また、本発明の更に他の目的は、処理された決定値を二つの記憶装置間における何れか一方の装置に交互に格納して、前後方プロセッサが休むことなく連続動作するようにすることで、従来のシステムの２倍以上速い性能を有するシステム及びその方法を提供することにある。
【０００８】
本発明の上述および他の目的、特徴点、見方および利点は、添付図面を参照して以下に詳述する本発明の記載から更に明らかにする。
【発明を実施するための最良の形態】
【０００９】
さて、カメラが人の目と同様な機能を遂行すると仮定すると、一対のカメラの焦点方向を遠近によって調節することで、距離の遠近に関わりなく全ての映像を最適にとらえることができる。よって、距離を遠近することによってカメラの観測視線に変化を与えるために、カメラの角度を制御する手段と、該角度の制御によって映像整合システムの設定を新しく更新する手段とが必要である。このような手段を利用すると、近距離対象物体でもよく観測することができるし、より効果的な映像整合が可能である。
【００１０】
以下、本発明の実施の形態を、図面の参照に基づいて説明する。
図１は、本発明に係る非平行光軸リアルタイム３次元映像処理システムの構成を示したブロック図で、同図１に図示されるように、本発明に係る非平行光軸リアルタイム３次元映像処理システムは、光軸回転手段を有した左側カメラ１０及び右側カメラ１１、それら左側及び右側カメラ１０、１１のデジタル映像信号を一時的に格納するか、またはアナログ映像信号をデジタル変換してデジタル映像信号をそれぞれ出力する映像処理部１２と、その出力された左側及び右側デジタル映像信号から最小の整合コストを示す決定値を計算して、該決定値による両眼視差値を出力する映像整合部(SMC；Stereo Matching Chip)１３と、上記両眼視差値による映像をディスプレイするユーザシステム１６と、前記映像整合部１３に供与するための前記決定値を交互に格納する第１、第２の記憶装置１４、１５と、を包含して構成されている。
【００１１】
ここで、図１には左側及び右側カメラ１０、１１の回転軸が図示されていないが、前記の左側及び右側カメラ１０、１１のレンズ部(図示せず)を構成する鏡筒部(図示せず)を回転させることができるか、または、同図１に示されたように、カメラの体部全体を回転させることができるように構成されているが、当該技術は、当業者には明白な技術であるため、その詳細な説明は省略する。
【００１２】
そして、映像処理部１２は、左側カメラ１０及び右側カメラ１１から得られた物体の映像を映像処理して、デジタル変換された左側映像及び右側映像を映像整合部１３にピクセル単位で出力し、その後、該映像整合部１３は、前記左側映像及び右側映像の各スキャンラインのピクセルデータの入力を順次受けて、前記左側映像及び右側映像の決定値をそれぞれ演算し、第１及び第２記憶装置１４、１５における一方の記憶装置に前記計算された決定値を格納し、他方の記憶装置の以前に格納された決定値を読出し、そのような格納と読出しの動作を交互に行いながら前記読み出した決定値から両眼視差値を計算してユーザシステム１６に出力する。また、このような両眼視差値を出力する過程は、一対の映像の全てのスキャンラインに対し反復して遂行される。
【００１３】
図２は、図１の映像整合部(SMC)１３の詳細構成図で、同図２に図示された映像整合部１３は、映像処理部１２の左側及び右側映像信号をそれぞれ格納する各N/２個に構成された左側及び右側映像レジスタ２０、２１と、クロック信号（CLKE、CLKO）に同期して前記左側及び右側映像レジスタ２０、２１から入力される映像から決定値を計算して両眼視差値(Dout)を出力するN個のプロセッシング手段としてのプロセッシングエレメント２２と、選択信号によって、第１及び第２記憶装置１４、１５と交互に前記決定値を取り交わす決定値バッファ２４と、外部から制御信号の入力を受けてプロセッシングエレメント２２のレジスタ４３値を設定する設定信号(上位信号Top、下位信号Bottom、ベース信号Base及びリセット信号Reset)により前記プロセッシングエレメント２２を制御する制御部２３と、を包含して構成されている。
【００１４】
以下、上述のように構成された映像整合部が一対のスキャンラインを処理する方法に関して説明する。
まず、制御部２３は、外部の制御信号の入力を受けてN個のプロセッシングエレメント２２に上位信号Top、下位信号Bottom、ベース信号Base及びリセット信号Resetをそれぞれ出力する。このとき、所望の視差値の範囲内にあるプロセッシングエレメント２２における最上位プロセッシングエレメントで上位信号Topを活性化(active)させ、最下位プロセッシングエレメントで下位信号Bottomを活性化させる。また、被写体との距離による一対のカメラ１０、１１の光軸角度によって、上位信号Topにより活性化されたプロセッシングエレメントと下位信号Bottomにより活性化されたプロセッシングエレメント間で所望の両眼視差値が最適になるようにするため、両眼視差値が'０'に該当される適切な位置のプロセッシングエレメントでベース信号Baseを活性化させる。
【００１５】
ここで、図２に示したように、複数のプロセッシングエレメント２２における一番上方に位置されたプロセッシングエレメントN-１を最上位、一番下方に位置されたプロセッシングエレメント０を最下位と定義し、前記ベース信号Baseが活性化されるプロセッシングエレメント位置の両眼視差値を０とすると、その下のプロセッシングエレメントの両眼視差値は-１で、その次の下は両眼視差値が-２になる。すなわち、最上位及び最下位は、それぞれ両眼視差値の最小値及び最大値を示す。
【００１６】
また、前記左側及び右側映像レジスタ２０、２１は、前記映像処理部１２によりデジタル変換された右側映像及び左側映像の各スキャンラインのピクセルデータの入力を受けてプロセッシングエレメント２２に出力する。このとき、プロセッシングエレメント２２は、指定された最大の両眼視差値まで線形アレイ(linear array)状に複製されることが可能で、各プロセッシングエレメント２２は、隣接したプロセッシングエレメントと情報を交換することができる。このような構造により、前記システムは、プロセッシングエレメント２２の個数に制限されることなく最大速度で動作することができる。
【００１７】
更に、上記左側及び右側映像レジスタ２０、２１は、該当する各システムクロック毎に各ピクセルの映像データを格納し、活性化された各プロセッシングエレメントは、左側及び右側映像から決定値を計算する。このとき、決定値バッファ２４は、プロセッシングエレメント２２により計算された決定値を第１記憶装置１４及び第２記憶装置１５に交互に格納し、それら第１記憶装置１４及び第２記憶装置１５から決定値を交互に読み出して前記プロセッシングエレメント２２へ入力させる。すなわち、前記決定値バッファ２４は、選択信号によって、プロセッシングエレメント２２により計算された決定値を第１及び第２記憶装置１４、１５における一方の記憶装置に格納し、それら第１及び第２記憶装置１４、１５における他方の記憶装置から読み出した決定値をプロセッシングエレメント２２へ入力させる。ここで、上記選択信号は、第１記憶装置１４のデータにアクセスするか、第２記憶装置のデータにアクセスするかを示す信号である。
【００１８】
また、前記プロセッシングエレメント２２は、前記決定値バッファ２４が第１記憶装置１４または第２記憶装置１５から交互に読み出した決定値を演算して両眼視差値を計算することで、ユーザシステム１６へ出力する。このとき、前記両眼視差値は、前の両眼視差値に対する増減形態ないしオフセット形態で出力させるか、または実際の両眼視差値のような増感量形態として出力させることができる。
【００１９】
ここで、前記左側及び右側映像レジスタ２０、２１及びプロセッシングエレメント２２は、システムクロックから得た二つのクロック信号CLKE、CLKOにより制御される。前記クロックCLKEは、偶数番目のシステムクロックサイクルにトグル(toggle)され(最初のシステムクロックサイクルを'０'と仮定する)、右側映像を格納するための映像レジスタ２０及び偶数番目のプロセッシングエレメント２２に供給され、前記クロックCLKOは、奇数番目のシステムクロックサイクルにトグルされて、左側映像を格納するための映像レジスタ２１及び奇数番目のプロセッシングエレメント２２に供給される。よって、映像レジスタ２０及び偶数番目のプロセッシングエレメント２２から始まって、各システムクロックサイクル毎に映像レジスタ２０または２１及び偶数番目または奇数番目のプロセッシングエレメント２２が動作される。
【００２０】
図３は、図２のプロセッシングエレメント２２の詳細構成図で、同図３に図示されたように、前記プロセッシングエレメント２２は、左側及び右側映像レジスタ２０、２１に格納されたスキャンラインのピクセルを受けとり、整合コスト及び決定値を前記決定値バッファ２４へ出力する前方プロセッシング手段としての前方プロセッサ(forward processor)３０と、前記決定値バッファ２４から出力された決定値Dbinを受けとり、両眼視差値を出力する後方プロセッシング手段としての後方プロセッサ（backward processor)３１と、を包含して構成されている。
【００２１】
以下、このように構成されたプロセッシングエレメント２２の動作に関して説明する。
プロセッシングエレメント２２は、前記前方プロセッサ３０のコストレジスタ値及び前記後方プロセッサ３１の活性レジスタ値が始動されたリセット信号Resetにより初期化される。すなわち、先ず、活性化されたベース信号Baseが入力されると、プロセッシングエレメント２２は、前方プロセッサ３０のコストレジスタ値が‘０'になり、後方プロセッサ３１の活性レジスタ値が‘１'になる。反対に、先ず、前記プロセッシングエレメント２２に非活性化されたベース信号Baseが入力されると、前方プロセッサ３０のコストレジスタ値が略最大値になり、後方プロセッサ３１の活性レジスタ値が‘０'になる。
【００２２】
前方プロセッサ３０は、クロックCLKE、CLKOの一方の信号に同期して左/右映像の一対のスキャンラインを処理して決定値Dcoutを計算し、該決定値Dcoutを、決定値バッファ２４を介して第１記憶装置１４または第２記憶装置１５に格納する。
また、後方プロセッサ３１は、決定値バッファ２４を介して第１記憶装置１４または第２記憶装置１５から読み出した決定値を演算して両眼視差値を演算し、該両眼視差値をクロックCLKE、CLKOの一方の信号に同期して出力する。このとき、前記第１及び第２記憶装置１４、１５は、一方の記憶装置に前方プロセッサ３０により計算された決定値が書き込まれる間に他方の記憶装置では後方プロセッサ３１に決定値が入力される。
【００２３】
次いで、次のスキャンラインを処理するとき、前方プロセッサ３０は、選択信号を反転させて決定値Dcoutを格納するための記憶装置１４、１５を転換させ、後方プロセッサ３１も、該転換された記憶装置１４、１５から決定値を読み出して前述した過程を繰り返す。
図４は、図３の前方プロセッサ３０の詳細構成図で、同図４に図示されるように、前述の前方プロセッサ３０は、映像レジスタ２０、２１から出力されたスキャンラインの二つのピクセルの差により整合コストを計算する絶対値計算器４０と、該絶対値計算器４０により計算された整合コストと後述するコストレジスタ４３からフィードバックされた累積のコストとを加算する第１加算器４１と、該第１加算器４１の出力値及び前記プロセッシングエレメント２２の累積コストを受けとり、上位（トップ）信号Top及び下位（ボトム）信号Bottomを設定することで、前記三つのコストを比較して最小のコストを出力する限定比較手段としての限定比較器４２と、該限定比較器４２の比較結果によって出力される最小のコストを累積コストとして格納する累積コストレジスタ４３と、該累積コストレジスタ４３に格納された累積のコストとオクルージョンコスト(Occlusion Cost)とを加算してプロセッシングエレメント２２に出力する第２加算器４４と、を包含して構成されている。
【００２４】
ここで、前記コストレジスタ４３は、ベース信号Base及びリセット信号Resetにより初期化される。
図５は、図４の限定比較器４２の詳細構成図で、図示されたように、前記限定比較器４２は、限定設定手段としての限定設定装置５０と比較器５１とを包含して構成されている。
【００２５】
前記限定設定装置５０は、上位コストuCostと下位コストdCostとを比較して最小のコストMinCostを出力する比較器５２と、上位コストuCostまたは下位コストdCostを選択して前記比較器５１に出力するマルチプレクサ(MUX)５３と、下位信号Bottom及び前記比較器５２の出力の入力を受けて論理積(AND)演算するANDゲート５４と、上位信号Top及び前記ANDゲート５４の出力を論理和(OR)演算して前記マルチプレクサ５３を動作させるORゲート５５と、を包含して構成されている。
【００２６】
上記比較器５１は、限定設定装置５０からの出力コストと第１加算器の合算コストmCostとの間で最小のコスト入力MinCostを選択して出力し、かつ整合パス決定値（match path decision）を出力する。
また、上述の限定比較器４２は、上位プロセッシングエレメントであることを知らせる上位信号Topが活性化されるとき、上位コストuCostの選択を阻止し、下位信号Bottomが活性化されるとき、下位コストdCostの選択を阻止するように機能し、その他の場合は、上位コストuCost、下位コストdCost及び合算コストmCost中、最小のコストMinCostを選択する。つまり、前記比較器５２は、二つの入力uCost、dCostを比較して２つの値を出力するが、上方の出力は最小値を示し、下方の出力は入力された値の中で何れの値が最小であるかを示す。
【００２７】
さらに、上記マルチプレクサ５３は、ORゲート５５の出力値によって、二つの入力値uCost、dCostの中の一つを選択して出力する。
次に、上述のように構成された前方プロセッサ３０の作動を詳述する。
まず、上位信号Topが活性化される場合、限定比較器４２は、既述した三つのコストuCost、dCost、mCostから上位コストuCostを比較対象より排除し、下位コストdCostと合算コストmCostとの両者だけを比較して最小のコストMinCostを出力し、下位コストdCostが最小値であると-１を、合算コストmCostが最小値であると０を、それぞれ決定値(Dcout=Dfout)として出力する。このとき、決定値を２bitであるとすると、‘１１’は-１、‘００’は０、‘０１’は+１と考えることができる。よって、上位信号Topが活性化された場合、該上位信号Topが入力された上記ORゲート５５が、決定値の上位ビット(Dcout(１)=Dfout(１))を‘１'として出力し、前記決定値Dcoutによりマルチプレクサ５３が下位コストdCostを選択して比較器５１に出力する。したがって、上記比較器５１は、下位コストdCostと合算コストmCostとを比較し、最小のコストMinCostを出力するようになる。
【００２８】
また、下位信号Bottomが活性化される場合、前記の限定比較器４２は、三つのコストuCost、dCost、mCostの中の下位コストdCostを比較対象から排除し、上位コストuCostと合算コストmCostとのみを比較して最小のコストMinCostを出力し、決定値Dbinを出力する。活性化されたボタム信号Bottomは、反転 (inverted) されて前記ANDゲート５４の他方の入力端子に入力されるため、該ANDゲート５４の出力信号が‘０'になり、上位信号Topが‘０'状態であるので、ORゲート５５から出力される決定値の上位ビット(Dcout(１)=Dfout(１))が‘０'として出力される。
【００２９】
よって、マルチプレクサ５３が上位コストuCostを選択して比較器５１に入力させるため、該比較器５１は、上位コストuCostと合算コストmCostとを比較して最小のコストMinCostを出力する。
また、上位信号Top及び下位信号Bottomが全て活性化されない場合、限定比較器４２は、三つのコストuCost、dCost、mCostの中の最小のコストMinCostを出力し、決定値Dcoutを出力する。
【００３０】
このように動作される限定比較器４２が出力する最小のコストMinCostは、クロックが加えられる都度、新しい全体のコストになって累積コストレジスタ４３に格納される。
図６は、図４の累積コストレジスタ４３の詳細構成図である。同図６に図示されたように、前記コストレジスタ４３は、比較器４２からの入力を受け、リセット信号Resetが入力されると、各クロック信号（CLKE又はCLKO）に同期してセット/リセットが可能なD-フリップフロップ(flip flop)６２、６３と、ベース信号Baseによって前記D-フリップフロップ６２をセットまたはリセットの選択を行うデマルチプレクサ(DEMUX)６１と、を包含して構成されている。
【００３１】
ここで、上記D-フリップフロップ６３は、固定値(‘１')によりセットされず、リセット信号Resetによってのみリセットされるように構成されている。
以下、このように構成された前記コストレジスタ４３の動作に対して説明する。
上記のD-フリップフロップ６２の下位には、最小のコスト(MinCost=U[i，j])の中の所定ビット数が格納され、上記D-フリップフロップ６３の上位に所定ビット数が格納される。前記デマルチプレクサ６１は、リセット信号Resetの入力を受けて、ベース信号Baseによってセット信号setまたはリセット信号Resetを前記D-フリップフロップ６２に入力させる。
【００３２】
前記D-フリップフロップ６３は、固定された値‘１'によりセットされず、リセット信号Resetによってのみリセットされる。前記各D-フリップフロップ６２、６３の出力信号U[i-１,j]は、第二加算器４４に出力され、該加算器４４は、オクルージョンコストγとコストレジスタ４３に格納された全体のコストとを合算し、その合算値Uoutを隣接したプロセッシングエレメントに出力する。前記オクルージョンコストγは定数である。
【００３３】
図７は、図３の後方プロセッサ３１の詳細図で、図示されたように、前記後方プロセッサ３１は、リセット信号Resetの入力を受けるとそれをベース信号Baseによって後述する活性レジスタのセット入力またはリセット入力へ伝送するデマルチプレクサ７３と、該デマルチプレクサ７３の出力値によってセット/リセットが可能なD-フリップフロップにより構成された活性レジスタ７１と、活性ビットパス（Ain1,Ain2,Aself）の各入力を論理和して前記活性レジスタ７１に出力するORゲート７０と、前記活性レジスタ７１の出力を決定値Dbinによって出力するデマルチプレクサ７２と、決定値Dbinを前記活性レジスタ７１の出力によって制御、出力するトライステート（３状態）バッファ７４と、を包含して構成される。
【００３４】
次に、上述のように構成された後方プロセッサ３１の作動に関して以下に説明する。
上記トライステート（３状態）バッファ７４は、入力値が‘１'のとき、その入力値をそのまま出力し、その他の場合にはハイインピーダンス状態となって何も出力しない。
上記活性レジスタ７１は値‘１’の時にはトライステートバッファ７４が入力値Dbinを出力し、他方、上記活性レジスタ７１が値‘０’の時には、上記トライステートバッファの出力は高インピーダンスとなる。制御部２３により活性化されたリセット信号Resetと共に用いられるベース信号Baseにより初期にリセットされる。
【００３５】
前述のORゲート７０は、隣接したプロセッシングエレメント２２の活性ビット経路Ain１、Ain２とフィードバックされた活性ビット経路Aselfとを論理和し、その結果を活性レジスタ７１に出力する。前記入力端子Ain１は、下方に隣接したプロセッシングエレメントの出力端子Aout１に接続され、前記入力端子Ain２は、上方に隣接したプロセッシングエレメントの出力端子Aout２接続されるが、それら入力Ain１、Ain２は、隣接プロセッシングエレメントの活性レジスタ７１から出力される活性ビットデータを伝達する経路を示す。よって、活性ビットAselfがハイ状態であると、ORゲート７０の出力信号がハイ状態となる。
【００３６】
上記入力信号(Ain1,Ain2)は、活性ビットの経路にクロックが印加されると、活性レジスタ７１における活性ビットの状態を維持するようにし、上記活性ビットの新しい値は、後方プロセッサ３１にクロックが印加されると、活性レジスタ７１に格納、設定される。
上記デマルチプレクサ７２は、第１記憶装置１４または第２記憶装置１５から読み出した決定値Dbinにより制御される。前記デマルチプレクサ７２の出力信号（Aout１、Aself、Aout２）は、前記決定値Dbinがそれぞれ-１、０、+１の場合に活性ビット出力と同一値を有する。
【００３７】
上記トライステート（３状態）バッファ７４は、前記活性レジスタ７１における活性ビットがハイ状態‘１’であると、決定値Dbinを両眼視差値(Dbout=Dout)として出力し、活性レジスタ７１における活性ビットがロー状態‘０’であると、該トライステート（３状態）バッファ７４の出力信号Dboutは、高インピーダンス状態となって、他のプロセッシングエレメントに具備された他の後方プロセッサの出力（Dbout）を妨害しないようになる。
【００３８】
このとき、決定値Dbinの代りに両眼視差値を出力することができる。これは、決定値Dbinを出力して両眼視差値の相対的変化を示す場合とは異なって、実際の両眼視差値を示すようになる。
以下、本発明の実施形態によりスキャンライン対において各ピクセルを整合するためのアルゴリズムを説明する。
【００３９】
制御部２３は、上位信号Top、下位信号Bottom及びベース信号Baseを次のように設定する。
上位信号Topが活性化されたプロセッシングエレメントの番号：
jTOP
下位信号Bottomが活性化されたプロセッシングエレメントの番号：jBOTTOM
ベース信号Baseが活性化されたプロセッシングエレメントの番号：
jBASE
０≦jTOP≦jBASE≦jBOTTOM≦N-１
ここで、U[i，j]は、j番目のプロセッシングエレメントのi番目のクロックにおける前方プロセッサ３０のコストレジスタ４３の値を示したものである。すなわち、U[i，j]は、i番目のステップのj番目の前方プロセッサ３０のコストレジスタ値を示す。
【００４０】
まず、初期化動作を説明すると次のようである。
本発明に係るシステムの初期化時には、jBASE番目の累積コストレジスタを除外した全ての累積コストレジスタの累積コスト値を無限大（∞）、つまり略表示し得る最大値に設定する。
すなわち、U[０，j_BASE]=０、
U[０，j]=∞、ここで、j∈[０，j_BASE- _１，j_BASE _＋１，．．．，N-１]
以後、前方プロセッシング及び後方プロセッシングの作動に付いて説明する。
【００４１】
前方プロセッシングは、各ステム(stem)ｊ及びサイト(site)iに対し、次のようなアルゴリズムを利用して最も良い経路及びコストを探す。
i=１から２N に関しては、
各 j∈[０，．．．，N-１]を遂行する。
このとき、 i+j ＝偶数なら、
U[i，j]=min_k _∈ _{-1,0,1},j+_k _∈ _{jBOT,jTOP}U[i-1,j+k]+rk²
P_M[i,j]=arg min_k _∈ _{-1,0,1},j+_k _∈ _{jBOT,jTOP}U[i-1,j+k]+rk²
このとき、 i+j =奇数なら、
U[i，j]=U[i-1,j]+｜g^l[(i-j+1)/2]-g^r[(i+j+1)/2]｜
P_M[i,j]=０
ここで、P_M 及びP_M'は、第１記憶装置１４及び第２記憶装置１５、または第２記憶装置１５及び第１記憶装置１４にそれぞれ対応され、前方プロセッサ３０の出力値である決定値を格納する。また、g^l及びｇ^rは、それぞれ左右映像で同一の水平ライン位置上のi番目のピクセル値を示したものである。且つ、ガンマ(γ)はオクルージョンコストであって、各イメージにおいてあるピクセルが他のイメージと整合しないピクセルに対応される場合のコストとして、パラメータにより決定される。
【００４２】
例えば、５番目のクロックで３番目のプロセッシングエレメントにおける上記前方プロセッシングの方法を説明すると次のようである。
前記５番目のクロック及び３番目のプロセッシングエレメントにおいて、前記５と３との和は偶数となるので、上位プロセッシングエレメントのコストレジスタ値(４番目のプロセッシングエレメントのコストレジスタ値)、下位プロセッシングエレメントのコストレジスタ値(２番目のプロセッシングエレメントのコストレジスタ値)及び自身のコストレジスタ値(３番目のプロセッシングエレメントのコストレジスタ値)をそれぞれ比較して、最小のコストを有するプロセッシングエレメントを求める。もし、上位プロセッシングエレメントのコストレジスタ値が最小のコストとして決定されると、‘+１'を決定値として出力し、下位プロセッシングエレメントのコストレジスタ値が最小のコストとして決定されると、‘-１'を決定値として出力し、自身のコストレジスタ値が最小のコストとして決定されると、‘０'を決定値として出力する。
【００４３】
また、前記クロックの回数と、プロセッシングエレメントの番号との和が奇数であると、決定値は‘０'となるが、左右映像で同じ水平ライン位置上のi番目のピクセル値に係る情報を包含することで、前記前方プロセッシング過程で示されなかった映像情報を包含する。
後方プロセッシングは、次のようなアルゴリズムにより、前方プロセッシングの結果の決定値によって両眼視差値を生成し、出力する。
【００４４】
i=１から２Nであるため、
d[i-１]=d[i]+ P_M'[i, d(i)]を遂行する。
ここで、P_M'[i, d(i)]は、第１記憶装置または第２記憶装置から読み出してi番目のクロックで、活性化ビット１を有する後方プロセッサを介して出力される決定値を示したものである。
【００４５】
前記の活性レジスタ７１は、まず制御部２３により活性化されたリセット信号Resetとベース信号Baseとによって初期化される。前方プロセッサ３０から出力された決定値がP_M[i,j]に格納されると同時に、後方プロセッサ３１は、前のスキャンラインで格納されたP_M'[i,j]の決定値Doutを読み出し、P_M[i,j]及びP_M'[i,j]は、LIFO(Last in First out)の構造を有するスタックとして第１記憶装置１４と第２記憶装置１５とに対応する。
【００４６】
また、同時に作動される前方プロセッシング及び後方プロセッシングが終了すると、上記のP_M[i,j]及びP_M'[i,j]は、それぞれ第２記憶装置１５と第１記憶装置１４とに変えられて次のプロセッシングを処理し、該プロセッシングが終了すると、再び役割が変わる方式により構成される。
このようなアルゴリズムにより、前方及び後方プロセッシングは、プロセッシングエレメントを利用して並列的に処理される。
【産業上の利用可能性】
【００４７】
以上説明したように、本発明に係る非平行光軸リアルタイム３次元映像処理システム及びその方法においては、カメラ角を対象物の位置によって調節可能にすることで観測が容易で、両眼視差値が許容値水準以上にオーバーフローするのを防止することで、３次元空間上の位置及び形態を数値的に演算し得るという効果がある。
また、従来のシステムは、両眼視差値として一定範囲幅の値を有していたが、本発明に係るシステムは、カメラ光軸の角度による測定範囲に適合するように、両眼視差値の範囲が異なるようにする。すなわち、本発明に係るシステムは、最上位プロセッシングエレメントが最大の両眼視差値を示し、最下位プロセッシングエレメントが最小の両眼視差値を示し、ベースプロセッシングエレメントは、両眼視差値を‘０'とするプロセッシングエレメントと仮定するとき、両眼視差値として‘０'を有するベースプロセッシングエレメントの位置を適切に設定することで、出力される両眼視差の基準オフセット値、すなわち、寸法値を調節することができる。
【００４８】
また、本発明は、最上位、最下位及びベースプロセッシングエレメントの設定によって両眼視差の最大及び最小範囲を限定することができるので、外部の測定環境において発生する雑音（ノイズ）により両眼視差の数値範囲を超えた場合、誤った両眼視差の出力を防止するため、両眼視差数値範囲限定手段が更に包含される。実際に本システムをASICチップに具現するとき、従来のリアルタイム３次元映像整合システムは、決定スタックの構成部分が占める空間がプロセッサ全体で多くの部分を占有するようになるが、本発明に係るシステムにおいては、決定スタックないし従来の記憶装置を廉価な外部記憶装置により代替することで製作費用を節減し得るという効果がある。
【００４９】
また、本発明は、決定スタックの機能を遂行する外部記憶装置を二つ付加して、前方プロセッサにより処理された決定値を第１の外部記憶装置に格納する間、後方プロセッサが第２の外部記憶装置からそれに格納されている決定値を読み出して処理し、次のイメージスキャンライン(Scan Line)を処理するとき、前方プロセッサで第２の外部記憶装置に決定値を格納する間、後方プロセッサが第１の外部記憶装置から格納された決定値を読み出す過程を行うようにする。よって、本システムは、先立って処理された決定値を二つの記憶装置の中の何れか一方に交互に格納して、前後方プロセッサが休むことなく連続動作するようにすることで、従来のシステムの２倍以上の速い性能を有するという効果がある。
【図面の簡単な説明】
【００５０】
【図１】本発明に係る非平行光軸リアルタイム３次元映像処理システムの構成を示したブロック図、
【図２】図１の映像整合部(SMC)の詳細構成図、
【図３】図２のプロセッシングエレメントの詳細構成図、
【図４】図３の前方プロセッサの詳細構成図、
【図５】図４の限定比較器の詳細構成図、
【図６】図４の累積コストレジスタ(accumulated cost register)の詳細構成図、
【図７】図３の後方プロセッサの詳細構成図。

Claims

被写体の遠、近距離によって左、右カメラの光軸角を制御する光軸制御手段と、
前記左、右カメラのデジタル映像信号を暫時的に格納し、かつアナログ映像信号をデジタル変換してデジタル映像信号をそれぞれ出力する映像処理部と、
前記左、右デジタル映像信号から最小の整合コストを示す決定値を演算して、該決定値による両眼視差値を出力する映像整合部と、
前記決定値を交互に格納する第１記憶装置および第２記憶装置と、
を具備して構成されることを特徴とする非平行光軸リアルタイム３次元映像処理システム。
前記両眼視差値に従って処理された映像をディスプレイ表示するディスプレイ手段を更に具備することを特徴とする請求項１記載の非平行光軸リアルタイム３次元映像処理システム。
前記映像整合部は、
前記左、右カメラの映像信号をそれぞれ格納する左側及び右側映像レジスタと、
前記左側及び右側映像レジスタから入力される映像からクロック信号により決定値を演算し、前記両眼視差値を出力するプロセッシング手段と、
外部からの選択信号によって、第１記憶装置、第２記憶装置と交互に前記決定値を取り交わす入/出力決定値バッファと、
外部からの制御信号の入力を受けて、前記プロセッシング手段のレジスタ値を設定する設定信号を用いて、前記プロセッシング手段を制御する制御部と、
を具備して構成されることを特徴とする請求項１記載の非平行光軸リアルタイム３次元映像処理システム。
前記制御部は、前記両眼視差値の範囲内に該当する個所にあるプロセッシング手段中、最上位プロセッシング手段を活性化させる上位(Top)信号と、
前記両眼視差値の範囲内に該当する個所にあるプロセッシング手段中、最下位プロセッシング手段を活性化させる下位信号(Bottom)と、
前記両眼視差値の範囲内に該当する個所にあるプロセッシング手段中、両眼視差値が‘０'に該当する個所に位置されたプロセッシング手段を活性化させるベース(Base)信号と、
前記プロセッシング手段を初期化するリセット(Reset)信号と、
から構成された設定信号を各プロセッシング手段に入力することを特徴とする請求項３記載の非平行光軸リアルタイム３次元映像処理システム。
前記決定値バッファは、
前記プロセッシング手段により計算された決定値を第１記憶装置または第２記憶装置に交互に格納し、該第１記憶装置または第２記憶装置から決定値を交互に読み出して前記プロセッシング手段に出力することを特徴とする請求項３記載の非平行光軸リアルタイム３次元映像処理システム。
前記プロセッシング手段は、
前記映像レジスタに格納されたスキャンラインのピクセルの入力を受けて整合コストを計算し、該計算された決定値を前記決定値バッファに出力する前方プロセッシング手段と、
ベース及びリセット信号により制御され、前記決定値バッファから決定値の入力を受けて両眼視差値を出力する後方プロセッシング手段と、
を具備して構成されることを特徴とする請求項３記載の非平行光軸リアルタイム３次元映像処理システム。
前記プロセッシング手段は、
前記前方プロセッシング手段から出力される決定値が決定値バッファ手段の入力になり、該決定値バッファ手段の出力値である決定値が後方プロセッシング手段の入力になることを特徴とする請求項６記載の非平行光軸リアルタイム３次元映像処理システム。
前記前方プロセッシング手段は、
前記左側及び右側映像レジスタから出力されるスキャンラインの各ピクセルの差により整合コストを計算し、該整合コストとコストレジスタからフィードバックされたコストとを加算した後、上位及び下位信号の設定によって、前記加算されたコスト、最上位プロセッシング手段のコスト及び最下位プロセッシング手段のコストの入力を受けて、前記三つのコスト中最小のコストを出力する限定比較手段と、
前記最小のコストを全体のコストとして格納し、該全体のコストとオクルージョンコスト(Occlusion Cost)とを加算して、該加算されたコストを隣接したプロセッシング手段に出力するコスト格納手段と、
を具備して構成されることを特徴とする請求項６記載の非平行光軸リアルタイム３次元映像処理システム。
前記限定比較手段は、
入力される前記三つのコストを比較して上位及び下位コストの入力を受け、最上位プロセッシング手段が活性化されていることを上位信号が報知すると、下位コストを選択し、最下位プロセッシング手段が活性化されていることをベース信号が報知するときは上位コストを選択し、その他の場合は前記入力されるコスト中最小のコストを選択する限定設定手段と、
前記限定設定手段の三つの入力の中の上位及び下位でない残りの一つのコストと前記限定設定手段から出力されるコスト中最小のコストを選択する比較器と、
を包含して構成されることを特徴とする請求項８記載の非平行光軸リアルタイム３次元映像処理システム。
前記コスト格納手段は、
セットまたはリセットされるD-フリップフロップと、
前記リセット信号を受けると、ベース信号に従って前記D-フリップフロップをセットまたはリセットさせるデマルチプレクサと、
を包含して構成されることを特徴とする請求項８記載の非平行光軸リアルタイム立体映像処理システム。
前記コスト格納手段は、
前記リセット信号が活性化されると、ベース信号が活性化されたプロセッシング手段のコスト格納手段が残りのプロセッシング手段のコスト格納手段の値よりも小さい最小値を有するようにすることを特徴とする請求項８記載の非平行光軸リアルタイム３次元映像処理システム。
前記後方プロセッシング手段は、
前記リセット信号の入力を受けて、ベース信号によって活性レジスタのリセット端またはセット端への入力として前記リセット信号を出力する第１デマルチプレクサと、
前記第１デマルチプレクサの制御によってセットまたはリセットされる複数のD-フリップフロップから構成された活性レジスタと、
活性ビットの入力を受け、該活性ビットを論理和して前記活性レジスタへ出力するORゲートと、
前記活性レジスタの出力値を前記決定値に従って出力する第２デマルチプレクサと、
前記活性レジスタの制御によって前記決定値を出力する３状態バッファ(スリーステートバッファ)と、
を包含して構成されることを特徴とする請求項６記載の非平行光軸リアルタイム３次元映像処理システム。
前記活性レジスタは、
前記リセット信号の活性時に、ベース信号が活性化されたプロセッシング手段の活性レジスタだけを活性化させることを特徴とする請求項１２記載の非平行光軸リアルタイム３次元映像処理システム。
一対のカメラ間角度調節手段と、
ある測定距離による最適の映像整合のための両眼視差の最大値及び最小値を制御する制御手段と、
後方プロセッサと前方プロセッサとを連続作動させるために、二つの記憶装置を交互に使用する処理手段と、
を包含して構成されることを特徴とする非平行光軸リアルタイム３次元映像処理システム。
一対の非平行光軸間の角を調節制御することにより被写体を最適で観測するための手段と、
カメラ光軸間の角度に従って、両眼視差のオフセット値を調節制御し、両眼視差数値範囲を限定するプロセッシングエレメント設定手段と、
前記プロセッシングエレメント設定手段に連結された外部記憶装置に対し、前記決定値を格納し、かつ読出しする手段と、
前記決定値を格納または読出しするための第１及び第２記憶装置を交互に使用するインターフェース手段と、
を包含して構成されることを特徴とする非平行光軸リアルタイム３次元映像処理システム。
リアルタイム３次元映像処理システムの作動方法が、
被写体の遠、近距離に応じて最適の観測と効率的な映像整合を得るために左、右カメラの光軸値を調節制御し、
前記左、右カメラの映像信号をデジタル変換し、
そのデジタル変換された前記左、右カメラの映像信号から決定値を演算し、該決定値による両眼視差値を出力する、
ことを順次遂行することを特徴とする非平行光軸リアルタイム３次元映像処理方法。
前記出力ステップは、
前記決定値を第１および第２記憶装置に交互に格納し或いは前記第１および第２記憶装置から交互に前記決定値を読み出すステップを更に具備することを特徴とする請求項１６記載の非平行光軸リアルタイム３次元映像処理方法。
前記出力ステップは、
前記デジタル変換された映像信号を受け、前記決定値（Dbin）を演算し、かつ該決定値（Dcout）を第１記憶装置に格納し、
前記格納された決定値を利用して両眼視差値を演算する、
ことを順次遂行するステップを具備することを特徴とする請求項１６記載の非平行光軸リアルタイム３次元映像処理方法。
次の映像信号を受信し、決定値を演算し、かつ該決定値を第２記憶装置に格納し、
該格納された決定値を利用して両眼視差値を演算する、
ステップを更に具備したことを特徴とする請求項１８記載の非平行光軸リアルタイム３次元映像処理方法。
前記第１記憶装置に前記決定値が格納される間、前記第２記憶装置に格納された決定値を利用して両眼視差値を演算することを特徴とする請求項１８記載の非平行光軸リアルタイム３次元映像処理方法。
前記第２記憶装置に前記決定値が格納される間、前記第１記憶装置に格納された決定値を利用して両眼視差値を計算することを特徴とする請求項１９記載の非平行光軸リアルタイム３次元映像処理方法。
前記格納ステップは、
ベース信号によって前方プロセッシング手段を初期化し、
外部から入力されるクロック信号の回数と前記決定値の計算に利用されるプロセッシング手段の番号とを加算し、
その加算結果に従って決定値を演算する、
ステップを具備することを特徴とする請求項１８記載の非平行光軸リアルタイム３次元映像処理方法。
前記加算結果が偶数であると、上位信号及び下位信号中何れの信号が活性化されるかを判断して、その判断結果に従って各決定値を演算することを特徴とする請求項２２記載の非平行光軸リアルタイム３次元映像処理方法。
前記判断の結果、前記上位信号だけが活性であると、上位コスト、下位コスト及び累積コストの中の該上位コストを比較対象から排除し、
前記下位コストと累積コストとだけを比較して最小のコストを格納し、
該最小のコストが累積コストであるか下位コストであるかを報知する情報を決定値として決定することを特徴とする請求項２３記載の非平行光軸リアルタイム３次元映像処理方法。
前記判断の結果、前記下位信号だけが活性であると、上位コスト、下位コスト及び累積コストの中の前記下位コストを比較対象から排除し、
前記上位コストと累積コストとだけを比較して最小のコストを格納し、
該最小のコストが累積コストであるか、上位コストであるかを報知する情報を決定値として決定することを特徴とする請求項２３記載の非平行光軸リアルタイム立体映像処理方法。
前記判断の結果、前記上位信号及び下位信号の何れもが活性でないと、
上位コスト、下位コスト及び累積コストの中の最小のコストを格納し、上位コスト、累積コスト、下位コストにおける最小のコストを報知する情報を決定値として決定することを特徴とする請求項２３記載の非平行光軸リアルタイム３次元映像処理方法。
前記加算結果が奇数であると、‘０'値を決定値として決定し、入力された一対の映像ピクセル値の差の絶対値を格納されたコストに加算することを特徴とする請求項２２記載の非平行光軸リアルタイム３次元映像処理方法。
前記演算ステップは、
ベース信号によって後方プロセッシング手段を初期化し、
活性化されたプロセッシング手段の決定値の入力を受けて以前に演算された両眼視差値に加算し、該加算された値を両眼視差値として出力する、
ステップを具備することを特徴とする請求項１８記載の非平行光軸リアルタイム３次元映像処理方法。