JP2022140119A - 点群ノイズ除去装置及びプログラム - Google Patents

Abstract

【課題】局所的な3D座標の誤りに対処して点群のノイズ除去を行うことのできる点群ノイズ除去装置を提供する。【解決手段】複数のカメラ画像から算出されている入力点群に対して、入力点群の各点をノードとし、近傍の点との間にエッジを設けることでグラフ化点群を得るグラフ構築部11と、グラフ化点群の各エッジについて、複数のカメラ画像における見え方の一貫性が大きいほど値が小さい一貫性重みを付与する一貫性算出部13と、グラフ化点群の各点の位置に少なくとも基づくコスト関数であって、各エッジに対応する各点について、エッジに付与された一貫性重みが課されるコスト関数を最小化するように各点の座標を更新することにより、複数のカメラ画像における局所的な見え方の一貫性を増大させたものとして入力点群からノイズ除去した出力点群を得る点群座標更新部15と、を備える。【選択図】図１

Description

本発明は、点群のノイズを除去する点群ノイズ除去装置及びプログラムに関する。

従来、RGB-Dカメラやステレオカメラ、Lidarなどの撮影装置によって被写体オブジェクトの形状を3次元（3D）空間上の点集合（点群）として獲得する技術が提案されている。これら点群の獲得においては、形状獲得における深度推定誤差やセンサーの加法性ノイズなどにより、点の3D座標にノイズが含まれることが一般的である。近年では、点同士の局所的な幾何関係に基づきそれら点をノードとしたグラフを構築することで、ノイズを除去し高い品質の点群を得る技術も提案されている（非特許文献1）。ここで、これら技術は上記の通り、撮像系のセンサーノイズ等によって点群に均一に付与されるノイズ（例：ガウシアンノイズ）を除去することを目的としており、各点に同等のノイズ除去処理を適用する技術となっている。

特開2016-071645号公報（オブジェクト３次元モデル復元方法、装置およびプログラム）

C. Dinesh, G. Cheung and I. V. Bajic, "Point Cloud Denoising via Feature Graph Laplacian Regularization," in IEEE Transactions on Image Processing, vol. 29, pp. 4143-4158, 2020 S. Shekkizhar and A. Ortega, "Graph Construction from Data by Non-Negative Kernel Regression," 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp. 3892-3896. D.I.Shuman, S.K.Narang, P. Frossard, A.Ortega, and P. Vandergheynst, "The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains," IEEE Signal Process. Mag., vol. 30, no. 3, pp. 83‐98, May 2013.

一方、特許文献1などで提案されている自由視点映像などの技術では、複数の撮影装置の情報を統合することで、対象3D空間上の被写体オブジェクトの形状を点群やポリゴンモデルとして得ている。このとき、複数撮影装置の配置や台数、装置ごとの映像処理に起因する推定誤差がオブジェクト形状に反映される。前述のセンサー起因のノイズなどとは異なり、このとき含まれる誤差は点群（オブジェクト形状）の局所的な3D座標の誤りとなる。

自由視点映像などの従来技術の映像品質においては、この局所的なオブジェクト形状の誤りが支配的であり、最終的に得られる合成映像の品質向上のためには、これら誤りを修正する技術が必要となる。しかしながら、前述のとおり非特許文献1等のノイズ除去では、各々の点に付与されたノイズを等価に扱うため、この局所的な誤りを修正することはできない。

上記従来技術の課題に鑑み、本発明は、局所的な3D座標の誤りに対処して点群のノイズ除去を行うことのできる点群ノイズ除去装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、点群ノイズ除去装置であって、複数のカメラ画像から算出されている入力点群に対して、当該入力点群の各点をノードとし、近傍の点との間にエッジを設けることでグラフ化点群を得るグラフ構築部と、前記グラフ化点群の各エッジについて、前記複数のカメラ画像における見え方の一貫性が大きいほど値が小さい一貫性重みを付与する一貫性算出部と、前記グラフ化点群の各点の位置に少なくとも基づくコスト関数であって、各エッジに対応する各点について、当該エッジに付与された一貫性重みが課されるコスト関数を最小化するように各点の座標を更新することにより、前記複数のカメラ画像における局所的な見え方の一貫性を増大させたものとして前記入力点群からノイズ除去した出力点群を得る点群座標更新部と、を備えることを特徴とする。また、コンピュータを前記点群ノイズ除去装置として機能させるプログラムであることを特徴とする。

本発明によれば、局所的な3D座標の誤りに対処して点群のノイズ除去を行うことができる。

一実施形態に係る点群ノイズ除去装置の機能ブロック図である。 ノードとエッジ（及びエッジの重み）で構成されるグラフの模式例を示す図である。 カメラインデックスの模式例を示す図である。 点群に対応する複数の映像のカメラを模式的に示す図である。 点群ノイズ除去装置を利用する構成の一例を機能ブロック図として示す図である。 画素値一貫性の値g_i,j（第１実施形態）の模式例を示す図である。 画素値一貫性の値g_i,j（第２実施形態）の模式例を示す図である。 点群座標更新部による点群pの座標更新の態様を模式的に示す図である。 一般的なコンピュータにおけるハードウェア構成を示す図である。

図１は、一実施形態に係る点群ノイズ除去装置の機能ブロック図である。点群ノイズ除去装置10は、グラフ構築部11、カメラ対応点算出部12、インデックス一貫性算出部131及び画素値一貫性算出部132を含む一貫性算出部13、グラフ重み更新部14及び点群座標更新部15を備える。

点群ノイズ除去装置10の全体的な動作として、入力される点群（並びにこの点群に対応するカメラ映像及びカメラパラメータ）をグラフ構築部11（並びに一貫性算出部13及びカメラ対応点算出部12）において読み込み、この点群の座標を更新することで局所的なノイズを除去した点群を点群座標更新部15から出力する。（この点群ノイズ除去装置10の全体的な動作は、後述する図５のような構成の枠組み内において実施することも可能である。）このための点群ノイズ除去装置10の各部の処理内容の概要は以下の通りである。

グラフ構築部11は、点群を入力とし、それら点の局所的な関係性に基づきグラフを構築したグラフ化点群をカメラ対応点算出部12及びグラフ重み更新部14へと出力する。カメラ対応点算出部12は、カメラパラメータの情報を利用することにより、グラフ化点群を構成する各点について、各カメラ映像との対応関係を算出して紐づけた結果を一貫性算出部13へと出力する。

一貫性算出部13では、グラフ化点群を構成する各エッジについて、点群の点の局所的な一貫性を評価した指標を算出し、この各エッジの指標をグラフ重み更新部14へと出力する。この各エッジの指標についての具体例として、１種類の指標を算出するのがインデックス一貫性算出部131であり、別の１種類の指標を算出するのが画素値一貫性算出部132である。インデックス一貫性算出部131では、カメラ対応点算出部12から得た、点群の各点におけるカメラ映像との対応情報から、各点の近接点との対応カメラのインデックスの差異を評価することで指標を算出する。画素値一貫性算出部132では、点群にマッピングされたカメラ映像の差異を評価することで指標を算出する。

グラフ重み更新部14は、一貫性算出部13で得た各エッジの指標に基づき、グラフ化点群の各エッジの重みを更新して、当該重み更新されたグラフ化点群を点群座標更新部15へと出力する。点群座標更新部15では、当該更新されたグラフ重みに基づき点群座標を更新し、点群ノイズ除去装置10からの出力としての座標更新された点群を得る。

以下、これら各部の処理内容の詳細についてさらに説明する。

<<グラフ構築部11>>
グラフ構築部11では、複数の撮影装置から得られた点群を入力とし、そのグラフを生成する。ここで、グラフとは図２に模式例を示すように、ノード集合V∋p_iとエッジ集合E∋e_i,jからなる集合をさす。点群を構成する各点をノードp_iとし、ノード（点）p_iとノードp_j間をつなぐエッジをe_i,jとすることで、グラフ化した点群を得ることができる。

ここで、入力される点群は3D空間上の座標をもつ点の集合として与えられ、上記のようにグラフの各ノードに対応させる。加えて、各点をグラフとするためには、上記のようにノード間の接続関係をエッジとして設定する必要がある。この操作については非特許文献1に則り、3D空間上のユークリッド距離から算出される距離指標に基づき、距離が近い上位側のK番目（Kは1以上の整数として予め与えておく）までの近傍点を接続する方法をとる（K近傍法）ようにしてよい。この際に用いられる距離指標などがそれぞれのノード間のエッジ重みとなり、出力するグラフ化点群にはこのエッジ重みの情報も紐づけておく。一例として、非特許文献1では3次元空間上の点p_i(=[x_i,y_i,z_i])と点p_j間のエッジ重みw_i,jは次の式(1)のとおりに算出される。

ここで、σはユーザ設定や点座標の分散などから与えられるパラメータ変数である。以後、特に断りなくp_iとした際には、簡単のために3次元ワールド座標系の点および座標を示すものとして記述するが、他の空間（座標系）を用いてもよい。加えて、点群を構成する点の全部（すなわち、集合としての点群）をp=[p₁,p₂,…,p_N]^T（Nは点群の点数）とする。また、この重みw_i,jについては、点群の構造に基づくものであれば特に制限はなく、式(1)のように距離が小さいほど大きな値となる任意の重みを用いてよい。グラフの構築手法についても非特許文献2などに代表されるK近傍法以外の技術の利用も可能である。

<<カメラ対応点算出部12>>
カメラ対応点算出部12では、後段の処理に必要となる情報として、グラフ化点群の各点とカメラ映像との対応関係を算出し、各点にこの対応関係（カメラ対応点の情報）を紐づけて一貫性算出部13へと出力する。

例えば、特許文献1に記載の自由視点映像などの「複数のカメラを利用しオブジェクト形状を獲得する方法」においては、事前にカメラと3D空間の幾何的な対応関係（カメラパラメータ）が算出されているので、本実施形態のカメラ対応点算出部12でも同様に、このカメラパラメータの情報を既知のものとして利用するようにしてもよいし、任意の既存手法（例えば画像内から環境内に配置してある正方マーカを検出する手法）により、カメラ映像を解析してこのカメラパラメータを動的に算出するようにしてもよい。この対応関係を基に点群pの各点p_iがカメラ映像に映っているか否かを判定し、カメラインデックスf_i=[C₁,C₂,…,C_M]∈{0,1}^M（Mは総カメラ台数であって2以上）として保存する。例えば、図３に模式例を示すように、点p_iがカメラaの画角に映っている場合に、a番目のフラグC_aを1（2値のうち映っていることを表す値）とし、そうでない場合に0（2値のうち映っていないことを表す値）とする、といった形で2値の値（参照カメラフラグ）を割り振ることができる。すなわち、カメラインデックスf_iは、各カメラaの参照カメラフラグの値C_aを列挙したベクトルとして得ることができる。

なお、カメラパラメータを用いて単純に各点p_iを各カメラa(a=1,2,…,M)の映像（すなわち、カメラaの画像平面）に逆投影した場合には、「実際には他の点やオブジェクトによって遮蔽され映像には映らない点」もカメラの画角に含まれてしまう。これについては既知のオクルージョン判定技術をもちいることで被遮蔽点を判別し、当該被遮蔽点の対応カメラの参照カメラフラグの値を0（映っていない）とするようにして、単純に画角範囲内にあるか否かのみでなく、オクルージョンも考慮したものとして、カメラインデックスf_iを得るようにしてもよい。オクルージョン判定のためには、点群pを３次元モデルとして得た際のモデル情報（例えば、点群pの各点がポリゴンの頂点となるようなポリゴンモデルとして得られている場合の、モデル表面に対応するポリゴン情報）を既知のものとして利用するようにしてもよい。

さらに、追加の処理として、各点p_iのカメラインデックスに関して、値が1（映っている）であるカメラaについては、対応するカメラ座標o_a ⁱ=(x_a ⁱ,y_a ⁱ)を算出し、それぞれ対応する値を並べた配列v_i=[o₁ ⁱ,o₂ ⁱ,…,o_M ⁱ]として保存する。（この際、フラグが0に対応するカメラの値については無効値（対応するカメラ座標は存在せず、映っていないことを表す値）を保存するようにしてもよい。）

なお、カメラ対応点算出部12でカメラパラメータの情報を利用するM台のカメラについては、グラフ構築部11へ入力される点群pに対応するものとして、その情報が予め既知であるものとする。図４は、このM台のカメラC-1,C-2,C-3,…,C-Mを模式的に示すものであり、これらこのM台のカメラC-1,C-2,C-3,…,C-Mのそれぞれは、3D空間内の対象物OBの全体または一部を撮影するように配置されることで各カメラ映像を得ており、点群pは、このような対象物OBを構成するものとして得られたものを、グラフ構築部11への入力として利用する。また、このM台のカメラC-1,C-2,C-3,…,C-Mが共通時刻tにおいて得ている各カメラ映像（点群pに対応するカメラ映像）は、後述する画素値一貫性算出部132における入力としても利用される。

従って、本実施形態の点群ノイズ除去装置10は、図５に示すように、既存の点群生成装置20の後段側に配置して利用することも可能である。点群生成装置20は、図４で示したような複数のカメラ映像（及びこの複数のカメラパラメータ）を入力として読み込み、撮影されている対象物OBをモデル化した点群p（ノイズが含まれている）を点群ノイズ除去装置10へと出力する。点群ノイズ除去装置10では、この点群pと、点群生成装置20にも入力された複数のカメラ映像及び対応するカメラパラメータと、を入力として読み込み、座標更新によってノイズ除去された点群を出力することができる。点群生成装置20としては、例えば視体積交差法により複数のカメラに撮影されている対象物OBの3Dモデルとして点群pを出力するような、任意の既存のものを用いてよい。

なお、３次元コンピュータグラフィックス等の分野において既知のように、カメラパラメータのうち外部パラメータにより図４に示されるような３次元空間内でのカメラ配置（カメラの位置及び撮影方向としての姿勢）が定まり、内部パラメータにより撮影の際の各カメラの画像平面へのマッピングの関係（画角の範囲の情報も含まれる）が定まる。

<<インデックス一貫性算出部131>>
カメラ対応点算出部12において算出された点群pの各点p_iのカメラインデックスf_iを用いて、各点p_iの近傍点とのカメラインデックスの差異を算出する。ここで、近傍点とはグラフ構築部11において生成されたグラフ構造において、エッジによって当該点p_iに接続されている点を用いてよい。

理想的に滑らかな点群によってオブジェクト形状が表現されている場合、ある点p_iとその近傍点p_jの参照カメラフラグ集合としてのカメラインデックスはおおよそ似ていることが想定される。反面、周囲とは全く異なるカメラを参照している点（すなわち、カメラインデックスがほとんど似ていない点）については点群構成時による誤りである可能性が高い。その近傍点との参照カメラの差異を、点p_iの近傍点p_jにおけるカメラインデックスの差分d_i,jを用いて以下の式(2)のように表現する。

ここでHam(,)は二つのベクトル（式(2)では関数への引数としてのf_i及びf_j）のハミング距離を返す関数であり、二つのカメラインデックスf_i,f_jの一致度合いに応じてM以下0以上の値がハミング距離（それぞれがM要素からなるカメラインデックスf_i,f_j間において不一致のインデックスの個数）として返される。（すなわち、完全一致の場合に最小距離の0が返され、完全不一致の場合に最大距離のMが返される。）当該ハミング距離Ham(,)をMで規格化したものとして差分d_i,jは、完全一致の場合に最小値0となり、完全不一致の場合に最大値1となる。なお、ハミング距離は一例であり、二つのカメラインデックスf_i,f_jの一致度合いが大きいほど値が小さくなるような他の距離関数も利用可能である。

インデックス一貫性算出部131では以上のようにして、グラフ化された点群pの各エッジe_i,jについてのカメラインデックスの差異d_i,jを、点群の局所的な見え方（点群に対応するカメラ映像を取得した複数のカメラからの見え方を、各カメラで見えているか否かの状態で評価したもの）の不一致度合いが大きいほど当該局所的な領域がノイズ影響をより大きく受けていることを表す指標の１種としてグラフ重み更新部14へと出力する。

<<画素値一貫性算出部132>>
画素値一貫性算出部132は、カメラ対応点算出部12において前記算出された点群pの各点p_iに対応するカメラ映像内の座標情報v_i=[o₁ ⁱ,o₂ ⁱ,…,o_M ⁱ]に基づき、カメラ間の画素値の一貫性（誤差）を算出する。ここで、密な点群が「理想的に正しい3D座標」に配置され、かつカメラのホワイトバランス等の設定が適切にされておりカメラ間の色味が調整されている場合、（また、異なるカメラ映像における同一箇所の光沢の有無などのような形で光源方向の影響が大きく現れる状況にはない場合、）すべてのカメラ映像からひとつの点にマッピングされる画素値はおおむね近い値になることが想定される（当該点を映していないカメラ映像は除く）。

なお、上記が適切に設定されていない場合においては、処理の前段階として、画像内の特徴的なオブジェクトやカラーチャートを用いて、すべてのカメラ間の色味を合わせるように色調補正を行ってもよい。（すなわち、図１や図５の構成における入力としての複数のカメラ映像について、このような色調補正を適用するようにしてもよい。）

上記想定に基づき、前記v_iの有効値に対応するすべてのカメラ映像の画素を点p_iにマッピングした際のばらつきから、点群の3D座標の誤り度を示す指標g_iを次の式(3)の通り算出する。（なお、各点p_iの3D座標値自体は前述の通りp_i=[x_i,y_i,z_i]として一意に与えられているが、本来の値に対して誤差を含んでいる可能性がある。この指標g_iは、同じ点は同じ画素値として映像上に見えているはずであるという前述の前提により、対応する画素値を介して本来の理想的な3D座標値に対する誤り度を推定したものとなっている。）

ここで、s()は入力点p_iにマッピングされた画素値の標準偏差を出力する関数である。分母の255は画素値が8ビットの範囲で与えられる前提での規格化項であり、画素値が取りうる範囲が異なる場合は別の値の規格化項を用いてもよい。なお、標準偏差算出の際、代表値として平均値ではなく中央値などを用いてもよい。また、p_iの座標が誤っていた場合でも、まれに類似の画素値がマッピングされg_iが小さな値となる場合が想定される。しかしながら、ここで得られた指標g_iは後段側の点群座標更新部15における座標更新のエッジごとの重みを調整するものであり、この点群座標更新部15では別途グラフ全体の構造を考慮しているため、大多数の点p_j(点p_iのように偶然によりg_iが小さくなってしまう現象は発生していない、その他の大多数の点p_j)の指標g_jの影響により全体としては大きく破綻のない更新となることが期待される。

すべての点p_iに対して指標g_iが算出されたのちに、エッジe_i,jで接続された2点p_i,p_jの指標g_iおよびg_jの平均値g_i,j=(g_i+g_j)/2を対応するエッジe_i,jの画素値一貫性の値g_i,jとして、グラフ重み更新部14へと出力する。なお、カメラ映像のチャネルが複数ある場合は、チャネルごとにg_i,jを算出した後に、それらの平均値などのスカラー値へと変換する。

図６は、以上のように算出する画素値一貫性の値g_i,j（第１実施形態）の模式例を示す図である。図６の例では、点p_iについては3つのカメラ1,2,3の３つの画素値px(1),px(2),px(3)が対応しており、これら3画素値の標準偏差を用いて式(3)からg_iを算出し、点p_jについては3つのカメラ3,4,5の３つの画素値px(3),px(4),px(5)が対応しており、これら3画素値の標準偏差を用いて式(3)からg_jを算出し、以上の平均として指標g_i,j=(g_i+g_j)/2をエッジe_i,jの値として算出することができる。なお、上記は模式例としての一例であり、ひとつの点のg_iの算出に利用されるカメラ台数を3台に限定するものではない。（点群と対応するカメラ映像との状況によってg_iの算出に利用されるカメラ台数は様々に変わりうるものとなる。）

上記は点ごとの画素値の一貫性に着目したものであるが、画素値一貫性算出部132の第２実施形態として、3点で構成されるポリゴンにマッピングされるテクスチャの情報の一貫性を参照してもよい。図７は、画素値一貫性の値g_i,j（第２実施形態）の模式例を示す図である。図７に示されるように、ある3点p_i,p_j,p_kから構成されるポリゴンPとしたときに、このポリゴンPに対してカメラaからマッピングされたテクスチャ画像をt^a _Pとする。同様にカメラbからマッピングされるテクスチャt^b _Pとしたときに、以下の式(4)の平均絶対誤差d_tPを算出する。

ここでt^a _P、t^b _Pはマッピング後のテクスチャであり、和Σはラスタライズされた（画素間の値が補間された）画像の画素ごとの絶対値差分をとった後に和をとることを表す。（すなわち、テクスチャt^a _P及びt^b _Pは同一の3点p_i,p_j,p_kを頂点とするものであるが、カメラa,bの位置姿勢の違いによってマッピングした際の三角形としての形状や大きさが互いに異なる（偶然で一致する場合を除く）ため、その形状及び大きさをいずれか片方に一致させるようにもう一方を変形（3点p_i,p_j,p_kをそれぞれ一致させるように変形）及びラスタライズしたうえで、和を取るようにすればよい。）N_tは上記ラスタライズされた画像に含まれる画素数である。

点p_iに対応するすべてのカメラの組（前述のカメラインデックスf_i=[C₁,C₂,…,C_M]や配列v_i=[o₁ ⁱ,o₂ ⁱ,…,o_M ⁱ]により点p_iが見える状態にあるすべてのカメラの組）に対して平均絶対誤差d^t _Pを算出し、その標準偏差S(d^t _P)を求める。また、ある1つのエッジe_i,jが属するもう一つのポリゴンP'についても同様にその標準偏差S(d^t _P')を算出し、当該１つのエッジの両端の２点p_i,p_jに対応する２つの標準偏差S(d^t _P)とS(d^t _P')の平均をとることで、第２実施形態の画素値一貫性算出部132からの最終的な出力g_i,jとする。

なお、ある１つのエッジe_i,jについて、その両端の2点p_i,p_jとの間でグラフにおけるエッジe_i,m、e_j,mが設定されている別の点p_mが３個以上存在する場合は、距離が小さい側の上位２点（グラフ構築部11で計算したエッジ重み(w_i,m+w_j,m)が大きい側の上位２点）で、以上の２つのポリゴンP,P'を構成すればよい。あるいは、３個以上のL個の別の点p_mが2点p_i,p_jとの間でエッジe_i,m、e_j,mを設定されている場合、これらL個の点を全て利用してL個のポリゴンにおける標準偏差を全て求めそれらの平均として指標g_i,jを得るようにしてもよい。あるいは、エッジ重み(w_i,m+w_j,m)の大きさが最上位の１個のみのポリゴンp_i,p_j,p_mにおける標準偏差を指標g_i,jとして得るようにしてもよい。

なお、画素値一貫性算出部132による指標g_i,jについて、第１実施形態の値をg1_i,jとし、第２実施形態の値をg2_i,jとして、これら両方を算出してその平均(g1_i,j+g2_i,j)/2あるいは重みづけ和として最終的な指標g_i,jを出力するようにしてもよい。

なお、画素値一貫性算出部132による以上の処理について、RGB色チャネル等の通常の画像で構成されるカメラ映像を用いる場合を想定して「画素値」と表現したが、深度センサー（深度カメラ）の画像（デプス画像）を用いた場合においては、「各センサーの取得した深度値から算出される3次元座標」を用いてもよい。すなわち、RGB等の通常の画像における画素値が、デプス画像の場合は深度値であるものとしてデプス画像の画素値を定義することで、デプス画像についても同様に処理を行うことができる。（なお、インデックス一貫性算出部131（及びカメラ対応点算出部12）についても通常の画像の手法と同様にしてデプス画像を用いるようにすることができる。）

画素値一貫性算出部132では以上のようにして、グラフ化された点群pの各エッジe_i,jについての画素値一貫性の値g_i,jを、点群の局所的な見え方（点群に対応するカメラ映像を取得した複数のカメラからの見え方を、点群の各点の映像における画素値のカメラ間での一致度合いによって評価したもの）の不一致度合いが大きいほど当該局所的な領域がノイズ影響をより大きく受けていることを表す指標の１種としてグラフ重み更新部14へと出力する。

<<グラフ重み更新部14>>
グラフ重み更新部14は、インデックス一貫性算出部131及び画素値一貫性算出部132にて算出された指標d_i,j及びg_i,jを用いて、点群のグラフの重みw_i,jを以下の式(5a)の通りw'_i,jへと更新する。このとき、グラフ構造は変化しない。（すなわち、重みの値がw_i,jからw'_i,jへと更新されるのみであり、グラフ化点群を構成する各点p_i及びその3D座標値p_i=[x_i,y_i,z_i]や各エッジe_i,jの変化（追加や削除など）はない。）

なお、上記更新においてはd_i,jまたはg_i,jのいずれかのみを用いてもよい。（一方のみを用いることは、上記式(5a)にて用いない側の一方（d_i,jまたはg_i,j）を1とすることと等価である。）また、式(5a)に代えて次の式(5b)のように各一貫性（及び更新前の重み）との線形和をとる形をとってもよい。

ここで、α、β、γは各一貫性またはグラフの重みw_i,j の強度を決定するユーザ設定のパラメータである。上記更新式(5a),(5b)は、点群を複数カメラから参照する一貫性が強いほど更新後の重みw'_i,jを小さくするように作用し、次の点群座標更新部16の最適化によるノイズ除去の強度を変更する（一貫性の低い点に集中的にノイズ除去の効果を適用する）ことにつながる。

<<点群座標更新部15>>
点群座標更新部15は、グラフ重み更新部14でエッジの重みが更新されたグラフを用いて、点群の座標を更新する。この更新には非特許文献1にて提案された方法（この方法をそのままではなく、本実施形態で更新された重みw'_i,jを利用する）を用いて、下記の手順(1)～(3)のように実施してよい。

手順(1) 以下の式(6)で要素a_i,j(i行j列の要素)が与えられる近接行列Aを算出し、以下の式(7)で要素d_j,j(j行j列の対角要素)が与えられる対角行列Dを算出する。（なお、対角行列Dにおいてi≠jの非対角要素d_i,j=0であり、前述の通り点群pに属する点の個数をNとして対角行列DのサイズはN×Nとなる。）。

手順(2) 上記の対角行列Dと近接行列Aの差分としてグラフラプラシアンL=D-Aを算出する。

手順(3) 以下の式(8)で与えられるコスト関数cost(p)の最適化（最小化）を実施する。最適化には任意の既存の数値計算手法を用いてよい。

式(8)の変形後の2行のうち1行目（以下同様）のn(p)^TLn(p)は非特許文献1に記載の「グラフラプラシアンLと各点の法線ベクトルの集合n(p)からなるグラフの滑らかさ（点群の形状の滑らかさ）」につながる正則化項（エッジの両端の２点の法線n_i,n_jの向きを揃えるように作用する正則化項）であり、上記式(8)の2行目の通り、本実施形態では各点p_iの法線ベクトルn_i（入力点群pに付随する3Dモデル情報においてこの法線n_iの情報を、点群p内の各点p_iの配置関係から算出可能なものとして予め紐づけておけばよい）と更新重みw'_i,jからなる。3Dモデルに紐づいていなければ、例えば点p_iの属するポリゴン（１つあるいは複数）から法線n_iを導出する等による、任意定義の法線を用いてもよい。この正則化については、非特許文献3などに記載の「法線ベクトルを用いずに、点pの座標などに従属する他の正則化」を行ってもよい。例えば式(8)に代えて後述の式(9)で法線ベクトルを利用せずに最適化してもよい。また式(8)の2行目の第１項にあるq=[q₁,q₂,…,q_N]^Tは点群の最適化前の座標を示し、γはノイズ除去の強度を調整するユーザ設定のパラメータである。（式(9)でも同様である。なお、式(5b)のγと式(8),(9)のγとは別のものとして扱われるものである。）この最適化の結果として滑らかな（ノイズの少ない）点群pを得る。

また、式(8)の２行目の第１項||p-q||_l ^lは、l-距離（ベクトルの各要素のl乗和のl乗根）をl乗したものであり、座標更新自体のコスト項として作用する。（式(9)でも同様である。）同様に２行目の第２項||n_i(p)-n_j(p)||_u ^uは、法線要素同士の差分のu-距離をu乗したものとなり、更新重みw'_i,jの存在によって、この重みが大きいようなエッジに対応する２点p_i,p_jの法線方向を近づけるようなコスト項として、２点p_i,p_jの座標を更新させる方向へと作用する。l距離やu距離はそれぞれ、l=1,2やu=1,2等を用いてもよいし、その他の設定を用いてもよい。

なお、式(8)の最適化は明に解くのが困難であるため、数値計算等により近似的な解として求めるようにすればよい。式(9)の場合は最小２乗法等により明に最適解を求めてもよい。

図８は、点群座標更新部15による点群pの座標更新の態様を模式的に示す図である。図8の上段側に示すように更新前の点群pのうち一部として４つの点p₁,p₂,p₃,p₄があり、更新対象の点として点p₁を考え、３点p₂,p₃,p₄との間にエッジが設定され、前者２点p₂,p₃との間のエッジの更新重みw'_1,2及びw'_1,3は相対的に大きく、後者１点p₄との間のエッジの更新重みw'_1,4は相対的に小さいものとする。この場合、式(8)のコスト関数cost(p)を最小化するように、重みの大きな２点p₂,p₃の法線と当該１点p₁の法線とを近づけるように座標更新が働くことで、１点p₁は図８下段側に示すように、重みの大きな２点p₂,p₃に近づくように座標更新される場合があることが想定される。（この結果、１点p₁と２点p₂,p₃との複数カメラ映像における見え方の一貫性が増大することで、ノイズ除去の効果が期待できる。）（なお、実際には１点p₁だけでなく、３点p₂,p₃,p₄やこれ以外の点群pの点も全て座標更新され、式(8)の場合であれば法線方向の正則化も作用するため、図８上段側のような状況で必ず図８下段側のように更新される、というわけではない。）

以上、点群ノイズ除去装置10の各実施形態によれば、複数の撮影装置から獲得される点群に関して、局所的な3D座標の誤りによるノイズを除去して、より高い精度の点群を得ることが可能になる。以下、種々の補足例、追加例、代替例などに関して説明する。

（１） 本発明の実施形態によれば、その応用例として、拡張現実表示により遠隔に存在する３次元オブジェクト（ノイズ除去された点群から得られる3Dモデルより仮想空間内に高精度に描画する３次元オブジェクト）を、臨場感を持って体感する等が可能となる。これにより、実際の遠隔地に向かうことを必須とせず、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。

（２） 図１中に線L1として示すように、点群座標更新部15で3D座標が更新された点群を、再度、グラフ構築部11へと入力し、点群ノイズ除去装置10全体において、所望の品質に至るまで点群ノイズ除去処理を繰り返すようにしてもよい。

（３） 図９は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。点群ノイズ除去装置10（及び図５の点群生成装置20、以下同様）は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で点群ノイズ除去装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。

点群ノイズ除去装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。点群ノイズ除去装置10による処理結果等はディスプレイ76で表示して出力してよい。点群ノイズ除去装置10への入力として用いる映像の全部又は一部をカメラ78で撮影して得るようにしてもよい。

10…点群ノイズ除去装置、11…グラフ構築部、12…カメラ対応点算出部、13…一貫性算出部、14…グラフ重み更新部、15…点群座標更新部、131…インデックス一貫性算出部、132…画素値一貫性算出部

Claims (13)

1. 複数のカメラ画像から算出されている入力点群に対して、当該入力点群の各点をノードとし、近傍の点との間にエッジを設けることでグラフ化点群を得るグラフ構築部と、
   前記グラフ化点群の各エッジについて、前記複数のカメラ画像における見え方の一貫性が大きいほど値が小さい一貫性重みを付与する一貫性算出部と、
   前記グラフ化点群の各点の位置に少なくとも基づくコスト関数であって、各エッジに対応する各点について、当該エッジに付与された一貫性重みが課されるコスト関数を最小化するように各点の座標を更新することにより、前記複数のカメラ画像における局所的な見え方の一貫性を増大させたものとして前記入力点群からノイズ除去した出力点群を得る点群座標更新部と、を備えることを特徴とする点群ノイズ除去装置。
2. 前記一貫性算出部では、前記グラフ化点群の各エッジの両端点において、前記複数のカメラ画像のそれぞれにおいて映っている状態または映っていない状態のいずれに該当するかを表すカメラインデックスを算出し、当該両端点におけるカメラインデックス同士が類似しているほど値が小さいものとして、前記一貫性重みを付与することを特徴とする請求項１に記載の点群ノイズ除去装置。
3. 前記一貫性算出部では、前記複数のカメラ画像に対応する各カメラの画角の範囲内にあるか否かによって、各点が映っている状態または映っていない状態のいずれに該当するかを判定することを特徴とする請求項２に記載の点群ノイズ除去装置。
4. 前記一貫性算出部では、前記入力点群に対応する３次元モデルの情報を利用して、オクルージョンが発生している場合には映っていない状態に該当するものとして判定することを特徴とする請求項２または３に記載の点群ノイズ除去装置。
5. 前記一貫性算出部では、前記複数のカメラ画像のそれぞれにおいて映っている状態または映っていない状態のいずれに該当するかを２値で列挙したベクトルとしてカメラインデックスを算出し、当該カメラインデックス同士のハミング距離をカメラ台数で正規化することで前記一貫性重みを付与することを特徴とする請求項２ないし４のいずれかに記載の点群ノイズ除去装置。
6. 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域が、前記複数のカメラ画像において画素値として撮影されている、当該画素値の異なるカメラ間での類似性が高いほど値が小さいものとして、前記一貫性重みを付与することを特徴とする請求項１ないし５のいずれかに記載の点群ノイズ除去装置。
7. 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域として各エッジの両端点を用いることを特徴とする請求項６に記載の点群ノイズ除去装置。
8. 前記一貫性算出部では、各エッジの両端点につき、前記複数のカメラ画像の各々へとマッピングされる画素値のばらつきに基づいて、前記一貫性重みを付与することを特徴とする請求項７に記載の点群ノイズ除去装置。
9. 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域として各エッジを１つの辺として含む、前記グラフ化点群における少なくとも１つのポリゴンを用いることを特徴とする請求項６に記載の点群ノイズ除去装置。
10. 前記一貫性算出部では、前記ポリゴンが前記複数のカメラ画像の各々へとマッピングされる画素値のばらつきに基づいて、前記一貫性重みを付与することを特徴とする請求項９に記載の点群ノイズ除去装置。
11. 前記点群座標更新部で用いる前記コスト関数は、各エッジの両端点における法線の向きを揃えるように作用する正則化の項を有することを特徴とする請求項１ないし１０のいずれかに記載の点群ノイズ除去装置。
12. 前記複数のカメラ画像は、RGBチャネル等で構成される通常画像、または、深度カメラで取得されたデプス画像であることを特徴とする請求項１ないし１１のいずれかに記載の点群ノイズ除去装置。
13. コンピュータを請求項１ないし１２のいずれかに記載の点群ノイズ除去装置として機能させることを特徴とするプログラム。

Images