JP2017224169A - 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム - Google Patents

Abstract

【課題】高速に高精度な解像度変換を行うこと。
【解決手段】処理対象となる距離画像と、距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、入力された距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、距離画像と、ノイズ除去済み距離画像と、色画像とに基づいて、距離画像に対して自己相関を利用したアップサンプル処理を行うことによってＳＳＭ部高解像度距離画像を生成するＳＳＭ部と、ノイズ除去済み距離画像と、ＳＳＭ部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってＰＬＵ部高解像度距離画像を生成するＰＬＵ部と、を備える距離画像解像度変換装置。
【選択図】図１

Description

本発明は、距離画像の解像度変換技術に関する。

三次元形状計測の研究は古くから盛んに行われている。近年では、手軽に三次元距離情報を取得することが出来る距離センサが市販され始めるなど更に注目を集めている。現状市販されている距離センサの多くは、姿勢認識技術と併用し利用されている。しかし、その距離計測の精度は高いとは言えず、三次元形状計測の用途においてはまだ不十分な精度であることが知られている。さらに、距離センサによって取得される距離画像の解像度は、一般的なカラー画像の精度よりも低い。そのため、このような低解像度の距離画像をカラー画像と併せて利用する際には，距離画像をアップサンプルする必要がある。しかし、カラー画像のアップサンプルに比べ、幾何的な要素を考慮する必要のある距離画像のアップサンプルは難しいとされている。そのため、距離画像を高精度にアップサンプルするための研究が盛んに行われている（例えば、非特許文献１及び２参照）。さらに、このような距離画像のアップサンプル手法は、三次元計測の目的のみならず、距離画像を要する三次元ビデオの符号化技術にも利用できるため、応用範囲の広い重要な技術開発項目の一つであるといえる。

非特許文献１は、カラー画像のアップサンプル手法を距離画像のアップサンプリングに応用した手法である。非特許文献１の手法における計算量のオーダーは、Ｏ（Ｓ_Ｌ）であり高速な処理が可能である。しかしその一方で、精度が低い。ここで、Ｓ_Ｌは、アップサンプルの対象となる低解像度な距離画像の総画素数を表す。
非特許文献２は、高解像度のカラー画像を利用することにより、低解像度の距離画像を高精度にアップサンプルする手法である。非特許文献１の手法における計算量のオーダーは、Ｏ（Ｔ・Ｓ_Ｈ）であり高速な処理が難しい。しかしその一方で、精度が高い。ここで、Ｔは計算に用いるパラメータの一つであり、距離画像の各画素が取り得る値の候補数を表し、Ｓ_Ｈは出力となる高解像度な距離画像の総画素数を表す。

K. Johannes, et al. "Joint Bilateral Upsampling", ACM Transactions on Graphics (TOG), Vol.26, no.3, (2007): 96. Y. Qingxiong, et al. "Spatial-Depth Super Resolution for Range Images", Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on. IEEE, 2007.

しかしながら、上記のように従来の技術では、距離画像のアップサンプル処理には計算量と精度にトレードオフの関係があり、高速に高精度なアップサンプル処理を行うことが困難であるという問題があった。

上記事情に鑑み、本発明は、高速に高精度な解像度変換を行うことができる技術の提供を目的としている。

本発明の一態様は、処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってＳＳＭ部高解像度距離画像を生成するＳＳＭ部と、前記ノイズ除去済み距離画像と、前記ＳＳＭ部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってＰＬＵ部高解像度距離画像を生成するＰＬＵ部と、を備える距離画像解像度変換装置である。

本発明の一態様は、上記の距離画像解像度変換装置であって、前記ＳＳＭ部は、自己相関を利用したアップサンプル処理による高解像度なコスト空間の構築を行うことにより前記色画像の輝度変化が閾値より少ない箇所において高精度なアップサンプリング処理を行う。

本発明の一態様は、上記の距離画像解像度変換装置であって、前記ＳＳＭ部は、前記高解像度なコスト空間の構築に用いる近傍画素の集合を、グリッド情報又はセグメンテーション情報を用いて決定する。

本発明の一態様は、上記の距離画像解像度変換装置であって、前記ＳＳＭ部は、前記ノイズ除去済み距離画像を用いて、観測値の近傍の要素のコストを計算する。

本発明の一態様は、上記の距離画像解像度変換装置であって、前記ＰＬＵ部は、前記距離画像の近傍画素間の線形予測により前記アップサンプル処理を行う。

本発明の一態様は、上記の距離画像解像度変換装置であって、前記ＰＬＵ部は、画素毎に動的に閾値および参照関係を変化させることよって、前記ＰＬＵ部高解像度距離画像の画素の距離値を決定する。

本発明の一態様は、上記の距離画像解像度変換装置であって、前記ＰＬＵ部は、前記ＳＳＭ部高解像度距離画像と、前記ノイズ除去済み距離画像の対応画素を比較する閾値処理により前記線形予測を行うか否かを判断する。

本発明の一態様は、処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力ステップと、入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズステップと、前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってＳＳＭ部高解像度距離画像を生成する第一の高解像度距離画像ステップと、前記ノイズ除去済み距離画像と、前記ＳＳＭ部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってＰＬＵ部高解像度距離画像を生成する第二の高解像度距離画像ステップと、を有する距離画像解像度変換方法である。

本発明の一態様は、上記の距離画像解像度変換装置としてコンピュータを動作させるためのコンピュータプログラムである。

本発明により、高速に高精度なアップサンプル処理を行うことが可能となる。

本発明における距離画像解像度変換装置１００の機能構成を表す概略ブロック図である。 距離画像解像度変換装置１００の処理の流れを示すフローチャートである。 ＳＳＭ部１０３によるＳＳＭ部高解像度距離画像生成処理の流れを示すフローチャートである。 低解像度コスト空間Ｃ_Ｌの一例を示す図である。 高解像度コスト空間Ｃの一例を示す図である。 ＳＳＭ部１０３の詳細な処理を説明するための図である。 ＰＬＵ部１０４による高解像度距離画像生成処理の流れを示すフローチャートである。 線形予測により算出できる距離値の算出方法を説明するための図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における距離画像解像度変換装置１００の機能構成を表す概略ブロック図である。距離画像解像度変換装置１００は、高解像度なカラー画像を利用して高精度、かつ、高速な処理により低解像度の距離画像をアップサンプルすることによって高解像度な距離画像を生成する。以下、距離画像解像度変換装置１００の機能構成について詳細に説明する。

距離画像解像度変換装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、解像度変換プログラムを実行する。解像度変換プログラムの実行によって、距離画像解像度変換装置１００は、入力部１０１、デノイズ部１０２、ＳＳＭ部１０３、ＰＬＵ部１０４を備える装置として機能する。なお、距離画像解像度変換装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、解像度変換プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、解像度変換プログラムは、電気通信回線を介して送受信されてもよい。

入力部１０１は、同時刻および同位置において撮影された距離画像とカラー画像の対を取得する。入力部１０１は、取得した距離画像とカラー画像をデノイズ部１０２に出力し、取得した距離画像をＳＳＭ部１０３に出力する。なお、入力部１０１は、距離画像解像度変換装置１００に有線又は無線により接続された、距離画像とカラー画像を同位置同時刻に取得することの出来る距離センサからリアルタイムに入力を受け付けてもよい。以下の説明では、入力部１０１が取得した距離画像を低解像度距離画像と記載し、カラー画像を色画像と記載する。

デノイズ部１０２は、入力部１０１から出力された低解像度距離画像と色画像とを入力とする。デノイズ部１０２は、入力された色画像を参照し、低解像度距離画像に対してノイズ除去を行う。具体的には、デノイズ部１０２は、低解像度距離画像に対して、任意のノイズ除去フィルタを適応することによって距離画像の観測ノイズの除去を行う。フィルタの一例として、ＢＲＦ（Binary Weighted Range Filter）を用いることができる。ＢＲＦは、バイラテラルフィルタの簡易版として広く知られているため、ここでは詳細な説明を省略する。ＢＲＦを用いることによって、画像中のエッジをできるだけ保持したまま突発的なノイズを除去することができる。なお、デノイズ部１０２は、その他ＢＲＦに類するノイズ除去手法を用いても構わない。デノイズ部１０２は、ノイズが除去された低解像度距離画像（以下、「ノイズ除去済み低解像度距離画像」という。）と色画像とをＳＳＭ部１０３に出力し、ノイズ除去済み低解像度距離画像（ノイズ除去済み距離画像）をＰＬＵ部１０４に出力する。

ＳＳＭ部１０３は、入力部１０１から出力された低解像度距離画像と、デノイズ部１０２から出力されたノイズ除去済み低解像度距離画像および色画像とを入力とする。ＳＳＭ部１０３は、入力されたノイズ除去済み低解像度距離画像および色画像の自己相関を利用したアップサンプル処理により、入力部１０１から出力された低解像度距離画像の解像度を色画像の解像度と同じ解像度まで向上させることによって高解像度化した距離画像を生成する。以下の説明では、ＳＳＭ部１０３によって生成される高解像度化した距離画像をＳＳＭ部高解像度距離画像と記載する。ＳＳＭ部１０３は、生成したＳＳＭ部高解像度距離画像をＰＬＵ部１０４に出力する。

ＰＬＵ部１０４は、デノイズ部１０２から出力されたノイズ除去済み低解像度距離画像と、ＳＳＭ部１０３から出力されたＳＳＭ部高解像度距離画像とを入力とする。ＰＬＵ部１０４は、入力されたノイズ除去済み低解像度距離画像を用いて、ＳＳＭ部高解像度距離画像に対して線形予測アップサンプリングによって、ＳＳＭ部高解像度距離画像より精度の高い高解像度な距離画像を生成する。ＰＬＵ部１０４によって生成される高解像度な距離画像をＰＬＵ部高解像度距離画像と記載する。ＰＬＵ部１０４は、生成したＰＬＵ部高解像度距離画像を不図示の出力装置に出力する。なお、出力装置は、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイや有機ＥＬ（Electro-Luminescent）ディスプレイ等を用いて構成できる。また、出力装置は、画像や文字をシートに印刷（印字）する装置を用いて構成されてもよい。

図２は、距離画像解像度変換装置１００の処理の流れを示すフローチャートである。
入力部１０１は、同時刻および同位置において撮影された色画像および低解像度距離画像を取得する（ステップＳ１０１）。入力部１０１は、取得した距離画像とカラー画像をデノイズ部１０２に出力し、取得した距離画像をＳＳＭ部１０３に出力する。次に、デノイズ部１０２は、入力部１０１から出力された色画像を参照し、低解像度距離画像に対してノイズ除去を行う（ステップＳ１０２）。これにより、ノイズ除去済み低解像度距離画像が生成される。デノイズ部１０２は、ノイズ除去済み低解像度距離画像と色画像とをＳＳＭ部１０３に出力する。

次に、ＳＳＭ部１０３は、入力部１０１から出力された低解像度距離画像と、デノイズ部１０２から出力されたノイズ除去済み低解像度距離画像および色画像とに基づいて、ＳＳＭ部高解像度距離画像生成処理を行う（ステップＳ１０３）。ＳＳＭ部高解像度距離画像生成処理とは、ＳＳＭ部高解像度距離画像を生成するための処理である。ＳＳＭ部高解像度距離画像生成処理の具体的な説明については後述する。ＳＳＭ部１０３は、ＳＳＭ部高解像度距離画像生成処理を行うことによって生成したＳＳＭ部高解像度距離画像をＰＬＵ部１０４に出力する。

次に、ＰＬＵ部１０４は、デノイズ部１０２から出力されたノイズ除去済み低解像度距離画像と、ＳＳＭ部１０３から出力されたＳＳＭ部高解像度距離画像とに基づいて、高解像度距離画像生成処理を行う（ステップＳ１０４）。高解像度距離画像生成処理とは、ＰＬＵ部高解像度距離画像を生成するための処理である。ここで高解像度距離画像生成処理の処理について簡単に説明する。ＰＬＵ部１０４は、まず各パラメータの設定を行った後、ノイズ除去済み低解像度画像の二次微分画像を算出する。次に、ＰＬＵ部１０４は、その算出結果から画素毎にエッジか平坦かを判定する。ＰＬＵ部１０４は、その判定結果に基づいた閾値を設定する。ＰＬＵ部１０４は、設定した閾値を用いて近傍画素からの距離値の予測を行うことによりＰＬＵ部高解像度距離画像を生成する。ＰＬＵ部１０４は、ＳＳＭ部高解像度距離画像を初期値として、ＳＳＭ部高解像度距離画像と略等しい解像度で、精度の高い高解像度距離画像を生成する。より詳細な高解像度距離画像生成処理の説明については後述する。ＰＬＵ部１０４は、高解像度距離画像生成処理を行うことによって生成したＰＬＵ部高解像度距離画像を不図示の出力装置に出力する（ステップＳ１０５）。

図３は、ＳＳＭ部１０３によるＳＳＭ部高解像度距離画像生成処理の流れを示すフローチャートである。ＳＳＭ部１０３は、自己相関値を利用したコストを算出し、それらコストからＳＳＭ部高解像度距離画像を生成する。
まず、ＳＳＭ部１０３は、ＳＳＭ部高解像度距離画像生成処理で用いる複数のパラメータを設定する（ステップＳ２０１）。ＳＳＭ部高解像度距離画像生成処理で用いる複数のパラメータは、例えばσ_ｃ、σ_ｓ、σ_ｎ、λ、ｍ、ｎである。これらのパラメータは任意の値を設定することができる。例えば、画像サイズが７０４×５６０の低解像度距離画像を２倍に解像度変換する場合には、ＳＳＭ部１０３はσ_ｃ＝１．０、σ_ｓ＝１．０、σ_ｎ＝１３、λ＝２．０、ｍ＝５、ｎ＝１と設定する。

次に、ＳＳＭ部１０３は、低解像度距離画像と、設定したパラメータとを用いて、低解像度コスト空間Ｃ_Ｌを構築する（ステップＳ２０２）。低解像度コスト空間Ｃ_Ｌは、低解像度距離画像から計算されるコスト空間である。コスト空間は、距離画像の水平方向画像座標をｉ、垂直方向画像座標をｊ、距離画像の各画素値がとり得る値をｄとしたときにｉ、ｊ、ｄの三軸から成る１チャネルの３次元行列で表される空間である。コスト空間内の各要素Ｃ（ｉ,ｊ,ｄ）を、画像上の画素位置を示す二次元ベクトル（ｉ,ｊ）とｐを用いてＣ_ｐ（ｄ）と表記する。

図４は、低解像度コスト空間Ｃ_Ｌの一例を示す図である。図４に示すように、低解像度コスト空間Ｃ_Ｌは、水平方向画像座標をｉ_Ｌ、垂直方向画像座標をｊ_Ｌ、距離画像の各画素値がとり得る値をｄとした三軸から構成される。図４におけるＰ_Ｌ（ｉ_Ｌ，ｊ_Ｌ）は、低解像度距離画像における一つの画素の画素位置を表わす。ＳＳＭ部１０３は、式１に基づいて、低解像度コスト空間Ｃ_Ｌの各要素Ｃ_ＬＰＬ（２つ目のＬはｐの下付き）について計算を行うことによって低解像度コスト空間Ｃ_Ｌを構築する。

式１において、Ｄ_Ｌは低解像度距離画像を表し、Ｄ_ＬＰＬ（２つ目のＬはｐの下付き）はＤ_Ｌに含まれている一つの画素の画素位置ｐ_Ｌにおける距離の値を表している。また、式１において、指数関数ｅｘｐの分子に記載されている、右上端に２が付されており右下端に２が付されている２重の縦線はＬ２ノルムの二乗を表し、Ｃ_ＬはＳＳＭ部高解像度距離画像を生成するための初期値を表している。Ｃ_Ｌは、式１から計算される通り、入力される低解像度距離画像の情報と、ステップＳ１０１の処理において設定されたパラメータとに基づいて計算される。低解像度コスト空間の各要素は、画素毎にｄ方向の値の分布として、入力された距離の値から近い要素ほど１に近い値が格納されている。

次に、ＳＳＭ部１０３は、低解像度コスト空間Ｃ_Ｌからアップサンプルを行うことによって高解像度コスト空間Ｃを構築する（ステップＳ２０３）。高解像度コスト空間は、低解像度コスト空間よりも解像度が高いコスト空間である。図５は、高解像度コスト空間Ｃの一例を示す図である。図５に示すように、高解像度コスト空間Ｃは、水平方向画像座標をｉ、垂直方向画像座標をｊ、距離画像の各画素値がとり得る値をｄとした三軸から構成される。図５におけるＰ（ｉ_，ｊ）は、高解像度コスト空間Ｃにおける一つの画素の画素位置を表わす。ＳＳＭ部１０３は、式２〜式４に基づいて、高解像度コスト空間Ｃの各要素Ｃ_Ｐについて計算を行うことによって高解像度コスト空間Ｃを構築する。

式２〜式４において、ｐはＳＳＭ部高解像度距離画像中の処理対象の画素位置を示す二次元ベクトルを表し、ｑはｐの画素を処理する際に参考にするＳＳＭ部高解像度距離画像中の画素の位置を示す二次元ベクトルを表し、ｑ_Ｌはｑの画素位置と対応する低解像度距離画像中の画素位置を示す二次元ベクトルを表している。ｑの位置は近傍の画素から任意に選ぶことができる。また、Ｎ_ｐ，ｑは画素ｐ、ｑの近傍に存在するｍ、ｎ個の画素の集合を表している。ｖ（・）は集合中の各画素の色情報と、距離情報とをλで重みづけし一列に並べた行列になっている。

図６は、ＳＳＭ部１０３の詳細な処理を説明するための図である。色情報は、色画像Ｉから取得され、距離情報は一時的な初期値として低解像度距離画像を拡大して得られる距離画像Ｄ＾（＾はＤの上）から取得される。拡大手法については何を用いてもよい。例えば、バイキュービック補間を用いてもよい。Ｎ_ｐ，ｑの近傍画素の選び方については、対象画素を中心とするグリッドやセグメンテーション情報から決定することができる。グリッド上に選択することで高速な処理が可能となるが、その他簡易な選択方法を用いてもよい。例えば、高速な領域分割手法として、以下の参考文献１の技術が用いられてもよい。
（参考文献１：gSLIC（Ren, Carl Yuheng, and Ian Reid. "gSLIC: a real-time implementation of SLIC superpixel segmentation." University of Oxford, Department of Engineering, Technical Report (2011)））

そして、ＳＳＭ部１０３は、構築した高解像度コスト空間と、ノイズ除去済み低解像度距離画像とを用いて、ＳＳＭ部高解像度距離画像を生成する（ステップＳ２０４）。具体的には、ＳＳＭ部１０３は、式５に基づいて、ＳＳＭ部高解像度距離画像の各画素の画素値を決定する。

式５において、Ｔは距離画像の画素値がとり得る範囲を表している。Ｔは、任意の範囲を用いても構わないが、例えば８ｂｉｔの距離画像であれば［０：２５５］を採用することができる。しかし、デノイズ部１０２によりノイズ除去された画像を用いる場合には、信頼性の高い初期値としてノイズ除去済み低解像度距離画像を用いることができる。そのため、Ｔの範囲を画素毎に現在の値の近傍の範囲のみに設定することによってコスト空間の全ての要素を計算する必要がなくなる。なお、式５では、ＳＳＭ部高解像度距離画像の画素毎に、Ｔの範囲の内で高解像度コスト空間の要素が最も低い値を持つ距離ｄを採用する。

ここで、式５について少し補足する。
例えば、図４におけるＰ_Ｌ（ｉ_Ｌ,ｊ_Ｌ）の画素が距離値としてｄ０を観測したとする。この距離値を観測値とする。この場合、ＳＳＭ部１０３は、コストを計算すべき範囲Ｔを［ｄ０−Ｍ,ｄ０＋Ｍ］と設定する。これにより、ＳＳＭ部１０３は、観測値ｄ０を中心とする近傍の要素のみのコスト計算を行う。コスト空間の三次元座標で考えると、（ｉ_Ｌ,ｊ_Ｌ,ｄ０）の近傍の要素は，（ｉ_Ｌ,ｊ_Ｌ,ｄ０−Ｍ）、（ｉ_Ｌ,ｊ_Ｌ,ｄ０−Ｍ＋１）、（ｉ_Ｌ，ｊ_Ｌ，ｄ０−Ｍ＋２）、・・・、（ｉ_Ｌ，ｊ_Ｌ，ｄ０＋Ｍ―１）、（ｉ_Ｌ，ｊ_Ｌ，ｄ０＋Ｍ）となる。ＳＳＭ部１０３は、ステップＳ２０２〜２０４の処理をＳＳＭ部高解像度距離画像の画素毎に行うことによりＳＳＭ部高解像度距離画像を生成する。

図７は、ＰＬＵ部１０４による高解像度距離画像生成処理の流れを示すフローチャートである。
まず、ＰＬＵ部１０４は、高解像度距離画像生成処理で用いる複数のパラメータを設定する（ステップＳ３０１）。高解像度距離画像生成処理で用いる複数のパラメータは、例えばＴ^Ｄ _Ｌ ^´´、Ｔ^Ｄ _ｅｄｇｅ、Ｔ^Ｄ _ｆｌａｔである。これらのパラメータは以下の処理で用いる閾値であり、任意の値を設定することができる。例えば、画像サイズが７０４×５６０の距離画像を２倍に解像度変換する場合には、Ｔ^Ｄ _Ｌ ^´´＝６、Ｔ^Ｄ _ｅｄｇｅ＝７、Ｔ^Ｄ _ｆｌａｔ＝１２と設定することで良好な結果を得ることができる。

次に、ＰＬＵ部１０４は、ノイズ除去済み低解像度距離画像の水平方向二次微分画像および垂直方向二次微分画像を算出する（ステップＳ３０２）。二次微分画像を求める手法は一般的であり、公知であるため説明を省略する。以下の説明では、ノイズ除去済み低解像度距離画像の水平方向および垂直方向二次微分画像をあわせて二次微分画像と記載する。次に、ＰＬＵ部１０４は、画素毎に閾値Ｔ^Ｄ _ｐの設定を行う（ステップＳ３０３）。閾値Ｔ^Ｄ _ｐの設定方法を式６に示す。

閾値Ｔ^Ｄ _ｐはＰＬＵ高解像度距離画像中の画素ｐにおける閾値を表す。ＰＬＵ部１０４は、二次微分画像中でｐに対応する画素ｐ_Ｌにおけるｘ，ｙ方向の二次微分の値の大きい方が閾値Ｔ^Ｄ _Ｌ ^´´よりも大きいか否かによってＴ^Ｄ _ｐの値をＴ^Ｄ _ｅｄｇｅもしくはＴ^Ｄ _ｆｌａｔに設定する。なお、式６における処理は、二次微分画像を用いて対象画素ｐがエッジか平坦かを判定しているが、その他の方法を用いて判定しても良い。例えば、二次微分の代わりに一次微分を用いてもよい。

次に、ＰＬＵ部１０４は、以下の式７に基づいてＰＬＵ高解像度距離画像の画素毎の距離値を算出することによってＰＬＵ部高解像度距離画像を生成する（ステップＳ３０４）。

式７において、Ｄ^ＰＬＵ _ｐはＰＬＵ高解像度距離画像の画素ｐにおける距離値を表している。まず、ＰＬＵ部１０４は、ノイズ除去済み低解像度画像中で，画素ｐ（ｘ,ｙ）に対応する画素ｐ_Ｌ（ｘ_Ｌ,ｙ_Ｌ）の４つの最近傍画素を検出し、ＳＳＭ部高解像距離画像中でこれら４つの最近傍画素に対応する点を左上、左下、右上、右下の順でそれぞれｐ^{ｌｔ（ｘｌｔ、ｙｌｔ）}、ｐ^{ｌｂ（ｘｌｂ、ｙｌｂ）}、ｐ^{ｒｔ（ｘｒｔ、ｙｒｔ）}、ｐ^{ｒｂ（ｘｒｂ、ｙｒｂ）}とする。なお、ｘｌｔおよびｙｌｔにおけるｌｔはそれぞれｘ、ｙの上付きである。同様に、ｘｌｂおよびｙｌｂにおけるｌｂ、ｘｒｔ及びｙｒｔにおけるｒｔ、ｘｒｂ及びｙｒｂにおけるｒｂはそれぞれｘ、ｙの上付きである。

ｐから４つの最近傍画素に対するユークリッド距離の重みをα、βとして、α＝（ｘ−ｘｌｔ）／（ｘｒｔ−ｘｌｔ）、β＝（ｙ−ｙｌｔ）／（ｙｌｔ−ｙｌｂ）、αバー＝１−α、βバー＝１−βとして定義する。さらに、これら４つの最近傍画素ｐ^ｌｔ、ｐ^ｌｂ、ｐ^ｒｔ、ｐ^ｒｂにおける仮の距離値をそれぞれＤ^ｌｔ _ｐ、Ｄ^ｌｂ _ｐ、Ｄ^ｒｔ _ｐ、Ｄ^ｒｂ _ｐとしている。式７に示すようにＤ^ＰＬＵ _ｐは、４つの最近傍画素の仮の距離値から補間することにより決定される。本来は滑らかな曲面や平面であるべき領域が、ＳＳＭ部１０３の解像度変換処理により階段状になっている。そのため、ＰＬＵ部１０４は、式７を利用した補間処理を行うことによって、階段状になっている状態を補正する。これにより、ＰＬＵ部１０４では、より滑らかで高精度な距離画像を得ることができる。仮の距離値Ｄ^ｌｔ _ｐ、Ｄ^ｌｂ _ｐ、Ｄ^ｒｔ _ｐ、Ｄ^ｒｂ _ｐの設定方法を式８に示す。

式８においては，ＳＳＭ部高解像度距離画像における距離値と、ノイズ除去済み低解像度距離画像との差分の絶対値が、先に求めた閾値よりも低いか否かによってノイズ除去済み低解像度距離画像の距離値Ｄ^ｌ _ＬＰＬ（２つ目のＬはｐの下付き）を用いるか、線形予測により算出される距離値Ｄ＾^{ｐｒｅｄｉｃｔ} _ｐ（＾はＤの上）を用いるかを決定できる。そして、決定した距離値に基づいて、Ｄ^ｌｔ _ｐ、Ｄ^ｌｂ _ｐ、Ｄ^ｒｔ _ｐ、Ｄ^ｒｂ _ｐの値が設定される。

図８は、線形予測により算出できる距離値の算出方法を説明するための図である。
線形予測により算出される距離値Ｄ^_p ^predict（^はＤの上）は、式８においてＳＳＭ部高解像度距離画像の距離値が誤っていると判断された画素についてのみ算出される。ここで、誤っている画素のことを誤り画素、誤り画素以外の画素を正解画素と記載する。誤り画素の隣接４画素のうち、正解画素がいくつあるかにより処理が異なる。例えば、隣接４画素のうち、３画素が正解画素である場合、Ｄ^_p ^predict＝ｄ_ｂ＋ｄ_ｃ−ｄ_ａとする。これら４画素の配置関係は、回転した状態が存在するが同様に処理をする事が出来る。次に、隣接４画素のうち、２画素もしくは１画素が正解画素である場合、図８に示す配置関係に応じてＤ^_p ^predictの値を決定することが出来る。このとき、正解画素が対角位置に存在する場合を除き、隣接４画素から更に隣接する１６近傍の画素を用いている．これら４画素の配置関係は，回転した状態が存在するが、同様に処理をすることが出来る。

以上のように構成された距離画像解像度変換装置１００によれば、高速に高精度な解像度変換を行うことが可能になる。以下、具体的に説明する。
距離画像解像度変換装置１００は、まずＳＳＭ部１０３により低解像度距離画像から低解像度距離画像よりも解像度の高いＳＳＭ部高解像度距離画像を生成する。次に、距離画像解像度変換装置１００は、生成したＳＳＭ部高解像度距離画像における距離値と、ノイズ除去済み低解像度距離画像との差分の絶対値を比較することにより、ＳＳＭ部１０３で生成したＳＳＭ部高解像度距離画像の画素の中から誤った補間処理が行われている画素を検知してＰＬＵ部１０４にて補正する。このような効果は、誤りが発生しやすい被写体間の境界領域においては特に顕著な効果を発揮する。これにより、より高精度な街道度変換ができる。また、距離画像解像度変換装置１００は、ＳＳＭ部１０３及びＰＬＵ部１０４における処理の前に、デノイズ処理を行うことによって、ＳＳＭ部１０３及びＰＬＵ部１０４における幾つかの設定パラメータの値を調整する。これにより、総合的な計算処理量を削減し、より高速な処理ができる。そのため、高速に高精度な解像度変換を行うことが可能になる。

ＳＳＭ部１０３は、ノイズ除去済み低解像度距離画像を入力として利用する。これによりＳＳＭ部１０３内の計算量を削減することができ、高速に処理を行うことが可能になる。
ＳＳＭ部１０３は，コスト空間算出に用いる近傍画素の集合を、グリッド情報もしくはセグメンテーション情報を用いて決定する。これにより、高速かつ高精度なアップサンプリング処理が可能になる。

ＳＳＭ部１０３は、ＳＳＭ部高解像度距離画像を生成する際に、ノイズ除去済み低解像度距離画像を用いることによって、コスト空間の全ての要素を計算せずに観測値の近傍の要素のみのコストを計算することで計算量を削減し高速処理が可能になる。
ＰＬＵ部１０４は，ＳＳＭ部高解像度距離画像の近傍画素間の線形予測を行うことによって、滑らかで高精度なアップサンプリング処理を行うことが可能になる。
ＰＬＵ部１０４は、画素毎に動的に閾値および参照関係を変化させることによって、高解像度距離画像の画素の距離値を決定する。これにより、高精度なアップサンプリングが可能になる。

＜変形例＞
本実施形態では、距離画像解像度変換装置１００が１枚の低解像度距離画像に対して処理を行う構成を例に説明したが、距離画像解像度変換装置１００は複数の連続する低解像度の距離画像に対して処理を繰り返すことで映像（動画像）を処理することも可能である。なお、距離画像解像度変換装置１００の処理は、映像の全てのフレームに適用せずに、一部のフレームに対して適用し、その他のフレームに対しては別の処理を適用しても構わない。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…距離画像解像度変換装置， １０１…入力部， １０２…デノイズ部， １０３…ＳＳＭ部， １０４…ＰＬＵ部

Claims (9)

1. 処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、
   入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、
   前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってＳＳＭ部高解像度距離画像を生成するＳＳＭ部と、
   前記ノイズ除去済み距離画像と、前記ＳＳＭ部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってＰＬＵ部高解像度距離画像を生成するＰＬＵ部と、
   を備える距離画像解像度変換装置。
2. 前記ＳＳＭ部は、自己相関を利用したアップサンプル処理による高解像度なコスト空間の構築を行うことにより前記色画像の輝度変化が閾値より少ない箇所において高精度なアップサンプリング処理を行う、請求項１に記載の距離画像解像度変換装置。
3. 前記ＳＳＭ部は、前記高解像度なコスト空間の構築に用いる近傍画素の集合を、グリッド情報又はセグメンテーション情報を用いて決定する、請求項２に記載の距離画像解像度変換装置。
4. 前記ＳＳＭ部は、前記ノイズ除去済み距離画像を用いて、観測値の近傍の要素のコストを計算する、請求項１〜３のいずれか一項に記載の距離画像解像度変換装置。
5. 前記ＰＬＵ部は、前記距離画像の近傍画素間の線形予測により前記アップサンプル処理を行う、請求項１〜４のいずれか一項に記載の距離画像解像度変換装置。
6. 前記ＰＬＵ部は、画素毎に動的に閾値および参照関係を変化させることよって、前記ＰＬＵ部高解像度距離画像の画素の距離値を決定する、請求項１〜５のいずれか一項に記載の距離画像解像度変換装置。
7. 前記ＰＬＵ部は、前記ＳＳＭ部高解像度距離画像と、前記ノイズ除去済み距離画像の対応画素を比較する閾値処理により前記線形予測を行うか否かを判断する、請求項１〜６のいずれか一項に記載の距離画像解像度変換装置。
8. 処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力ステップと、
   入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズステップと、
   前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってＳＳＭ部高解像度距離画像を生成する第一の高解像度距離画像ステップと、
   前記ノイズ除去済み距離画像と、前記ＳＳＭ部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってＰＬＵ部高解像度距離画像を生成する第二の高解像度距離画像ステップと、
   を有する距離画像解像度変換方法。
9. 請求項１から７のいずれか一項に記載の距離画像解像度変換装置としてコンピュータを動作させるためのコンピュータプログラム。

Images