JP2017224169A - 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム - Google Patents
距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2017224169A JP2017224169A JP2016119296A JP2016119296A JP2017224169A JP 2017224169 A JP2017224169 A JP 2017224169A JP 2016119296 A JP2016119296 A JP 2016119296A JP 2016119296 A JP2016119296 A JP 2016119296A JP 2017224169 A JP2017224169 A JP 2017224169A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- resolution
- image
- unit
- ssm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 37
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
【課題】高速に高精度な解像度変換を行うこと。
【解決手段】処理対象となる距離画像と、距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、入力された距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、距離画像と、ノイズ除去済み距離画像と、色画像とに基づいて、距離画像に対して自己相関を利用したアップサンプル処理を行うことによってSSM部高解像度距離画像を生成するSSM部と、ノイズ除去済み距離画像と、SSM部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってPLU部高解像度距離画像を生成するPLU部と、を備える距離画像解像度変換装置。
【選択図】図1
【解決手段】処理対象となる距離画像と、距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、入力された距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、距離画像と、ノイズ除去済み距離画像と、色画像とに基づいて、距離画像に対して自己相関を利用したアップサンプル処理を行うことによってSSM部高解像度距離画像を生成するSSM部と、ノイズ除去済み距離画像と、SSM部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってPLU部高解像度距離画像を生成するPLU部と、を備える距離画像解像度変換装置。
【選択図】図1
Description
本発明は、距離画像の解像度変換技術に関する。
三次元形状計測の研究は古くから盛んに行われている。近年では、手軽に三次元距離情報を取得することが出来る距離センサが市販され始めるなど更に注目を集めている。現状市販されている距離センサの多くは、姿勢認識技術と併用し利用されている。しかし、その距離計測の精度は高いとは言えず、三次元形状計測の用途においてはまだ不十分な精度であることが知られている。さらに、距離センサによって取得される距離画像の解像度は、一般的なカラー画像の精度よりも低い。そのため、このような低解像度の距離画像をカラー画像と併せて利用する際には,距離画像をアップサンプルする必要がある。しかし、カラー画像のアップサンプルに比べ、幾何的な要素を考慮する必要のある距離画像のアップサンプルは難しいとされている。そのため、距離画像を高精度にアップサンプルするための研究が盛んに行われている(例えば、非特許文献1及び2参照)。さらに、このような距離画像のアップサンプル手法は、三次元計測の目的のみならず、距離画像を要する三次元ビデオの符号化技術にも利用できるため、応用範囲の広い重要な技術開発項目の一つであるといえる。
非特許文献1は、カラー画像のアップサンプル手法を距離画像のアップサンプリングに応用した手法である。非特許文献1の手法における計算量のオーダーは、O(SL)であり高速な処理が可能である。しかしその一方で、精度が低い。ここで、SLは、アップサンプルの対象となる低解像度な距離画像の総画素数を表す。
非特許文献2は、高解像度のカラー画像を利用することにより、低解像度の距離画像を高精度にアップサンプルする手法である。非特許文献1の手法における計算量のオーダーは、O(T・SH)であり高速な処理が難しい。しかしその一方で、精度が高い。ここで、Tは計算に用いるパラメータの一つであり、距離画像の各画素が取り得る値の候補数を表し、SHは出力となる高解像度な距離画像の総画素数を表す。
非特許文献2は、高解像度のカラー画像を利用することにより、低解像度の距離画像を高精度にアップサンプルする手法である。非特許文献1の手法における計算量のオーダーは、O(T・SH)であり高速な処理が難しい。しかしその一方で、精度が高い。ここで、Tは計算に用いるパラメータの一つであり、距離画像の各画素が取り得る値の候補数を表し、SHは出力となる高解像度な距離画像の総画素数を表す。
K. Johannes, et al. "Joint Bilateral Upsampling", ACM Transactions on Graphics (TOG), Vol.26, no.3, (2007): 96.
Y. Qingxiong, et al. "Spatial-Depth Super Resolution for Range Images", Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on. IEEE, 2007.
しかしながら、上記のように従来の技術では、距離画像のアップサンプル処理には計算量と精度にトレードオフの関係があり、高速に高精度なアップサンプル処理を行うことが困難であるという問題があった。
上記事情に鑑み、本発明は、高速に高精度な解像度変換を行うことができる技術の提供を目的としている。
本発明の一態様は、処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってSSM部高解像度距離画像を生成するSSM部と、前記ノイズ除去済み距離画像と、前記SSM部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってPLU部高解像度距離画像を生成するPLU部と、を備える距離画像解像度変換装置である。
本発明の一態様は、上記の距離画像解像度変換装置であって、前記SSM部は、自己相関を利用したアップサンプル処理による高解像度なコスト空間の構築を行うことにより前記色画像の輝度変化が閾値より少ない箇所において高精度なアップサンプリング処理を行う。
本発明の一態様は、上記の距離画像解像度変換装置であって、前記SSM部は、前記高解像度なコスト空間の構築に用いる近傍画素の集合を、グリッド情報又はセグメンテーション情報を用いて決定する。
本発明の一態様は、上記の距離画像解像度変換装置であって、前記SSM部は、前記ノイズ除去済み距離画像を用いて、観測値の近傍の要素のコストを計算する。
本発明の一態様は、上記の距離画像解像度変換装置であって、前記PLU部は、前記距離画像の近傍画素間の線形予測により前記アップサンプル処理を行う。
本発明の一態様は、上記の距離画像解像度変換装置であって、前記PLU部は、画素毎に動的に閾値および参照関係を変化させることよって、前記PLU部高解像度距離画像の画素の距離値を決定する。
本発明の一態様は、上記の距離画像解像度変換装置であって、前記PLU部は、前記SSM部高解像度距離画像と、前記ノイズ除去済み距離画像の対応画素を比較する閾値処理により前記線形予測を行うか否かを判断する。
本発明の一態様は、処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力ステップと、入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズステップと、前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってSSM部高解像度距離画像を生成する第一の高解像度距離画像ステップと、前記ノイズ除去済み距離画像と、前記SSM部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってPLU部高解像度距離画像を生成する第二の高解像度距離画像ステップと、を有する距離画像解像度変換方法である。
本発明の一態様は、上記の距離画像解像度変換装置としてコンピュータを動作させるためのコンピュータプログラムである。
本発明により、高速に高精度なアップサンプル処理を行うことが可能となる。
以下、本発明の一実施形態を、図面を参照しながら説明する。
図1は、本発明における距離画像解像度変換装置100の機能構成を表す概略ブロック図である。距離画像解像度変換装置100は、高解像度なカラー画像を利用して高精度、かつ、高速な処理により低解像度の距離画像をアップサンプルすることによって高解像度な距離画像を生成する。以下、距離画像解像度変換装置100の機能構成について詳細に説明する。
図1は、本発明における距離画像解像度変換装置100の機能構成を表す概略ブロック図である。距離画像解像度変換装置100は、高解像度なカラー画像を利用して高精度、かつ、高速な処理により低解像度の距離画像をアップサンプルすることによって高解像度な距離画像を生成する。以下、距離画像解像度変換装置100の機能構成について詳細に説明する。
距離画像解像度変換装置100は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、解像度変換プログラムを実行する。解像度変換プログラムの実行によって、距離画像解像度変換装置100は、入力部101、デノイズ部102、SSM部103、PLU部104を備える装置として機能する。なお、距離画像解像度変換装置100の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、解像度変換プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、解像度変換プログラムは、電気通信回線を介して送受信されてもよい。
入力部101は、同時刻および同位置において撮影された距離画像とカラー画像の対を取得する。入力部101は、取得した距離画像とカラー画像をデノイズ部102に出力し、取得した距離画像をSSM部103に出力する。なお、入力部101は、距離画像解像度変換装置100に有線又は無線により接続された、距離画像とカラー画像を同位置同時刻に取得することの出来る距離センサからリアルタイムに入力を受け付けてもよい。以下の説明では、入力部101が取得した距離画像を低解像度距離画像と記載し、カラー画像を色画像と記載する。
デノイズ部102は、入力部101から出力された低解像度距離画像と色画像とを入力とする。デノイズ部102は、入力された色画像を参照し、低解像度距離画像に対してノイズ除去を行う。具体的には、デノイズ部102は、低解像度距離画像に対して、任意のノイズ除去フィルタを適応することによって距離画像の観測ノイズの除去を行う。フィルタの一例として、BRF(Binary Weighted Range Filter)を用いることができる。BRFは、バイラテラルフィルタの簡易版として広く知られているため、ここでは詳細な説明を省略する。BRFを用いることによって、画像中のエッジをできるだけ保持したまま突発的なノイズを除去することができる。なお、デノイズ部102は、その他BRFに類するノイズ除去手法を用いても構わない。デノイズ部102は、ノイズが除去された低解像度距離画像(以下、「ノイズ除去済み低解像度距離画像」という。)と色画像とをSSM部103に出力し、ノイズ除去済み低解像度距離画像(ノイズ除去済み距離画像)をPLU部104に出力する。
SSM部103は、入力部101から出力された低解像度距離画像と、デノイズ部102から出力されたノイズ除去済み低解像度距離画像および色画像とを入力とする。SSM部103は、入力されたノイズ除去済み低解像度距離画像および色画像の自己相関を利用したアップサンプル処理により、入力部101から出力された低解像度距離画像の解像度を色画像の解像度と同じ解像度まで向上させることによって高解像度化した距離画像を生成する。以下の説明では、SSM部103によって生成される高解像度化した距離画像をSSM部高解像度距離画像と記載する。SSM部103は、生成したSSM部高解像度距離画像をPLU部104に出力する。
PLU部104は、デノイズ部102から出力されたノイズ除去済み低解像度距離画像と、SSM部103から出力されたSSM部高解像度距離画像とを入力とする。PLU部104は、入力されたノイズ除去済み低解像度距離画像を用いて、SSM部高解像度距離画像に対して線形予測アップサンプリングによって、SSM部高解像度距離画像より精度の高い高解像度な距離画像を生成する。PLU部104によって生成される高解像度な距離画像をPLU部高解像度距離画像と記載する。PLU部104は、生成したPLU部高解像度距離画像を不図示の出力装置に出力する。なお、出力装置は、CRT(Cathode Ray Tube)や液晶ディスプレイや有機EL(Electro-Luminescent)ディスプレイ等を用いて構成できる。また、出力装置は、画像や文字をシートに印刷(印字)する装置を用いて構成されてもよい。
図2は、距離画像解像度変換装置100の処理の流れを示すフローチャートである。
入力部101は、同時刻および同位置において撮影された色画像および低解像度距離画像を取得する(ステップS101)。入力部101は、取得した距離画像とカラー画像をデノイズ部102に出力し、取得した距離画像をSSM部103に出力する。次に、デノイズ部102は、入力部101から出力された色画像を参照し、低解像度距離画像に対してノイズ除去を行う(ステップS102)。これにより、ノイズ除去済み低解像度距離画像が生成される。デノイズ部102は、ノイズ除去済み低解像度距離画像と色画像とをSSM部103に出力する。
入力部101は、同時刻および同位置において撮影された色画像および低解像度距離画像を取得する(ステップS101)。入力部101は、取得した距離画像とカラー画像をデノイズ部102に出力し、取得した距離画像をSSM部103に出力する。次に、デノイズ部102は、入力部101から出力された色画像を参照し、低解像度距離画像に対してノイズ除去を行う(ステップS102)。これにより、ノイズ除去済み低解像度距離画像が生成される。デノイズ部102は、ノイズ除去済み低解像度距離画像と色画像とをSSM部103に出力する。
次に、SSM部103は、入力部101から出力された低解像度距離画像と、デノイズ部102から出力されたノイズ除去済み低解像度距離画像および色画像とに基づいて、SSM部高解像度距離画像生成処理を行う(ステップS103)。SSM部高解像度距離画像生成処理とは、SSM部高解像度距離画像を生成するための処理である。SSM部高解像度距離画像生成処理の具体的な説明については後述する。SSM部103は、SSM部高解像度距離画像生成処理を行うことによって生成したSSM部高解像度距離画像をPLU部104に出力する。
次に、PLU部104は、デノイズ部102から出力されたノイズ除去済み低解像度距離画像と、SSM部103から出力されたSSM部高解像度距離画像とに基づいて、高解像度距離画像生成処理を行う(ステップS104)。高解像度距離画像生成処理とは、PLU部高解像度距離画像を生成するための処理である。ここで高解像度距離画像生成処理の処理について簡単に説明する。PLU部104は、まず各パラメータの設定を行った後、ノイズ除去済み低解像度画像の二次微分画像を算出する。次に、PLU部104は、その算出結果から画素毎にエッジか平坦かを判定する。PLU部104は、その判定結果に基づいた閾値を設定する。PLU部104は、設定した閾値を用いて近傍画素からの距離値の予測を行うことによりPLU部高解像度距離画像を生成する。PLU部104は、SSM部高解像度距離画像を初期値として、SSM部高解像度距離画像と略等しい解像度で、精度の高い高解像度距離画像を生成する。より詳細な高解像度距離画像生成処理の説明については後述する。PLU部104は、高解像度距離画像生成処理を行うことによって生成したPLU部高解像度距離画像を不図示の出力装置に出力する(ステップS105)。
図3は、SSM部103によるSSM部高解像度距離画像生成処理の流れを示すフローチャートである。SSM部103は、自己相関値を利用したコストを算出し、それらコストからSSM部高解像度距離画像を生成する。
まず、SSM部103は、SSM部高解像度距離画像生成処理で用いる複数のパラメータを設定する(ステップS201)。SSM部高解像度距離画像生成処理で用いる複数のパラメータは、例えばσc、σs、σn、λ、m、nである。これらのパラメータは任意の値を設定することができる。例えば、画像サイズが704×560の低解像度距離画像を2倍に解像度変換する場合には、SSM部103はσc=1.0、σs=1.0、σn=13、λ=2.0、m=5、n=1と設定する。
まず、SSM部103は、SSM部高解像度距離画像生成処理で用いる複数のパラメータを設定する(ステップS201)。SSM部高解像度距離画像生成処理で用いる複数のパラメータは、例えばσc、σs、σn、λ、m、nである。これらのパラメータは任意の値を設定することができる。例えば、画像サイズが704×560の低解像度距離画像を2倍に解像度変換する場合には、SSM部103はσc=1.0、σs=1.0、σn=13、λ=2.0、m=5、n=1と設定する。
次に、SSM部103は、低解像度距離画像と、設定したパラメータとを用いて、低解像度コスト空間CLを構築する(ステップS202)。低解像度コスト空間CLは、低解像度距離画像から計算されるコスト空間である。コスト空間は、距離画像の水平方向画像座標をi、垂直方向画像座標をj、距離画像の各画素値がとり得る値をdとしたときにi、j、dの三軸から成る1チャネルの3次元行列で表される空間である。コスト空間内の各要素C(i,j,d)を、画像上の画素位置を示す二次元ベクトル(i,j)とpを用いてCp(d)と表記する。
図4は、低解像度コスト空間CLの一例を示す図である。図4に示すように、低解像度コスト空間CLは、水平方向画像座標をiL、垂直方向画像座標をjL、距離画像の各画素値がとり得る値をdとした三軸から構成される。図4におけるPL(iL,jL)は、低解像度距離画像における一つの画素の画素位置を表わす。SSM部103は、式1に基づいて、低解像度コスト空間CLの各要素CLPL(2つ目のLはpの下付き)について計算を行うことによって低解像度コスト空間CLを構築する。
式1において、DLは低解像度距離画像を表し、DLPL(2つ目のLはpの下付き)はDLに含まれている一つの画素の画素位置pLにおける距離の値を表している。また、式1において、指数関数expの分子に記載されている、右上端に2が付されており右下端に2が付されている2重の縦線はL2ノルムの二乗を表し、CLはSSM部高解像度距離画像を生成するための初期値を表している。CLは、式1から計算される通り、入力される低解像度距離画像の情報と、ステップS101の処理において設定されたパラメータとに基づいて計算される。低解像度コスト空間の各要素は、画素毎にd方向の値の分布として、入力された距離の値から近い要素ほど1に近い値が格納されている。
次に、SSM部103は、低解像度コスト空間CLからアップサンプルを行うことによって高解像度コスト空間Cを構築する(ステップS203)。高解像度コスト空間は、低解像度コスト空間よりも解像度が高いコスト空間である。図5は、高解像度コスト空間Cの一例を示す図である。図5に示すように、高解像度コスト空間Cは、水平方向画像座標をi、垂直方向画像座標をj、距離画像の各画素値がとり得る値をdとした三軸から構成される。図5におけるP(i,j)は、高解像度コスト空間Cにおける一つの画素の画素位置を表わす。SSM部103は、式2〜式4に基づいて、高解像度コスト空間Cの各要素CPについて計算を行うことによって高解像度コスト空間Cを構築する。
式2〜式4において、pはSSM部高解像度距離画像中の処理対象の画素位置を示す二次元ベクトルを表し、qはpの画素を処理する際に参考にするSSM部高解像度距離画像中の画素の位置を示す二次元ベクトルを表し、qLはqの画素位置と対応する低解像度距離画像中の画素位置を示す二次元ベクトルを表している。qの位置は近傍の画素から任意に選ぶことができる。また、Np,qは画素p、qの近傍に存在するm、n個の画素の集合を表している。v(・)は集合中の各画素の色情報と、距離情報とをλで重みづけし一列に並べた行列になっている。
図6は、SSM部103の詳細な処理を説明するための図である。色情報は、色画像Iから取得され、距離情報は一時的な初期値として低解像度距離画像を拡大して得られる距離画像D^(^はDの上)から取得される。拡大手法については何を用いてもよい。例えば、バイキュービック補間を用いてもよい。Np,qの近傍画素の選び方については、対象画素を中心とするグリッドやセグメンテーション情報から決定することができる。グリッド上に選択することで高速な処理が可能となるが、その他簡易な選択方法を用いてもよい。例えば、高速な領域分割手法として、以下の参考文献1の技術が用いられてもよい。
(参考文献1:gSLIC(Ren, Carl Yuheng, and Ian Reid. "gSLIC: a real-time implementation of SLIC superpixel segmentation." University of Oxford, Department of Engineering, Technical Report (2011)))
(参考文献1:gSLIC(Ren, Carl Yuheng, and Ian Reid. "gSLIC: a real-time implementation of SLIC superpixel segmentation." University of Oxford, Department of Engineering, Technical Report (2011)))
そして、SSM部103は、構築した高解像度コスト空間と、ノイズ除去済み低解像度距離画像とを用いて、SSM部高解像度距離画像を生成する(ステップS204)。具体的には、SSM部103は、式5に基づいて、SSM部高解像度距離画像の各画素の画素値を決定する。
式5において、Tは距離画像の画素値がとり得る範囲を表している。Tは、任意の範囲を用いても構わないが、例えば8bitの距離画像であれば[0:255]を採用することができる。しかし、デノイズ部102によりノイズ除去された画像を用いる場合には、信頼性の高い初期値としてノイズ除去済み低解像度距離画像を用いることができる。そのため、Tの範囲を画素毎に現在の値の近傍の範囲のみに設定することによってコスト空間の全ての要素を計算する必要がなくなる。なお、式5では、SSM部高解像度距離画像の画素毎に、Tの範囲の内で高解像度コスト空間の要素が最も低い値を持つ距離dを採用する。
ここで、式5について少し補足する。
例えば、図4におけるPL(iL,jL)の画素が距離値としてd0を観測したとする。この距離値を観測値とする。この場合、SSM部103は、コストを計算すべき範囲Tを[d0−M,d0+M]と設定する。これにより、SSM部103は、観測値d0を中心とする近傍の要素のみのコスト計算を行う。コスト空間の三次元座標で考えると、(iL,jL,d0)の近傍の要素は,(iL,jL,d0−M)、(iL,jL,d0−M+1)、(iL,jL,d0−M+2)、・・・、(iL,jL,d0+M―1)、(iL,jL,d0+M)となる。SSM部103は、ステップS202〜204の処理をSSM部高解像度距離画像の画素毎に行うことによりSSM部高解像度距離画像を生成する。
例えば、図4におけるPL(iL,jL)の画素が距離値としてd0を観測したとする。この距離値を観測値とする。この場合、SSM部103は、コストを計算すべき範囲Tを[d0−M,d0+M]と設定する。これにより、SSM部103は、観測値d0を中心とする近傍の要素のみのコスト計算を行う。コスト空間の三次元座標で考えると、(iL,jL,d0)の近傍の要素は,(iL,jL,d0−M)、(iL,jL,d0−M+1)、(iL,jL,d0−M+2)、・・・、(iL,jL,d0+M―1)、(iL,jL,d0+M)となる。SSM部103は、ステップS202〜204の処理をSSM部高解像度距離画像の画素毎に行うことによりSSM部高解像度距離画像を生成する。
図7は、PLU部104による高解像度距離画像生成処理の流れを示すフローチャートである。
まず、PLU部104は、高解像度距離画像生成処理で用いる複数のパラメータを設定する(ステップS301)。高解像度距離画像生成処理で用いる複数のパラメータは、例えばTD L ´´、TD edge、TD flatである。これらのパラメータは以下の処理で用いる閾値であり、任意の値を設定することができる。例えば、画像サイズが704×560の距離画像を2倍に解像度変換する場合には、TD L ´´=6、TD edge=7、TD flat=12と設定することで良好な結果を得ることができる。
まず、PLU部104は、高解像度距離画像生成処理で用いる複数のパラメータを設定する(ステップS301)。高解像度距離画像生成処理で用いる複数のパラメータは、例えばTD L ´´、TD edge、TD flatである。これらのパラメータは以下の処理で用いる閾値であり、任意の値を設定することができる。例えば、画像サイズが704×560の距離画像を2倍に解像度変換する場合には、TD L ´´=6、TD edge=7、TD flat=12と設定することで良好な結果を得ることができる。
次に、PLU部104は、ノイズ除去済み低解像度距離画像の水平方向二次微分画像および垂直方向二次微分画像を算出する(ステップS302)。二次微分画像を求める手法は一般的であり、公知であるため説明を省略する。以下の説明では、ノイズ除去済み低解像度距離画像の水平方向および垂直方向二次微分画像をあわせて二次微分画像と記載する。次に、PLU部104は、画素毎に閾値TD pの設定を行う(ステップS303)。閾値TD pの設定方法を式6に示す。
閾値TD pはPLU高解像度距離画像中の画素pにおける閾値を表す。PLU部104は、二次微分画像中でpに対応する画素pLにおけるx,y方向の二次微分の値の大きい方が閾値TD L ´´よりも大きいか否かによってTD pの値をTD edgeもしくはTD flatに設定する。なお、式6における処理は、二次微分画像を用いて対象画素pがエッジか平坦かを判定しているが、その他の方法を用いて判定しても良い。例えば、二次微分の代わりに一次微分を用いてもよい。
次に、PLU部104は、以下の式7に基づいてPLU高解像度距離画像の画素毎の距離値を算出することによってPLU部高解像度距離画像を生成する(ステップS304)。
式7において、DPLU pはPLU高解像度距離画像の画素pにおける距離値を表している。まず、PLU部104は、ノイズ除去済み低解像度画像中で,画素p(x,y)に対応する画素pL(xL,yL)の4つの最近傍画素を検出し、SSM部高解像距離画像中でこれら4つの最近傍画素に対応する点を左上、左下、右上、右下の順でそれぞれplt(xlt、ylt)、plb(xlb、ylb)、prt(xrt、yrt)、prb(xrb、yrb)とする。なお、xltおよびyltにおけるltはそれぞれx、yの上付きである。同様に、xlbおよびylbにおけるlb、xrt及びyrtにおけるrt、xrb及びyrbにおけるrbはそれぞれx、yの上付きである。
pから4つの最近傍画素に対するユークリッド距離の重みをα、βとして、α=(x−xlt)/(xrt−xlt)、β=(y−ylt)/(ylt−ylb)、αバー=1−α、βバー=1−βとして定義する。さらに、これら4つの最近傍画素plt、plb、prt、prbにおける仮の距離値をそれぞれDlt p、Dlb p、Drt p、Drb pとしている。式7に示すようにDPLU pは、4つの最近傍画素の仮の距離値から補間することにより決定される。本来は滑らかな曲面や平面であるべき領域が、SSM部103の解像度変換処理により階段状になっている。そのため、PLU部104は、式7を利用した補間処理を行うことによって、階段状になっている状態を補正する。これにより、PLU部104では、より滑らかで高精度な距離画像を得ることができる。仮の距離値Dlt p、Dlb p、Drt p、Drb pの設定方法を式8に示す。
式8においては,SSM部高解像度距離画像における距離値と、ノイズ除去済み低解像度距離画像との差分の絶対値が、先に求めた閾値よりも低いか否かによってノイズ除去済み低解像度距離画像の距離値Dl LPL(2つ目のLはpの下付き)を用いるか、線形予測により算出される距離値D^predict p(^はDの上)を用いるかを決定できる。そして、決定した距離値に基づいて、Dlt p、Dlb p、Drt p、Drb pの値が設定される。
図8は、線形予測により算出できる距離値の算出方法を説明するための図である。
線形予測により算出される距離値D^p predict(^はDの上)は、式8においてSSM部高解像度距離画像の距離値が誤っていると判断された画素についてのみ算出される。ここで、誤っている画素のことを誤り画素、誤り画素以外の画素を正解画素と記載する。誤り画素の隣接4画素のうち、正解画素がいくつあるかにより処理が異なる。例えば、隣接4画素のうち、3画素が正解画素である場合、D^p predict=db+dc−daとする。これら4画素の配置関係は、回転した状態が存在するが同様に処理をする事が出来る。次に、隣接4画素のうち、2画素もしくは1画素が正解画素である場合、図8に示す配置関係に応じてD^p predictの値を決定することが出来る。このとき、正解画素が対角位置に存在する場合を除き、隣接4画素から更に隣接する16近傍の画素を用いている.これら4画素の配置関係は,回転した状態が存在するが、同様に処理をすることが出来る。
線形予測により算出される距離値D^p predict(^はDの上)は、式8においてSSM部高解像度距離画像の距離値が誤っていると判断された画素についてのみ算出される。ここで、誤っている画素のことを誤り画素、誤り画素以外の画素を正解画素と記載する。誤り画素の隣接4画素のうち、正解画素がいくつあるかにより処理が異なる。例えば、隣接4画素のうち、3画素が正解画素である場合、D^p predict=db+dc−daとする。これら4画素の配置関係は、回転した状態が存在するが同様に処理をする事が出来る。次に、隣接4画素のうち、2画素もしくは1画素が正解画素である場合、図8に示す配置関係に応じてD^p predictの値を決定することが出来る。このとき、正解画素が対角位置に存在する場合を除き、隣接4画素から更に隣接する16近傍の画素を用いている.これら4画素の配置関係は,回転した状態が存在するが、同様に処理をすることが出来る。
以上のように構成された距離画像解像度変換装置100によれば、高速に高精度な解像度変換を行うことが可能になる。以下、具体的に説明する。
距離画像解像度変換装置100は、まずSSM部103により低解像度距離画像から低解像度距離画像よりも解像度の高いSSM部高解像度距離画像を生成する。次に、距離画像解像度変換装置100は、生成したSSM部高解像度距離画像における距離値と、ノイズ除去済み低解像度距離画像との差分の絶対値を比較することにより、SSM部103で生成したSSM部高解像度距離画像の画素の中から誤った補間処理が行われている画素を検知してPLU部104にて補正する。このような効果は、誤りが発生しやすい被写体間の境界領域においては特に顕著な効果を発揮する。これにより、より高精度な街道度変換ができる。また、距離画像解像度変換装置100は、SSM部103及びPLU部104における処理の前に、デノイズ処理を行うことによって、SSM部103及びPLU部104における幾つかの設定パラメータの値を調整する。これにより、総合的な計算処理量を削減し、より高速な処理ができる。そのため、高速に高精度な解像度変換を行うことが可能になる。
距離画像解像度変換装置100は、まずSSM部103により低解像度距離画像から低解像度距離画像よりも解像度の高いSSM部高解像度距離画像を生成する。次に、距離画像解像度変換装置100は、生成したSSM部高解像度距離画像における距離値と、ノイズ除去済み低解像度距離画像との差分の絶対値を比較することにより、SSM部103で生成したSSM部高解像度距離画像の画素の中から誤った補間処理が行われている画素を検知してPLU部104にて補正する。このような効果は、誤りが発生しやすい被写体間の境界領域においては特に顕著な効果を発揮する。これにより、より高精度な街道度変換ができる。また、距離画像解像度変換装置100は、SSM部103及びPLU部104における処理の前に、デノイズ処理を行うことによって、SSM部103及びPLU部104における幾つかの設定パラメータの値を調整する。これにより、総合的な計算処理量を削減し、より高速な処理ができる。そのため、高速に高精度な解像度変換を行うことが可能になる。
SSM部103は、ノイズ除去済み低解像度距離画像を入力として利用する。これによりSSM部103内の計算量を削減することができ、高速に処理を行うことが可能になる。
SSM部103は,コスト空間算出に用いる近傍画素の集合を、グリッド情報もしくはセグメンテーション情報を用いて決定する。これにより、高速かつ高精度なアップサンプリング処理が可能になる。
SSM部103は,コスト空間算出に用いる近傍画素の集合を、グリッド情報もしくはセグメンテーション情報を用いて決定する。これにより、高速かつ高精度なアップサンプリング処理が可能になる。
SSM部103は、SSM部高解像度距離画像を生成する際に、ノイズ除去済み低解像度距離画像を用いることによって、コスト空間の全ての要素を計算せずに観測値の近傍の要素のみのコストを計算することで計算量を削減し高速処理が可能になる。
PLU部104は,SSM部高解像度距離画像の近傍画素間の線形予測を行うことによって、滑らかで高精度なアップサンプリング処理を行うことが可能になる。
PLU部104は、画素毎に動的に閾値および参照関係を変化させることによって、高解像度距離画像の画素の距離値を決定する。これにより、高精度なアップサンプリングが可能になる。
PLU部104は,SSM部高解像度距離画像の近傍画素間の線形予測を行うことによって、滑らかで高精度なアップサンプリング処理を行うことが可能になる。
PLU部104は、画素毎に動的に閾値および参照関係を変化させることによって、高解像度距離画像の画素の距離値を決定する。これにより、高精度なアップサンプリングが可能になる。
<変形例>
本実施形態では、距離画像解像度変換装置100が1枚の低解像度距離画像に対して処理を行う構成を例に説明したが、距離画像解像度変換装置100は複数の連続する低解像度の距離画像に対して処理を繰り返すことで映像(動画像)を処理することも可能である。なお、距離画像解像度変換装置100の処理は、映像の全てのフレームに適用せずに、一部のフレームに対して適用し、その他のフレームに対しては別の処理を適用しても構わない。
本実施形態では、距離画像解像度変換装置100が1枚の低解像度距離画像に対して処理を行う構成を例に説明したが、距離画像解像度変換装置100は複数の連続する低解像度の距離画像に対して処理を繰り返すことで映像(動画像)を処理することも可能である。なお、距離画像解像度変換装置100の処理は、映像の全てのフレームに適用せずに、一部のフレームに対して適用し、その他のフレームに対しては別の処理を適用しても構わない。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
100…距離画像解像度変換装置, 101…入力部, 102…デノイズ部, 103…SSM部, 104…PLU部
Claims (9)
- 処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力部と、
入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズ部と、
前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってSSM部高解像度距離画像を生成するSSM部と、
前記ノイズ除去済み距離画像と、前記SSM部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってPLU部高解像度距離画像を生成するPLU部と、
を備える距離画像解像度変換装置。 - 前記SSM部は、自己相関を利用したアップサンプル処理による高解像度なコスト空間の構築を行うことにより前記色画像の輝度変化が閾値より少ない箇所において高精度なアップサンプリング処理を行う、請求項1に記載の距離画像解像度変換装置。
- 前記SSM部は、前記高解像度なコスト空間の構築に用いる近傍画素の集合を、グリッド情報又はセグメンテーション情報を用いて決定する、請求項2に記載の距離画像解像度変換装置。
- 前記SSM部は、前記ノイズ除去済み距離画像を用いて、観測値の近傍の要素のコストを計算する、請求項1〜3のいずれか一項に記載の距離画像解像度変換装置。
- 前記PLU部は、前記距離画像の近傍画素間の線形予測により前記アップサンプル処理を行う、請求項1〜4のいずれか一項に記載の距離画像解像度変換装置。
- 前記PLU部は、画素毎に動的に閾値および参照関係を変化させることよって、前記PLU部高解像度距離画像の画素の距離値を決定する、請求項1〜5のいずれか一項に記載の距離画像解像度変換装置。
- 前記PLU部は、前記SSM部高解像度距離画像と、前記ノイズ除去済み距離画像の対応画素を比較する閾値処理により前記線形予測を行うか否かを判断する、請求項1〜6のいずれか一項に記載の距離画像解像度変換装置。
- 処理対象となる距離画像と、前記距離画像と同じ位置に存在する被写体が撮影された色画像とを入力する入力ステップと、
入力された前記距離画像に対してノイズ除去を行うことによってノイズ除去済み距離画像を生成するデノイズステップと、
前記距離画像と、前記ノイズ除去済み距離画像と、前記色画像とに基づいて、前記距離画像に対して自己相関を利用したアップサンプル処理を行うことによってSSM部高解像度距離画像を生成する第一の高解像度距離画像ステップと、
前記ノイズ除去済み距離画像と、前記SSM部高解像度距離画像とに基づいて、線形予測によるアップサンプル処理を行うことによってPLU部高解像度距離画像を生成する第二の高解像度距離画像ステップと、
を有する距離画像解像度変換方法。 - 請求項1から7のいずれか一項に記載の距離画像解像度変換装置としてコンピュータを動作させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016119296A JP2017224169A (ja) | 2016-06-15 | 2016-06-15 | 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016119296A JP2017224169A (ja) | 2016-06-15 | 2016-06-15 | 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017224169A true JP2017224169A (ja) | 2017-12-21 |
Family
ID=60686379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016119296A Pending JP2017224169A (ja) | 2016-06-15 | 2016-06-15 | 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017224169A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020158646A1 (ja) * | 2019-01-30 | 2020-08-06 | 日本電信電話株式会社 | 深度超解像装置、深度超解像方法、及びプログラム |
-
2016
- 2016-06-15 JP JP2016119296A patent/JP2017224169A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020158646A1 (ja) * | 2019-01-30 | 2020-08-06 | 日本電信電話株式会社 | 深度超解像装置、深度超解像方法、及びプログラム |
JP2020123114A (ja) * | 2019-01-30 | 2020-08-13 | 日本電信電話株式会社 | 深度超解像装置、深度超解像方法、及びプログラム |
JP7074090B2 (ja) | 2019-01-30 | 2022-05-24 | 日本電信電話株式会社 | 深度超解像装置、深度超解像方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
US9135710B2 (en) | Depth map stereo correspondence techniques | |
CN107909640B (zh) | 基于深度学习的人脸重光照方法及装置 | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
JP3837575B2 (ja) | 超解像処理の高速化方法 | |
JP2014150521A (ja) | 奥行き画像の解像度を増大させる方法とシステム | |
Dinesh et al. | 3D point cloud super-resolution via graph total variation on surface normals | |
JP7188201B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2012099899A (ja) | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
US9563937B2 (en) | High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program | |
JP2019204193A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20160005158A1 (en) | Image processing device and image processing method | |
JP2018036898A (ja) | 画像処理装置及びその制御方法 | |
JP4053021B2 (ja) | 画像拡大装置、及びプログラム | |
WO2022188102A1 (zh) | 深度图像的修复方法及装置、摄像头组件及电子设备 | |
US8472756B2 (en) | Method for producing high resolution image | |
JP5316309B2 (ja) | 画像処理装置および画像処理方法 | |
JP2017224169A (ja) | 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム | |
JP2017199285A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
JP4998905B2 (ja) | 三次元地形データ高精度化装置、三次元地形データ高精度化方法及びプログラム | |
JP6384961B2 (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 | |
CN111369425A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
CN106558024B (zh) | 进行自适应窗口拓展的自回归插值方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160615 |