JP2013076621A - 距離指標情報推定装置及びそのプログラム - Google Patents
距離指標情報推定装置及びそのプログラム Download PDFInfo
- Publication number
- JP2013076621A JP2013076621A JP2011216239A JP2011216239A JP2013076621A JP 2013076621 A JP2013076621 A JP 2013076621A JP 2011216239 A JP2011216239 A JP 2011216239A JP 2011216239 A JP2011216239 A JP 2011216239A JP 2013076621 A JP2013076621 A JP 2013076621A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- energy
- distance index
- pixel
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【解決手段】距離情報推定装置1は、ステレオ画像の類似度である誤差関数を計算する誤差関数計算部10と、距離の連続性を示すスムーズ関数を計算するスムーズ関数計算部11と、基準画像における隣接画素間の色情報の差分絶対値が色情報閾値Tc以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定するメッセージ伝搬制限判定部12と、誤差関数とスムーズ関数とを含むメッセージを生成・伝搬するメッセージ生成・伝搬部13と、メッセージの評価関数を計算する評価関数計算部14と、評価関数が最小となる距離を、距離情報として推定する距離推定部15とを備える。
【選択図】図3
Description
かかる構成によれば、距離指標情報推定装置は、エネルギー伝搬元の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限する。
かかる構成によれば、距離指標情報推定装置は、エネルギー伝搬先の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限する。
かかる構成によれば、距離指標情報推定装置は、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
ここで、色情報閾値を小さな値に設定してメッセージ伝搬を強く制限した場合、相対的にスムーズ関数よりも誤差関数の影響が大きくなる。従って、距離指標情報推定装置は、誤差関数の重み付けが小さいほど、色情報閾値を小さな値で設定して、スムーズ関数と誤差関数とのバランスを保つ。
かかる構成によれば、距離指標情報推定装置は、ノイズが除去された滑らかな距離指標情報を生成することができる。
本願第1発明によれば、例えば、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限するため、被写体の輪郭の膨張を抑制できる。これによって、本願第1発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を生成することができる。
本願第3発明によれば、エネルギー伝搬先の画素と処理対象画素との間で色が大きく異なる場合、エネルギーの伝搬を制限するため、精度が高い距離指標情報を生成することができる。
本願第5発明によれば、誤差関数の重み付けが小さいほど、色情報閾値が小さな値で設定するため、スムーズ関数と誤差関数とのバランスを保って、滑らかな距離指標情報を生成することができる。
本願第6発明によれば、ノイズを除去して、より滑らかな距離指標情報を生成することができる。
本発明の各実施形態では、ステレオ画像間の誤差関数と距離指標の連続性を示すスムーズ関数とで規定されるエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明の実施形態における信頼度伝搬法の概略を説明する。
なお、請求項に記載のエネルギーが、信頼度伝搬法ではメッセージとなる。
図2に示すように、信頼度伝搬法では、メッセージの生成に必要な画素間の誤差関数Dp(fp)(以後、「誤差関数Dp」)を計算する(ステップS1)。本発明において、誤差関数に、SSD、SAD、ZNCC等の類似度が利用可能であり、ここでは、ステレオ画像の対応画素間で色情報の差分絶対値により類似度を示す式(1)を利用する。この式(1)によれば、画素単位で類似度を計算するため、被写体の輪郭を鮮鋭化することができる。
なお、距離候補(距離指標候補)とは、任意の範囲内で予め設定された距離の候補のことである(図4等参照)。
[距離情報推定装置の構成]
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
距離情報推定装置1は、信頼度伝搬法により距離情報を推定すると共に、前記した信頼度伝搬法において、隣接画素間で色が大きく異なるときにメッセージの伝搬を制限する。
この左カメラCL及び右カメラCRは、静止画や動画を撮影可能な撮影カメラであり、図3に示すように、一定間隔だけ離して配置される。ここでは、左カメラCL及び右カメラCRのうち左カメラCLを基準カメラとし、左カメラCLの撮影画像を基準画像とし、右カメラCRの撮影画像を参照画像とする。
なお、図4では、文字s,p,qを付した四辺形が画素s,p,qである。
次に、メッセージ生成・伝搬部13は、下記の式(7)を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬することで、画素ごとのメッセージを更新する。まず、メッセージ生成・伝搬部13は、図5,図6に示すように、画素sにおいて、距離候補fs(0〜N−1)のメッセージms(0)〜ms(N−1)を生成して、画素sから画素pに伝搬させる。次に、メッセージ生成・伝搬部13は、画素pにおいて、距離候補fp(0〜N−1)のメッセージmp→q(0)〜mp→q(N−1)を生成して、画素pから画素qに伝搬させる。
このノイズ除去フィルタ15aは、距離推定部15が推定した距離情報(距離画像)にメディアンフィルタ等のノイズ除去処理を施すものである。このようにして、ノイズの影響が少ない滑らかな距離情報を推定することができる。
図9を参照し、距離情報推定装置1の動作について説明する(適宜図3参照)。
距離情報推定装置1は、誤差関数計算部10によって、距離候補ごとに、誤差関数Dpを計算する。つまり、誤差関数計算部10は、前記した式(1)を用いて、距離候補ごとの誤差関数Dpを計算する(ステップS10)。
[距離情報推定装置の構成]
図10を参照し、本発明の第2実施形態に係る距離情報推定装置1Bの構成について、第1実施形態と異なる点を説明する。
距離情報推定装置1Bは、この距離情報の信頼度を示す評価値を計算すると共に、この評価値によって、距離情報の推定エラーが生じたか否かを判定する点が、第1実施形態と異なる。
ここで、ifは、後段の条件式を満たす場合、前段に記述した値を出力する関数である。
なお、オクルージョン領域判定部18は、評価値Oが閾値Toを超える場合、オクルージョンに起因する推定エラーが生じていないと判定することは言うまでもない。
なお、尾とは、図12において、トランケーションによって形成される、メッセージの上限となる平坦部である。
なお、無テクスチャ領域判定部20は、評価値Kがテクスチャ閾値TKを超える場合、テクスチャに起因する推定エラーが生じていないと判定することは言うまでもない。
図13を参照し、距離情報推定装置1Bの動作について説明する(適宜図10参照)。
距離情報推定装置1Bは、誤差関数計算部10Bによって、距離候補ごとに、誤差関数閾値Tdata以下となるように誤差関数Dpを計算する。つまり、誤差関数計算部10Bは、前記した式(9)及び式(10)を用いて、誤差関数Dpを計算して、トランケーションを行う(ステップS20)。
[距離情報推定装置の構成]
図14を参照し、本発明の第3実施形態に係る距離情報推定装置1Cの構成について、第2実施形態と異なる点を説明する。この距離情報推定装置1Cは、オクルージョン及びテクスチャに起因する推定エラーを抑制する点が、第2実施形態と異なる。このため、距離情報推定装置1Cは、テクスチャ推定エラー抑制部21をさらに備える。
なお、評価値Oの計算は、図10の評価値O計算部17と同様のため、説明を省略する。
なお、このオクルージョン領域は、オクルージョンに起因する推定エラーの抑制に必要ではなく、参考情報として提示される。
無テクスチャ領域判定部20は、図3と同様、左ステレオ画像についての無テクスチャ領域を生成して、テクスチャ推定エラー抑制部21に出力する。
説明を簡易にするため、図15に示すように、土俵Aの上で二人の被写体(力士)O1,O2が取組を行っている例で説明する。この場合、図14の中央カメラCCは、土俵Aの正面中央に位置し、取組を行っている被写体O1,O2の側面方向(図15の矢印方向)から基準画像Pを撮影したこととする。
前記した式(15)は、中央カメラCCの光学主点と無テクスチャ領域TX内の各画素とを通過する直線を表した方程式である。ここで、e,g,iが無テクスチャ領域TX内の各画の世界座標と光学主点の世界座標とにより計算される傾き(既知)であり、f,h,jが光学主点の世界座標(既知)である。
図17を参照し、距離情報推定装置1Cの動作について説明する(適宜図14参照)。
ステップS30〜S35の処理は、図13のステップS20〜S25と同様のため、説明を省略する。
また、各実施形態では、評価値K,Oの両方を計算することとして説明したが、本発明は、評価値K,Oの何れか一方のみを計算してもよい。この場合、本発明は、テクスチャ又はオクルージョンに起因する推定エラーの何れか一方だけを抑制してもよい。
本実施例では、図3の距離情報推定装置1を用いて実験を行った。図18(a)は、この実験で使用した基準画像である。また、図18(b)は、比較対象として、従来の信頼度伝搬法で生成した距離画像である。そして、図18(c)は、距離情報推定装置1が生成した距離画像である。
10,10B 誤差関数計算部
11,11B スムーズ関数計算部
12 メッセージ伝搬制限判定部(エネルギー伝搬判定部)
13 メッセージ生成・伝搬部(エネルギー伝搬部)
14 評価関数計算部
15 距離推定部(距離指標推定部)
15a ノイズ除去フィルタ(ノイズ除去手段)
16 評価値計算部
17,17C 評価値O計算部(オクルージョン評価値計算部)
18 オクルージョン領域判定部(オクルージョン推定エラー判定部)
19 評価値K計算部(テクスチャ評価値計算部)
20 無テクスチャ領域判定部(テクスチャ推定エラー判定部)
21 テクスチャ推定エラー抑制部
Claims (7)
- ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定する距離指標情報推定装置であって、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部と、
前記距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部と、
前記基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部と、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬することで、前記距離指標候補及び前記画素ごとのエネルギーを更新するエネルギー伝搬部と、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部と、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部と、
を備えることを特徴とする距離指標情報推定装置。 - 前記エネルギー伝搬判定部は、エネルギー伝搬元の画素と処理対象画素との色情報の差分絶対値が前記色情報閾値以下であるか否かによって、前記エネルギー伝搬元の画素と当該処理対象画素との間で前記エネルギーを伝搬できるか否かを判定することを特徴とする請求項1に記載の距離指標情報推定装置。
- 前記エネルギー伝搬判定部は、エネルギー伝搬先の画素と処理対象画素との色情報の差分絶対値が前記色情報閾値以下であるか否かによって、前記エネルギー伝搬先の画素と当該処理対象画素との間で前記エネルギーを伝搬できるか否かを判定することを特徴とする請求項1又は請求項2に記載の距離指標情報推定装置。
- 前記誤差関数計算部は、前記基準画像における処理対象画素と、前記ステレオ画像の他方である参照画像で前記処理対象画素に対応する対応画素との色情報の差分絶対値を求め、当該差分絶対値を予め設定した原色数で除算して重み付ける前記誤差関数を計算することを特徴とする請求項1から請求項3の何れか一項に記載の距離指標情報推定装置。
- 前記エネルギー伝搬判定部は、前記誤差関数の重み付けが小さいほど、前記色情報閾値が小さな値で予め設定されたことを特徴とする請求項4に記載の距離指標情報推定装置。
- 前記距離指標推定部は、前記距離指標情報にノイズ除去処理を施すノイズ除去手段、
をさらに備えることを特徴とする請求項1から請求項5の何れか一項に記載の距離指標情報推定装置。 - ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定するために、コンピュータを、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部、
前記距離指標候補ごとに、マルコフランダムフィールドにおける隣接画素間での前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部、
前記基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬することで、前記距離指標候補及び前記画素ごとのエネルギーを更新するエネルギー伝搬部、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部、
として機能させるための距離指標情報推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011216239A JP2013076621A (ja) | 2011-09-30 | 2011-09-30 | 距離指標情報推定装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011216239A JP2013076621A (ja) | 2011-09-30 | 2011-09-30 | 距離指標情報推定装置及びそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013076621A true JP2013076621A (ja) | 2013-04-25 |
Family
ID=48480199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011216239A Pending JP2013076621A (ja) | 2011-09-30 | 2011-09-30 | 距離指標情報推定装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013076621A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041370A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社東芝 | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 |
WO2016129430A1 (ja) * | 2015-02-09 | 2016-08-18 | 国立研究開発法人情報通信研究機構 | 奥行推定装置、奥行推定方法及び奥行推定プログラム |
KR20190081867A (ko) * | 2017-12-29 | 2019-07-09 | 재단법인 구미전자정보기술원 | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5432712A (en) * | 1990-05-29 | 1995-07-11 | Axiom Innovation Limited | Machine vision stereo matching |
JPH08272938A (ja) * | 1995-03-31 | 1996-10-18 | Canon Inc | 形状の統合方法とその装置 |
JPH0997342A (ja) * | 1995-08-03 | 1997-04-08 | Sumitomo Electric Ind Ltd | 樹木離隔距離計測システム |
JP2008225787A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
JP2009123219A (ja) * | 2007-11-16 | 2009-06-04 | Gwangju Inst Of Science & Technology | 深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法 |
JP2010531490A (ja) * | 2007-06-20 | 2010-09-24 | トムソン ライセンシング | 画像のステレオ・マッチングのためのシステム及び方法 |
JP2011141710A (ja) * | 2010-01-07 | 2011-07-21 | National Institute Of Information & Communication Technology | 奥行推定装置、奥行推定方法および奥行推定プログラム |
JP2011180675A (ja) * | 2010-02-26 | 2011-09-15 | Nippon Hoso Kyokai <Nhk> | 視差推定装置およびそのプログラム |
-
2011
- 2011-09-30 JP JP2011216239A patent/JP2013076621A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5432712A (en) * | 1990-05-29 | 1995-07-11 | Axiom Innovation Limited | Machine vision stereo matching |
JPH08272938A (ja) * | 1995-03-31 | 1996-10-18 | Canon Inc | 形状の統合方法とその装置 |
JPH0997342A (ja) * | 1995-08-03 | 1997-04-08 | Sumitomo Electric Ind Ltd | 樹木離隔距離計測システム |
JP2008225787A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
JP2010531490A (ja) * | 2007-06-20 | 2010-09-24 | トムソン ライセンシング | 画像のステレオ・マッチングのためのシステム及び方法 |
JP2009123219A (ja) * | 2007-11-16 | 2009-06-04 | Gwangju Inst Of Science & Technology | 深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法 |
JP2011141710A (ja) * | 2010-01-07 | 2011-07-21 | National Institute Of Information & Communication Technology | 奥行推定装置、奥行推定方法および奥行推定プログラム |
JP2011180675A (ja) * | 2010-02-26 | 2011-09-15 | Nippon Hoso Kyokai <Nhk> | 視差推定装置およびそのプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041370A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社東芝 | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 |
US10304187B2 (en) | 2013-08-23 | 2019-05-28 | Toshiba Medical Systems Corporation | Image processing apparatus and method, computer program product, and stereoscopic image display apparatus |
WO2016129430A1 (ja) * | 2015-02-09 | 2016-08-18 | 国立研究開発法人情報通信研究機構 | 奥行推定装置、奥行推定方法及び奥行推定プログラム |
KR20190081867A (ko) * | 2017-12-29 | 2019-07-09 | 재단법인 구미전자정보기술원 | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 |
KR102009990B1 (ko) | 2017-12-29 | 2019-08-12 | 재단법인 구미전자정보기술원 | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021077720A1 (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
CN108596965B (zh) | 一种光场图像深度估计方法 | |
CN111465962B (zh) | 用于手持式用户设备的增强现实的运动深度 | |
US8897545B2 (en) | Apparatus and method for determining a confidence value of a disparity estimate | |
US8873835B2 (en) | Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods | |
JP2021535466A (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
JP2011039918A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN112862877A (zh) | 用于训练图像处理网络和图像处理的方法和装置 | |
CN110322572A (zh) | 一种基于双目视觉的水下涵隧内壁三维信息恢复方法 | |
CN110942484A (zh) | 基于遮挡感知和特征金字塔匹配的相机自运动估计方法 | |
WO2013035457A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
CN111739071B (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
CN110866882A (zh) | 基于深度置信度的分层联合双边滤波深度图修复算法 | |
JP2011141710A (ja) | 奥行推定装置、奥行推定方法および奥行推定プログラム | |
JP5200042B2 (ja) | 視差推定装置およびそのプログラム | |
JP2013076621A (ja) | 距離指標情報推定装置及びそのプログラム | |
CN107155100A (zh) | 一种基于图像的立体匹配方法及装置 | |
JP5764028B2 (ja) | 距離指標情報推定装置及びそのプログラム | |
CN112233149A (zh) | 场景流的确定方法及装置、存储介质、电子装置 | |
JP5764027B2 (ja) | 距離指標情報推定装置及びそのプログラム | |
CN114255285B (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
KR20130142008A (ko) | 신뢰도 기반의 스테레오 매칭 방법 및 장치 | |
CN113888614B (zh) | 深度恢复方法、电子设备和计算机可读存储介质 | |
CN112258635B (zh) | 基于改进双目匹配sad算法的三维重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140130 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141014 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150303 |