JP2004007707A5 - 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 - Google Patents
視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 Download PDFInfo
- Publication number
- JP2004007707A5 JP2004007707A5 JP2003154401A JP2003154401A JP2004007707A5 JP 2004007707 A5 JP2004007707 A5 JP 2004007707A5 JP 2003154401 A JP2003154401 A JP 2003154401A JP 2003154401 A JP2003154401 A JP 2003154401A JP 2004007707 A5 JP2004007707 A5 JP 2004007707A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- disparity
- initial
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
【００１１】
【課題を解決するための手段】
本発明（請求項１対応）は、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法である。
また、本発明（請求項２対応）は、初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする請求項１記載の視差推定方法である。
また、本発明（請求項３対応）は、前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする請求項１、又は２記載の視差推定方法である。
また、本発明（請求項４対応）は、前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする請求項３記載の視差推定方法である。
また、本発明（請求項５対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項６対応）は、前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項７対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項８対応）は、前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項９対応）は、前記初期視差の信頼性評価値は、請求項５〜８のいずれかに記載の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法である。
また、本発明（請求項１０対応）は、２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送する画像伝送方法である。
また、本発明（請求項１１対応）は、請求項１０記載の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示する画像表示方法である。
また、本発明（請求項１２対応）は、多眼式画像から代表画像を選択し、選択されなかった画像は、当該画像をはさんで視点方向が最も近い２枚の代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送する多視点画像伝送方法である。
また、本発明（請求項１３対応）は、請求項１２記載の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法である。
また、本発明（請求項１４対応）は、前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする請求項１２記載の多視点画像伝送方法である。
また、本発明（請求項１５対応）は、２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えた視差推定装置である。
【課題を解決するための手段】
本発明（請求項１対応）は、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法である。
また、本発明（請求項２対応）は、初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする請求項１記載の視差推定方法である。
また、本発明（請求項３対応）は、前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする請求項１、又は２記載の視差推定方法である。
また、本発明（請求項４対応）は、前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする請求項３記載の視差推定方法である。
また、本発明（請求項５対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項６対応）は、前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項７対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項８対応）は、前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項９対応）は、前記初期視差の信頼性評価値は、請求項５〜８のいずれかに記載の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法である。
また、本発明（請求項１０対応）は、２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送する画像伝送方法である。
また、本発明（請求項１１対応）は、請求項１０記載の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示する画像表示方法である。
また、本発明（請求項１２対応）は、多眼式画像から代表画像を選択し、選択されなかった画像は、当該画像をはさんで視点方向が最も近い２枚の代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送する多視点画像伝送方法である。
また、本発明（請求項１３対応）は、請求項１２記載の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法である。
また、本発明（請求項１４対応）は、前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする請求項１２記載の多視点画像伝送方法である。
また、本発明（請求項１５対応）は、２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えた視差推定装置である。
Claims (15)
- ２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法。
- 初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする請求項１記載の視差推定方法。
- 前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする請求項１、又は２記載の視差推定方法。
- 前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする請求項３記載の視差推定方法。
- 前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
- 前記初期視差の信頼性評価値は、請求項５〜８のいずれかに記載の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法。
- ２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送することを特徴とする画像伝送方法。
- 請求項１０記載の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示することを特徴とする画像表示方法。
- 多眼式画像から代表画像を選択し、選択されなかった画像は、当該画像をはさんで視点方向が最も近い２枚の代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送することを特徴とする多視点画像伝送方法。
- 請求項１２記載の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法。
- 前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする請求項１２記載の多視点画像伝送方法。
- ２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えたことを特徴とする視差推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003154401A JP3733359B2 (ja) | 1996-04-05 | 2003-05-30 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8368896 | 1996-04-05 | ||
| JP11871196 | 1996-05-14 | ||
| JP2003154401A JP3733359B2 (ja) | 1996-04-05 | 2003-05-30 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08359997A Division JP3477023B2 (ja) | 1996-04-05 | 1997-04-02 | 多視点画像伝送方法および多視点画像表示方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004007707A JP2004007707A (ja) | 2004-01-08 |
| JP2004007707A5 true JP2004007707A5 (ja) | 2005-05-26 |
| JP3733359B2 JP3733359B2 (ja) | 2006-01-11 |
Family
ID=30448913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003154401A Expired - Fee Related JP3733359B2 (ja) | 1996-04-05 | 2003-05-30 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3733359B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009157895A1 (en) * | 2008-06-24 | 2009-12-30 | Thomson Licensing | System and method for depth extraction of images with motion compensation |
| JP5409107B2 (ja) * | 2009-05-13 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム |
| JP5405264B2 (ja) | 2009-10-20 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法 |
| JP4754031B2 (ja) | 2009-11-04 | 2011-08-24 | 任天堂株式会社 | 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム |
| JP5625342B2 (ja) * | 2009-12-10 | 2014-11-19 | ソニー株式会社 | 画像処理方法、画像処理装置、プログラム |
| JP5041382B2 (ja) * | 2010-03-25 | 2012-10-03 | Ｎｅｃシステムテクノロジー株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム |
| WO2012073575A1 (ja) | 2010-12-03 | 2012-06-07 | シャープ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2015215235A (ja) * | 2014-05-09 | 2015-12-03 | トヨタ自動車株式会社 | 物体検出装置及び物体検出方法 |
| US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
| JP7147292B2 (ja) | 2018-06-29 | 2022-10-05 | 株式会社デンソー | 勾配方向算出装置 |
| CN110933441B (zh) * | 2019-12-12 | 2023-05-30 | 西安邮电大学 | 一种深度图轮廓预测的并行实现方法 |
-
2003
- 2003-05-30 JP JP2003154401A patent/JP3733359B2/ja not_active Expired - Fee Related
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8817073B2 (en) | System and method of processing 3D stereoscopic image | |
| RU2568309C2 (ru) | Обнаружение формата трехмерного видео | |
| CN101273635B (zh) | 使用相机参数对多视图画面编码和解码的设备和方法 | |
| CN101222627A (zh) | 一种多视点视频编解码系统以及预测向量的方法和装置 | |
| CN101808251B (zh) | 立体图像对中遮挡信息的提取方法 | |
| JPH1032840A (ja) | 多視点画像伝送方法および多視点画像表示方法 | |
| JP2004007707A5 (ja) | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 | |
| KR20140021952A (ko) | 멀티뷰 비디오 시퀀스 코딩을 위한 적응형 프레임 예측 방법 | |
| JPH10191396A (ja) | 中間視点画像生成方法および視差推定方法および画像伝送方法 | |
| EP2608549B1 (en) | Method and apparatus for adjusting depth-related information map according to quality measurement result of the depth-related information map | |
| KR20140092910A (ko) | 입체 영상 부호화 장치, 입체 영상 복호화 장치, 입체 영상 부호화 방법, 입체 영상 복호화 방법, 입체 영상 부호화 프로그램 및 입체 영상 복호화 프로그램 | |
| US9686526B2 (en) | Objective 3D video quality assessment model | |
| JPWO2010035486A1 (ja) | 映像信号処理装置 | |
| CN102307304A (zh) | 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法 | |
| EP2367362A2 (en) | Analysis of stereoscopic images | |
| JP3733359B2 (ja) | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 | |
| JP2012085284A5 (ja) | ||
| CN102325254B (zh) | 一种立体视频的编、解码方法及装置 | |
| CN108668135A (zh) | 一种基于人眼感知的立体视频b帧错误隐藏方法 | |
| WO2013128765A1 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
| JP3733358B2 (ja) | 画像伝送装置、送信装置、受信装置、送信方法および受信方法 | |
| KR101435611B1 (ko) | 3차원 집적영상의 가려짐 문제 해결방법 | |
| JP2004048725A5 (ja) | 画像伝送装置、送信装置、受信装置、送信方法および受信方法 | |
| KR20090025934A (ko) | 3차원 영상을 판별하기 위한 장치 및 방법 | |
| KR20130084227A (ko) | 화상 처리 장치 및 화상 처리 방법 |