JP2017536742A - 三次元画像の視差の処理 - Google Patents
三次元画像の視差の処理 Download PDFInfo
- Publication number
- JP2017536742A JP2017536742A JP2017519494A JP2017519494A JP2017536742A JP 2017536742 A JP2017536742 A JP 2017536742A JP 2017519494 A JP2017519494 A JP 2017519494A JP 2017519494 A JP2017519494 A JP 2017519494A JP 2017536742 A JP2017536742 A JP 2017536742A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- pixels
- pixel
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 15
- 238000009826 distribution Methods 0.000 claims abstract description 119
- 230000004044 response Effects 0.000 claims abstract description 4
- 230000006835 compression Effects 0.000 claims description 19
- 238000007906 compression Methods 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims 1
- 238000013459 approach Methods 0.000 abstract description 23
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 230000000116 mitigating effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
ステレオディスプレイの場合、2つのビューが必要であるのに対して、自動立体視ディスプレイは、典型的には、より多くのビュー(例えば、9つのビューなど)を必要とする。
これは、性能を改善することができ、特に、多くの実施形態において知覚される品質改善を提供することができる。多くの実施形態では、部分範囲は、ディスプレイ/スクリーン・レベルの前、すなわち、画像間のゼロ視差に対応する画像面の前の部分範囲であってもよい。
多くの実施形態では、画像特性基準は、画素の輝度および/または彩度の要件を含むことができる。例えば、画素の輝度が所与のレベルを上回ること及び/又は彩度/色が特定の領域内に入ることが必要とされてもよい。
パラメータ
Emin:画素がステップエッジかどうか、つまり画素のサブセットに属するかどうかを判断するために使用されるしきい値。Emin=30
Dlow:リマッピングが適用される奥行き/視差値。Dlow = 128 (0から255までの8ビット視差値が使用される)。
Nlow:それ以上で再マッピングが適用されるエッジ度数(ゲイン g> 0)。Nlow= 10000.
変数
Nedge [K]:視差レベルk∈{0、...、255}の関数としてのステップエッジ画素の数
Ii,j (c):画素i、jにおける画像のカラーチャネルc(RGB値が考慮される)
Di,j:画素(位置)i、jにおける入力視差マップ値。
Di,j out:画素(位置)i、jにおける出力(再マッピング)視差マップ。
g:視差値{Dlow、...、255}の再マッピングに使用されるゲイン[0,1]
次のコードは、OpenCVタイプを使用してこの式をC ++でどのように実装できるかを示す。コードフラグメントはエッジ情報を格納するが、上記の式から、これは必要ではないことは明らかである。各奥行きレベルk∈{0、...、255}に対してNedgeのみを格納する必要がある。
Claims (12)
- 三次元画像を処理する装置であって、
三次元画像を受信するための受信器であって、前記三次元画像の少なくとも或る画素群の各画素が関連付けられた画像値及び視差値を有する受信器、
前記画素群の各画素の前記画像値に対して画像特性基準を評価して、前記画素群のうち、前記画像特性基準が満たされる画素のサブセットを決定するサブセットセレクタ、
画素の前記サブセットの視差値についての度数分布を生成する分布評価器、
前記度数分布の形状特性を決定する分析器であって、前記形状特性は、前記度数分布の少なくとも1つのピークの特性を示す分析器、
前記形状特性に応じて視差再マッピングを決定するアダプタであって、前記度数分布の尖度の増加に応じて視差再マッピングより提供される視差圧縮を増加させるアダプタ、および
前記三次元画像の少なくとも幾つかの画素の前記視差値に前記視差再マッピングを適用することにより前記少なくとも幾つかの画素の視差値を修正するリマッパ、
を有する装置。 - 前記分析器が、
前記度数分布の最大度数、
前記度数分布の平均度数に対する前記度数分布の最大度数、
前記度数分布のピークの幅測度、
ピーク度数の視差レベルの近傍における度数に対する前記度数分布の前記ピーク度数、
のグループから選択される少なくとも1つのパラメータに応じて、前記形状特性を決定する、請求項1に記載の装置。 - 前記サブセットセレクタが、前記画素群の画素に対するエッジ検出指標を生成し、前記エッジ検出指標は画素が画像オブジェクトエッジに属するか否かを示し、前記画像特性基準が、前記エッジ検出指標に対する要件を含む、請求項1に記載の装置。
- 前記サブセットセレクタが、前記画素群の各ピクセルについて画像特性遷移測度を生成し、前記画像特性基準が、前記画像特性遷移測度に対する要件を含む、請求項1に記載の装置。
- 前記画像特性基準が、画素の輝度および彩度のうちの少なくとも一方に対する要件を含む、請求項1に記載の装置。
- 前記リマッパが、前記視差値の視差範囲の部分的な範囲内の視差値のみを修正する、請求項1に記載の装置。
- 前記分析器が、前記度数分布の視差値の部分的な範囲のみに応じて前記形状特性を決定する、請求項1に記載の装置。
- 前記視差再マッピングが、少なくとも視差レベルの部分的な範囲における線形再マッピングであり、前記アダプタが、前記形状特性に応じて前記線形再マッピングのための再マッピング係数を決定する、請求項1に記載の装置。
- 前記分布評価器が、前記度数分布を生成するときに、ピクセルの前記サブセットの画素を重み付けし、ピクセルに対する重みは、当該ピクセルの画像位置に依存する、請求項1に記載の装置。
- 前記サブセットセレクタは、前記画素群の各画素に対して第2の画像特性基準を評価して、前記第2の画像特性基準が満たされる前記画素群のピクセルの第2のサブセットを決定し、当該装置は、ピクセルの前記第2のサブセットの前記視差値の度数分布に応じて前記視差再マッピングを決定する、請求項1に記載の装置。
- 三次元画像を処理する方法であって、
少なくとも或る画素群の各画素が関連付けられた画像値及び視差値を有する三次元画像を受信し、
前記画素群の各ピクセルの前記画像値に対して画像特性基準を評価し、
前記画像特性基準が満たされる前記画素群のピクセルのサブセットを決定し、
ピクセルの前記サブセットの視差値の度数分布を生成し、
前記度数分布の少なくとも1つのピークの特性を示す、前記度数分布の形状特性を決定し、
前記形状特性に応じて視差再マッピングを決定し、前記視差再マッピングにより提供される視差圧縮が、前記度数分布の尖度の増加に応じて増加し、
少なくとも幾つかの画素の前記視差値に前記視差再マッピングを適用することにより前記三次元画像の前記少なくとも幾つかの画素の前記視差値を修正する、
方法。 - コンピュータにより実行されて、当該コンピュータに請求項11に記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14188756 | 2014-10-14 | ||
EP14188756.2 | 2014-10-14 | ||
PCT/EP2015/071929 WO2016058801A1 (en) | 2014-10-14 | 2015-09-24 | Processing of disparity of a three dimensional image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017536742A true JP2017536742A (ja) | 2017-12-07 |
JP6754759B2 JP6754759B2 (ja) | 2020-09-16 |
Family
ID=51743291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017519494A Active JP6754759B2 (ja) | 2014-10-14 | 2015-09-24 | 三次元画像の視差の処理 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10212407B2 (ja) |
EP (1) | EP3207698B1 (ja) |
JP (1) | JP6754759B2 (ja) |
KR (1) | KR102161785B1 (ja) |
CN (1) | CN107005688B (ja) |
BR (1) | BR112017007453A2 (ja) |
CA (1) | CA2964292A1 (ja) |
RU (1) | RU2017116578A (ja) |
TW (1) | TWI678098B (ja) |
WO (1) | WO2016058801A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952310A (zh) * | 2016-01-29 | 2017-07-14 | 法拉第未来公司 | 用于确定能见度状态的系统及方法 |
US10607417B2 (en) * | 2016-06-08 | 2020-03-31 | Sony Interactive Entertainment Inc. | Image generating apparatus and image generating method |
EP3358844A1 (en) * | 2017-02-07 | 2018-08-08 | Koninklijke Philips N.V. | Method and apparatus for processing an image property map |
EP3623913A1 (en) * | 2018-09-13 | 2020-03-18 | Koninklijke Philips N.V. | Apparatus and method for processing audiovisual data |
CN112465762A (zh) * | 2020-11-24 | 2021-03-09 | 广东稳峰电力科技有限公司 | 电力线路测绘方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011203811A (ja) * | 2010-03-24 | 2011-10-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ |
JP2012175370A (ja) * | 2011-02-21 | 2012-09-10 | Toshiba Corp | 映像処理装置、映像処理方法および映像表示装置 |
JP2012257022A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013172367A (ja) * | 2012-02-22 | 2013-09-02 | Sony Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
JP2014053782A (ja) * | 2012-09-07 | 2014-03-20 | Sharp Corp | 立体画像データ処理装置、および、立体画像データ処理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3242529B2 (ja) | 1994-06-07 | 2001-12-25 | 松下通信工業株式会社 | ステレオ画像対応付け方法およびステレオ画像視差計測方法 |
DE19633693C1 (de) * | 1996-08-21 | 1997-11-20 | Max Planck Gesellschaft | Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur |
US6468218B1 (en) * | 2001-08-31 | 2002-10-22 | Siemens Medical Systems, Inc. | 3-D ultrasound imaging system and method |
JP2005165969A (ja) * | 2003-12-05 | 2005-06-23 | Canon Inc | 画像処理装置、及び方法 |
US8131098B2 (en) * | 2007-07-06 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit |
US9215441B2 (en) | 2011-02-17 | 2015-12-15 | Konica Minolta, Inc. | Image processing apparatus, non-transitory computer readable recording medium, and image processing method |
EP2708029B1 (en) * | 2011-05-12 | 2016-06-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung | An autostereoscopic screen and method for reproducing image information |
KR101975247B1 (ko) | 2011-09-14 | 2019-08-23 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
CN102447863A (zh) * | 2011-12-20 | 2012-05-09 | 四川长虹电器股份有限公司 | 一种多视点立体视频字幕处理方法 |
KR20140030735A (ko) * | 2012-09-03 | 2014-03-12 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
-
2015
- 2015-09-24 WO PCT/EP2015/071929 patent/WO2016058801A1/en active Application Filing
- 2015-09-24 CA CA2964292A patent/CA2964292A1/en not_active Abandoned
- 2015-09-24 CN CN201580068247.XA patent/CN107005688B/zh active Active
- 2015-09-24 US US15/515,160 patent/US10212407B2/en active Active
- 2015-09-24 EP EP15767162.9A patent/EP3207698B1/en active Active
- 2015-09-24 BR BR112017007453A patent/BR112017007453A2/pt not_active Application Discontinuation
- 2015-09-24 KR KR1020177012849A patent/KR102161785B1/ko active IP Right Grant
- 2015-09-24 RU RU2017116578A patent/RU2017116578A/ru not_active Application Discontinuation
- 2015-09-24 JP JP2017519494A patent/JP6754759B2/ja active Active
- 2015-10-13 TW TW104133576A patent/TWI678098B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011203811A (ja) * | 2010-03-24 | 2011-10-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ |
JP2012175370A (ja) * | 2011-02-21 | 2012-09-10 | Toshiba Corp | 映像処理装置、映像処理方法および映像表示装置 |
JP2012257022A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013172367A (ja) * | 2012-02-22 | 2013-09-02 | Sony Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
JP2014053782A (ja) * | 2012-09-07 | 2014-03-20 | Sharp Corp | 立体画像データ処理装置、および、立体画像データ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3207698B1 (en) | 2022-04-13 |
EP3207698A1 (en) | 2017-08-23 |
WO2016058801A1 (en) | 2016-04-21 |
US10212407B2 (en) | 2019-02-19 |
CA2964292A1 (en) | 2016-04-21 |
KR102161785B1 (ko) | 2020-10-06 |
TWI678098B (zh) | 2019-11-21 |
BR112017007453A2 (pt) | 2018-01-16 |
RU2017116578A3 (ja) | 2019-04-17 |
JP6754759B2 (ja) | 2020-09-16 |
TW201622418A (zh) | 2016-06-16 |
US20170223331A1 (en) | 2017-08-03 |
RU2017116578A (ru) | 2018-11-15 |
CN107005688A (zh) | 2017-08-01 |
KR20170070148A (ko) | 2017-06-21 |
CN107005688B (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9171372B2 (en) | Depth estimation based on global motion | |
JP5750505B2 (ja) | 立体映像エラー改善方法及び装置 | |
US9123115B2 (en) | Depth estimation based on global motion and optical flow | |
CN110268712B (zh) | 用于处理图像属性图的方法和装置 | |
CN107750370B (zh) | 用于确定图像的深度图的方法和装置 | |
EP2268047A2 (en) | Conversion device and method converting a two dimensional image to a three dimensional image | |
TW201432622A (zh) | 產生一關於一影像之深度圖 | |
JP6754759B2 (ja) | 三次元画像の視差の処理 | |
US20130215107A1 (en) | Image processing apparatus, image processing method, and program | |
TWI712990B (zh) | 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體 | |
EP3616399B1 (en) | Apparatus and method for processing a depth map | |
Yang et al. | Reliable view synthesis with automatic error compensation for FTV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6754759 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |