DK3189493T3 - Perspektivkorrektion af digitale fotos ved hjælp af dybdekort - Google Patents
Perspektivkorrektion af digitale fotos ved hjælp af dybdekort Download PDFInfo
- Publication number
- DK3189493T3 DK3189493T3 DK15766077.0T DK15766077T DK3189493T3 DK 3189493 T3 DK3189493 T3 DK 3189493T3 DK 15766077 T DK15766077 T DK 15766077T DK 3189493 T3 DK3189493 T3 DK 3189493T3
- Authority
- DK
- Denmark
- Prior art keywords
- photo
- pixel
- camera
- new
- depth
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims description 72
- 238000000034 method Methods 0.000 claims description 30
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 description 18
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Claims (11)
1. Fremgangsmåde til automatisk at udføre perspektivkorrektion af et digitalt foto af en scene optaget med et kamera, hvilken fremgangsmåde omfatter trinnene: • at tilvejebringe, under anvendelse af kun et enkelt kamera med en enkelt optagelsesposition, - et digitalt foto af en scene repræsenteret med pixelværdier, P(x,y), for en række pixels, (x,y), hvor fotoet involverer perspektivforvrængningsvirkninger; - et dybdekort associeret med fotoet og omfattende, for hver pixel i pixelrækken, en dybde, d(x,y), som er en afstand mellem en del af scenen repræsenteret ved den pixel, og kameraets optagelsesposition på tidspunktet for optagelse af fotoet; og • at udføre perspektivkorrektion af fotoet under anvendelse af fotoet af scenen fra det ene kamera og optagelsesposition og det associerede dybdekort som det eneste input optaget med et kamera ved, for hver pixel, (x,y), i fotoet, at bestemme en ny position, Dproc, på en billedflade for en virtuel kameraposition fra mindst pixelens dybde, dacq(x,y), dens position, Dacq(x,y), i billedfladen ved optagelsespositionen, og en lineær forskydning, C, mellem den virtuelle kameraposition og optagelsespositionen langs en optisk akse af kameraet som:
2. Fremgangsmåde ifølge krav 1, hvor trinnet til at udføre perspektivkorrektion endvidere omfatter tilpasning af en forstørrelse af den nye position under anvendelse af også en dybde, dacq_ref, fra en referenceflade valgt til at bevare en forstørrelse af en valgt flade i dybdekortet.
3. Fremgangsmåde ifølge krav 2, hvor trinnet til at udføre perspektivkorrektion omfatter at bestemme den nye position som:
4. Fremgangsmåde ifølge et hvilket som helst af de foregående krav, hvor trinnet til at udføre en perspektivkorrektion endvidere omfatter at anvende pixelværdierne P(X,y) og de nye positioner (x',y') til at bestemme nye pixelværdier, Pøj), for en række pixels, (i,j), der repræsenterer et korrigeret foto ved, for hver ny position (x',y'), at tilføje den tilsvarende pixelværdi P(X,y) til de nye pixelværdier P(i,j) af pixels (i,j) der omgiver den nye position, hvor pixelværdierne P(X,y) vægtes med en vægtningsfaktor, der er en funktion af de relative positioner af den nye position (x',y') og hver pixel (i,j).
5. Fremgangsmåde ifølge krav 4, endvidere omfattende efterfølgende at dividere hver ny pixelværdi P(i,j) med en normaliseringsfaktor.
6. Fremgangsmåde ifølge krav 4 eller 5, endvidere omfattende, for ny pixel med udefinerede værdier af Pøj), efterfølgende at beregne en interpoleret pixelværdi fra de omgivende pixels i det korrigerede foto med definerede værdier af P(i,j).
7. Fremgangsmåde ifølge et hvilket som helst af de foregående krav, hvor trinnene at tilvejebringe et foto og at tilvejebringe et dybdekort omfatter at tilvejebringe en serie af fotos og associerede dybdekort, og hvor fremgangsmåden endvidere omfatter trinnet at detektere og evaluere perspektivforvrængning af fotos baseret enten på afstanden af den nærmeste genstand i scenen eller på analysen af forsvindende linjer, at vælge fotos med perspektivforvrængning, hvor perspektivkorrektion kan være fordelagtig og automatisk at udføre perspektivkorrektion af de valgte fotos.
8. Fremgangsmåde ifølge et hvilket som helst af de foregående krav, endvidere omfattende også at udføre perspektivkorrektion af dybdekort ved, for hver pixel, (x,y), i dybdekortet, at bestemme en ny position, Dproc, på en billedflade for en virtuel kameraposition fra mindst dybden holdt af den pixel, dacq(x,y), dens position, Dacq(x,y), på billedfladen ved optagelsespositionen, og en forskydning, C, mellem den virtuelle kameraposition og optagelsespositionen.
9. Digital lagringssoftware konfigureret til at udføre fremgangsmåden ifølge et hvilket som helst af de foregående krav når den udføres af en eller flere digitale bearbejdningsenheder.
10. Integreret kredsløb konfigureret til at udføre fremgangsmåden ifølge et hvilket som helst af kravene 1-8.
11. Håndholdt eller bærbar indretning med et kamera omfattende den digitale lagring ifølge krav 9 eller det integrerede kredsløb ifølge krav 10.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14183766 | 2014-09-05 | ||
| PCT/EP2015/070246 WO2016034709A1 (en) | 2014-09-05 | 2015-09-04 | Depth map based perspective correction in digital photos |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DK3189493T3 true DK3189493T3 (da) | 2019-03-04 |
Family
ID=51518566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DK15766077.0T DK3189493T3 (da) | 2014-09-05 | 2015-09-04 | Perspektivkorrektion af digitale fotos ved hjælp af dybdekort |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10154241B2 (da) |
| EP (1) | EP3189493B1 (da) |
| CN (1) | CN107077719B (da) |
| DK (1) | DK3189493T3 (da) |
| WO (1) | WO2016034709A1 (da) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3028988B1 (fr) * | 2014-11-20 | 2018-01-19 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees |
| US11538184B2 (en) | 2018-06-01 | 2022-12-27 | Hewlett-Packard Development Company, L.P. | Substantially real-time correction of perspective distortion |
| CN109495688B (zh) * | 2018-12-26 | 2021-10-01 | 华为技术有限公司 | 电子设备的拍照预览方法、图形用户界面及电子设备 |
| EP3691277A1 (en) * | 2019-01-30 | 2020-08-05 | Ubimax GmbH | Computer-implemented method and system of augmenting a video stream of an environment |
| CN110276734B (zh) | 2019-06-24 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像畸变校正方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101726855B (zh) * | 2009-11-13 | 2011-05-11 | 河北工业大学 | 基于立方体投影对鱼眼图像畸变校正方法 |
| JP2012010044A (ja) | 2010-06-24 | 2012-01-12 | Sharp Corp | 画像処理装置 |
| GB2500417B8 (en) * | 2012-03-21 | 2017-06-07 | Sony Computer Entertainment Europe Ltd | Camera device, system and method of imaging |
| CN102722080B (zh) * | 2012-06-27 | 2015-11-18 | 杭州南湾科技有限公司 | 一种基于多镜头拍摄的多用途立体摄像方法 |
| WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
| CN103729841B (zh) * | 2013-12-18 | 2016-08-24 | 同济大学 | 一种基于方靶模型和透视投影的相机畸变校正方法 |
-
2015
- 2015-09-04 WO PCT/EP2015/070246 patent/WO2016034709A1/en active Application Filing
- 2015-09-04 CN CN201580057165.5A patent/CN107077719B/zh active Active
- 2015-09-04 US US15/508,390 patent/US10154241B2/en active Active
- 2015-09-04 EP EP15766077.0A patent/EP3189493B1/en not_active Not-in-force
- 2015-09-04 DK DK15766077.0T patent/DK3189493T3/da active
Also Published As
| Publication number | Publication date |
|---|---|
| US20170289516A1 (en) | 2017-10-05 |
| CN107077719B (zh) | 2020-11-13 |
| EP3189493A1 (en) | 2017-07-12 |
| WO2016034709A1 (en) | 2016-03-10 |
| CN107077719A (zh) | 2017-08-18 |
| US10154241B2 (en) | 2018-12-11 |
| EP3189493B1 (en) | 2018-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6722323B2 (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| DK3189493T3 (da) | Perspektivkorrektion af digitale fotos ved hjælp af dybdekort | |
| JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
| US9025862B2 (en) | Range image pixel matching method | |
| JP2018515825A (ja) | Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ | |
| JP6452360B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| WO2010028559A1 (zh) | 图像拼接方法及装置 | |
| WO2012029658A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP7156624B2 (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
| CN114485953A (zh) | 温度测量方法、装置及系统 | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| US20200202495A1 (en) | Apparatus and method for dynamically adjusting depth resolution | |
| JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
| JP2011211551A (ja) | 画像処理装置および画像処理方法 | |
| JP2019020952A (ja) | 画像処理装置、方法、及びプログラム | |
| JP6602412B2 (ja) | 情報処理装置及び方法、情報処理システム、ならびにプログラム。 | |
| JP6305232B2 (ja) | 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。 | |
| JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
| KR20110133677A (ko) | 3ｄ 영상 처리 장치 및 그 방법 | |
| JP7195785B2 (ja) | ３次元形状データを生成する装置、方法、及びプログラム | |
| JP2018129025A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
| CN111630569A (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |