JP2016533686A5 - - Google Patents

Download PDF

Info

Publication number
JP2016533686A5
JP2016533686A5 JP2016537925A JP2016537925A JP2016533686A5 JP 2016533686 A5 JP2016533686 A5 JP 2016533686A5 JP 2016537925 A JP2016537925 A JP 2016537925A JP 2016537925 A JP2016537925 A JP 2016537925A JP 2016533686 A5 JP2016533686 A5 JP 2016533686A5
Authority
JP
Japan
Prior art keywords
depth
images
depth map
obtaining
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016537925A
Other languages
English (en)
Other versions
JP2016533686A (ja
JP6411505B2 (ja
Filing date
Publication date
Priority claimed from US14/471,416 external-priority patent/US9344619B2/en
Application filed filed Critical
Publication of JP2016533686A publication Critical patent/JP2016533686A/ja
Publication of JP2016533686A5 publication Critical patent/JP2016533686A5/ja
Application granted granted Critical
Publication of JP6411505B2 publication Critical patent/JP6411505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. 異なる焦点距離におけるシーンの複数の画像を取得するステップであって、各画像が前記シーンの異なる部分を合焦して示すステップと、
    前記複数の画像に関連する第1の深度マップを取得するステップと、
    前記複数の画像に関連する第2の深度マップを取得するステップであって、
    前記第1の深度マップが第1の近傍サイズに対応し、前記第2の深度マップが、異なる第2の近傍サイズに対応し、
    前記第1および第2の深度マップを取得するために、前記第1および第2の近傍サイズのそれぞれに基づいて、2次元関数が適用される、ステップと、
    前記複数の画像および前記第1の深度マップに基づいて、前記シーンの2つ以上の部分を合焦して示す複合画像を生成するステップと、
    前記複合画像および前記第2の深度マップに基づいて、前記シーンの選択された部分を合焦して示す再合焦画像を生成するステップと
    を含む、画像処理のための方法。
  2. 前記第1の近傍サイズが前記第2の近傍サイズよりも小さい、請求項1に記載の方法。
  3. 前記複数のキャプチャされた画像の各々を鮮明度測定フィルタでフィルタリングして、複数のフィルタリングした画像を生成するステップをさらに含み、
    前記第1の深度マップを取得するステップが、
    前記複数のフィルタリングした画像中の各画像に対して前記第1の近傍サイズに基づく第1の2次元画素関数を適用して、第1の複数の深度画像を作り出すステップを含み、
    前記第2の深度マップを取得するステップが、
    前記複数のフィルタリングした画像中の各画像に対して前記第2の近傍サイズに基づく第2の2次元画素関数を適用して、第2の複数の深度画像を作り出すステップを含む、請求項1に記載の方法。
  4. 前記第1の2次元画素関数が、
    前記第1の近傍中の複数の画素に対応する深度値の間の加重平均を計算することを含む、または、
    前記第1の近傍中の画素に対応する深度値に対して加重投票方式を実行することを含む、請求項3に記載の方法。
  5. 前記鮮明度測定フィルタがラプラシアンフィルタである、請求項3に記載の方法。
  6. 前記第1の深度マップを取得するステップが、
    各画素位置について、前記第1の複数の深度画像に対応する第1の複数の深度値の間の最大深度値を取得するステップを含み、
    前記第2の深度マップを取得するステップが、
    各画素位置について、前記第2の複数の深度画像に対応する第2の複数の深度値の間の最大深度値を取得するステップを含む、
    請求項3に記載の方法。
  7. 前記複数の画像の前記異なる焦点距離が最小焦点距離値と最大焦点距離値との間に均一に分散される、請求項1に記載の方法。
  8. 前記第2の深度マップが前記第1の深度マップに基づいてオンザフライで生成される、請求項1に記載の方法。
  9. 異なる焦点距離におけるシーンの複数の画像を取得するための手段であって、各画像が前記シーンの異なる部分を合焦して示す、手段と、
    前記複数の画像に関連する第1の深度マップを取得するための手段と、
    前記複数の画像に関連する第2の深度マップを取得するための手段であって、
    前記第1の深度マップが第1の近傍サイズに対応し、前記第2の深度マップが、異なる第2の近傍サイズに対応
    前記第1および第2の深度マップを取得するために、前記第1および第2の近傍サイズのそれぞれに基づいて、2次元関数が適用される、手段と、
    前記複数の画像および前記第1の深度マップに基づいて、前記シーンの2つ以上の部分を合焦して示す複合画像を生成するための手段と、
    前記複合画像および前記第2の深度マップに基づいて、前記シーンの選択された部分を合焦して示す再合焦画像を生成するための手段と
    を備える、画像処理のための装置。
  10. 前記第1の近傍サイズが前記第2の近傍サイズよりも小さい、請求項9に記載の装置。
  11. 前記複数のキャプチャされた画像の各々を鮮明度測定フィルタでフィルタリングして、複数のフィルタリングした画像を生成する手段をさらに備え、
    前記第1の深度マップを取得するための前記手段が、
    前記複数のフィルタリングした画像中の各画像に対して前記第1の近傍サイズに基づく第1の2次元画素関数を適用して、第1の複数の深度画像を作り出すための手段を備え、
    前記第2の深度マップを取得するための前記手段が、
    前記複数のフィルタリングした画像中の各画像に対して前記第2の近傍サイズに基づく第2の2次元画素関数を適用して、第2の複数の深度画像を作り出すための手段を備える、
    請求項9に記載の装置。
  12. 前記第1の2次元画素関数が、
    度値の間の加重平均を計算することを含む、または、
    前記第1の近傍中の画素に対応する深度値に対して加重投票方式を実行することを含む、請求項11に記載の装置。
  13. 前記第1の深度マップを取得するための前記手段が、
    各画素位置について、前記第1の複数の深度画像に対応する第1の複数の深度値の間の最大深度値を取得するための手段を備え、
    前記第2の深度マップを取得するための前記手段が、
    各画素位置について、前記第2の複数の深度画像に対応する第2の複数の深度値の間の最大深度値を取得する手段を備える、
    請求項11に記載の装置。
  14. 前記第2の深度マップが前記第1の深度マップに基づいてオンザフライで生成される、請求項9に記載の装置。
  15. 画像処理のためのプロセッサ可読記憶媒体であって、プロセッサに、請求項1から8のいずれか一項に記載の方法を行わせるように構成されるプロセッサ可読命令を含む、プロセッサ可読記憶媒体。
JP2016537925A 2013-08-30 2014-08-29 全焦点画像を生成するための方法および装置 Active JP6411505B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361872504P 2013-08-30 2013-08-30
US61/872,504 2013-08-30
US14/471,416 US9344619B2 (en) 2013-08-30 2014-08-28 Method and apparatus for generating an all-in-focus image
US14/471,416 2014-08-28
PCT/US2014/053583 WO2015031856A1 (en) 2013-08-30 2014-08-29 Method and apparatus for generating an all-in-focus image

Publications (3)

Publication Number Publication Date
JP2016533686A JP2016533686A (ja) 2016-10-27
JP2016533686A5 true JP2016533686A5 (ja) 2017-09-21
JP6411505B2 JP6411505B2 (ja) 2018-10-24

Family

ID=52582697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537925A Active JP6411505B2 (ja) 2013-08-30 2014-08-29 全焦点画像を生成するための方法および装置

Country Status (8)

Country Link
US (1) US9344619B2 (ja)
EP (1) EP3039857A1 (ja)
JP (1) JP6411505B2 (ja)
KR (1) KR102126300B1 (ja)
CN (1) CN105474622B (ja)
BR (1) BR112016004206B1 (ja)
CA (1) CA2919253C (ja)
WO (1) WO2015031856A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014193377A1 (en) * 2013-05-30 2014-12-04 Nokia Corporation Image refocusing
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images
JP6581333B2 (ja) * 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
TWI558167B (zh) * 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
US9565356B2 (en) * 2015-06-07 2017-02-07 Apple Inc. Optimizing capture of focus stacks
US9774270B2 (en) 2015-06-15 2017-09-26 Apple Inc. Systems and methods of operation for power converters having series-parallel mode active clamps
US20180205311A1 (en) 2017-01-17 2018-07-19 Apple Inc. Control of Series-Parallel Mode (SPM) Clamped Flyback Converter
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
EP3139614A1 (en) * 2015-09-07 2017-03-08 Thomson Licensing Method and device for encoding and decoding a light field based image, and corresponding computer program product
JP6818471B2 (ja) 2016-08-31 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106412426B (zh) * 2016-09-24 2019-08-20 上海大学 全聚焦摄影装置及方法
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
US10389936B2 (en) 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
WO2018218643A1 (en) * 2017-06-02 2018-12-06 Shanghaitech University Method and apparatus for estimating depth of field information
CN108055452B (zh) 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
KR101997991B1 (ko) 2017-11-29 2019-07-08 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 결합 방법 및 시스템
CN107948520A (zh) 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
KR101997358B1 (ko) * 2017-11-30 2019-07-08 오스템임플란트 주식회사 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법
US10740913B2 (en) * 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11262192B2 (en) * 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
KR101994473B1 (ko) * 2017-12-20 2019-07-31 (주)이더블유비엠 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램
CN115052139B (zh) 2018-01-19 2023-09-08 交互数字Vc控股公司 一种用于显示视频的方法和显示设备
CN108200344A (zh) * 2018-01-23 2018-06-22 江苏冠达通电子科技有限公司 摄像机的调整变焦方法
EP3554082A1 (en) * 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
JP7214368B2 (ja) * 2018-05-31 2023-01-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
EP3818695B1 (en) * 2018-07-06 2023-10-04 InterDigital VC Holdings, Inc. Method and system for forming extended focal planes for large viewpoint changes
JP7297891B2 (ja) * 2018-07-19 2023-06-26 アクティブ サージカル, インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
JP6936990B2 (ja) * 2018-07-26 2021-09-22 日本電信電話株式会社 符号化装置及びプログラム
KR102574649B1 (ko) * 2018-11-29 2023-09-06 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN109600552B (zh) * 2019-01-14 2024-06-18 广东省航空航天装备技术研究所 图像重新聚焦的控制方法及系统
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
WO2020187425A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Depth of field image refocusing
WO2021052487A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 扩展景深图像的获取方法、装置及电子设备
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
US11423510B2 (en) * 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
WO2021120188A1 (en) * 2019-12-20 2021-06-24 Qualcomm Incorporated Image fusion
WO2022126430A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 辅助对焦方法、装置及系统
US11756221B2 (en) 2021-01-28 2023-09-12 Qualcomm Incorporated Image fusion for scenes with objects at multiple depths
KR102529593B1 (ko) * 2022-10-25 2023-05-08 성형원 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법
US11830127B1 (en) * 2023-05-02 2023-11-28 Illuscio, Inc. Systems and methods for generating consistently sharp, detailed, and in-focus three-dimensional models from pixels of two-dimensional images

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
US8582910B2 (en) * 2009-10-02 2013-11-12 The Chinese University Of Hong Kong Methods and apparatus for editing images
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP5824364B2 (ja) * 2010-06-17 2015-11-25 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8494301B2 (en) 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
CN102314683B (zh) * 2011-07-15 2013-01-16 清华大学 一种非平面图像传感器的计算成像方法和成像装置
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
EP2745269B1 (en) * 2011-10-10 2015-03-11 Koninklijke Philips N.V. Depth map processing
US20150109513A1 (en) * 2012-04-26 2015-04-23 The Trustees of Collumbia University in the City York Systems, methods, and media for providing interactive refocusing in images
TWI482468B (zh) * 2012-11-23 2015-04-21 Inst Information Industry 物體偵測裝置、方法及其電腦可讀取紀錄媒體
CN103177432B (zh) * 2013-03-28 2015-11-18 北京理工大学 一种用编码孔径相机获取全景图方法

Similar Documents

Publication Publication Date Title
JP2016533686A5 (ja)
JP2017520852A5 (ja)
EP3032494B1 (en) Using depth for recovering missing information in an image
BR112017014647A2 (pt) método e aparelho de processamento de imagem
JP2010161744A5 (ja)
JP2017520050A5 (ja)
JP2011041089A5 (ja)
JP2016522923A5 (ja)
JP2016514936A5 (ja)
JP2015085198A5 (ja)
EP2860694A3 (en) Image processing apparatus, image pickup apparatus, image processing method, image processing program, and non-transitory computer-readable storage medium
JP2013084247A5 (ja)
EP2887642A3 (en) Method, apparatus and computer program product for image refocusing for light-field images
JP2016129289A5 (ja)
EP2793186A3 (en) Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium
JP2017118296A5 (ja)
JP2019530059A5 (ja)
JP2013254480A5 (ja)
WO2015128542A3 (en) Processing stereo images
EP2830311A3 (en) Image photographing apparatus and method thereof
EP3001382A3 (en) Method and apparatus for generating disparity map based on image frames photographed by stereo camera
JP2018520531A5 (ja)
JP2015097380A5 (ja)
JP2009284056A5 (ja)
JP2016163169A5 (ja)