JP2013126243A5 - - Google Patents

Download PDF

Info

Publication number
JP2013126243A5
JP2013126243A5 JP2011275953A JP2011275953A JP2013126243A5 JP 2013126243 A5 JP2013126243 A5 JP 2013126243A5 JP 2011275953 A JP2011275953 A JP 2011275953A JP 2011275953 A JP2011275953 A JP 2011275953A JP 2013126243 A5 JP2013126243 A5 JP 2013126243A5
Authority
JP
Japan
Prior art keywords
image
parallax
images
parallax image
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011275953A
Other languages
English (en)
Other versions
JP2013126243A (ja
JP5917125B2 (ja
Filing date
Publication date
Priority claimed from JP2011275953A external-priority patent/JP5917125B2/ja
Priority to JP2011275953A priority Critical patent/JP5917125B2/ja
Application filed filed Critical
Priority to US13/688,549 priority patent/US8773549B2/en
Priority to CN201210540134.3A priority patent/CN103167239B/zh
Priority to CN201610561224.9A priority patent/CN106101551B/zh
Publication of JP2013126243A publication Critical patent/JP2013126243A/ja
Priority to US14/287,327 priority patent/US9426349B2/en
Publication of JP2013126243A5 publication Critical patent/JP2013126243A5/ja
Publication of JP5917125B2 publication Critical patent/JP5917125B2/ja
Application granted granted Critical
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (24)

  1. 少なくとも第1の視差画像、第2の視差画像及び第3の視差画像を生成する生成手段と、
    前記第1の視差画像、前記第2の視差画像及び前記第3の視差画像をこの順で繰り返し出力する出力手段とを備え、
    前記第1の視差画像、前記第2の視差画像及び前記第3の視差画像は、それぞれ異なる瞳領域を通過した画像に対応し、
    前記第1の視差画像と前記第2の視差画像との間の視差は、前記第1の視差画像と前記第3の視差画像との間の視差よりも小さい、画像処理装置
  2. 前記第1の視差画像、前記第2の視差画像及び前記第3の視差画像を含みn個の視差画像からなる視差画像列のうち、最初の視差画像と最後の視差画像とが同じである、請求項1に記載の画像処理装置。ここで、nは3以上の整数である。
  3. 前記第1乃至第3の視差画像のうち隣接する視差画像に対応する前記瞳領域は互いに隣接している、請求項1又は2に記載の画像処理装置。
  4. 前記第1乃至第3の視差画像のうち隣接する視差画像の各組に対して、重み付けを段階的に変更しながら補間処理を繰り返し適用する補間処理手段をさらに備える、請求項1乃至3の何れか一項に記載の画像処理装置。
  5. 結像光学系と、
    前記結像光学系の異なる瞳領域を通過した光を受け取る画素が配列された撮像手段と、
    請求項1乃至3の何れか1項に記載の画像処理装置とを備えた撮像装置。
  6. 前記画素は、前記結像光学系の異なる瞳領域を通過した光を受け取る複数の副画素を有し、
    前記生成手段は、各瞳領域に対応する副画素の出力から前記視差画像を生成する、請求項5に記載の撮像装置。
  7. 前記副画素は2次元的に配列されている、請求項6に記載の撮像装置。
  8. 表示手段と、
    請求項1乃至4の何れか1項に記載の画像処理装置とを備えた表示装置。
  9. 前記出力手段は、前記視差画像を動画として出力する、請求項1乃至4の何れか1項に記載の画像処理装置。
  10. 少なくとも第1の視差画像、第2の視差画像及び第3の視差画像を生成するステップであって、前記第1の視差画像、前記第2の視差画像及び前記第3の視差画像は、それぞれ異なる瞳領域を通過した画像に対応する、ステップと、
    前記第1の視差画像、前記第2の視差画像及び前記第3の視差画像をこの順で繰り返し出力するステップであって、前記第1の視差画像と前記第2の視差画像との間の視差は、前記第1の視差画像と前記第3の視差画像との間の視差よりも小さい、ステップとを具備する、画像処理装置の制御方法。
  11. 結像光学系の異なる瞳領域を通過した光束を受光できる画素を配列した撮像手段により取得された画像を入力する入力手段と、
    前記入力手段で入力された画像から、デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成する視差画像生成手段と、
    前記生成された複数の視差画像から重複を許して複数回の選択により、選択された前記視差画像を選択順に並べた視差画像列を生成する視差画像列生成手段と、
    前記視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を前記隣接する視差画像間に配列して出力する補間処理手段と、
    前記補間処理手段の出力を動画の出力画像として出力する出力手段と
    を備えることを特徴とする画像処理装置。
  12. 前記生成された複数の視差画像は、各視差画像が前記結像光学系の射出瞳の異なる瞳領域に対応し、前記像ずれが同一直線上とならないことを特徴とする請求項11に記載の画像処理装置。
  13. 前記視差画像列生成手段は、前記視差画像列の最初の視差画像と最後の視差画像が同じであるように前記生成された複数の視差画像を選択することを特徴とする請求項11または12に記載の画像処理装置。
  14. 前記視差画像列生成手段は、前記隣接する視差画像に対応する前記瞳領域が隣接するように前記生成された複数の視差画像を選択することを特徴とする請求項12に記載の画像処理装置。
  15. 前記補間手段は、前記隣接する視差画像の各組に対して、重み付けを段階的に変更しながら補間処理を繰り返し適用することを特徴とする請求項11乃至14の何れか一項に記載の画像処理装置。
  16. 画像を入力する入力手段と前記入力画像の処理手段を備えた画像処理装置の制御方法であり、
    結像光学系の異なる瞳領域を通過した光束を受光できる画素を配列した撮像手段により取得された画像を前記入力手段で入力する入力ステップと、
    前記入力手段で入力された画像から、デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成する視差画像生成ステップと、
    前記入力された複数の視差画像から重複を許して複数回の選択により、選択された前記視差画像を選択順に並べた視差画像列を生成する視差画像列生成ステップと、
    前記視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を前記隣接する視差画像間に配列して出力する補間処理ステップと、
    前記補間処理ステップの出力を動画の出力画像として出力する出力ステップと
    を備えることを特徴とする制御方法。
  17. コンピュータを、
    入力された画像を処理する画像処理装置の制御方法において、
    結像光学系の異なる瞳領域を通過した光束を受光できる画素を配列した撮像手段により取得された画像を入力する入力手段、
    前記入力手段で入力された画像から、デフォーカス量の大きさが増加するのに伴い視差画像間の像ずれ量の大きさが増加する関係を有する複数の視差画像を生成する視差画像生成手段、
    前記生成された複数の視差画像から重複を許して複数回の選択により、選択された前記視差画像を選択順に並べた視差画像列を生成する視差画像列生成手段、
    前記視差画像列に含まれる隣接する視差画像の各組に対して補間処理を繰り返し適用して複数の補間画像を生成し、当該生成された複数の補間画像を前記隣接する視差画像間に配列して出力する補間処理手段、
    前記補間処理手段の出力を動画の出力画像として出力することを出力手段として機能させるプログラム。
  18. 請求項17のプログラムを記録したコンピュータが読み取り可能な記録媒体。
  19. コンピュータを、請求項11乃至15のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
  20. コンピュータを、請求項11乃至15のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
  21. 結像光学系と、
    前記結像光学系の異なる瞳領域を通過した光束を受光できる画素を配列した撮像手段と、
    請求項11乃至15の何れか一項に記載の画像処理装置を備えることを特徴とする撮像装置。
  22. 前記画素は、前記結像光学系の異なる瞳領域を通過する光束をそれぞれ受光する複数の副画素を有し、前記視差画像生成手段は、各瞳領域に対応する副画素の出力から前記複数の視差画像を生成することを特徴とする請求項21に記載の撮像装置。
  23. 前記複数の副画素は2次元に配列されていることを特徴とする請求項22に記載の撮像装置。
  24. 表示手段と、
    請求項11乃至15の何れか一項に記載の画像処理装置を備えることを特徴とする表示装置。
JP2011275953A 2011-12-16 2011-12-16 画像処理装置、画像処理方法、撮像装置および表示装置 Expired - Fee Related JP5917125B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011275953A JP5917125B2 (ja) 2011-12-16 2011-12-16 画像処理装置、画像処理方法、撮像装置および表示装置
US13/688,549 US8773549B2 (en) 2011-12-16 2012-11-29 Image processing apparatus, image processing method, image pickup apparatus, and display device
CN201210540134.3A CN103167239B (zh) 2011-12-16 2012-12-13 图像处理装置、图像处理方法、摄像装置及显示设备
CN201610561224.9A CN106101551B (zh) 2011-12-16 2012-12-13 图像处理装置、图像处理方法、摄像装置及显示设备
US14/287,327 US9426349B2 (en) 2011-12-16 2014-05-27 Image processing apparatus, image processing method, image pickup apparatus, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011275953A JP5917125B2 (ja) 2011-12-16 2011-12-16 画像処理装置、画像処理方法、撮像装置および表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016076669A Division JP6263221B2 (ja) 2016-04-06 2016-04-06 画像処理装置、画像処理方法、撮像装置および表示装置

Publications (3)

Publication Number Publication Date
JP2013126243A JP2013126243A (ja) 2013-06-24
JP2013126243A5 true JP2013126243A5 (ja) 2015-02-05
JP5917125B2 JP5917125B2 (ja) 2016-05-11

Family

ID=48589950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011275953A Expired - Fee Related JP5917125B2 (ja) 2011-12-16 2011-12-16 画像処理装置、画像処理方法、撮像装置および表示装置

Country Status (3)

Country Link
US (2) US8773549B2 (ja)
JP (1) JP5917125B2 (ja)
CN (2) CN103167239B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
CN104766275B (zh) * 2014-01-02 2017-09-08 株式会社理光 稀疏视差图稠密化方法和装置
JP6300547B2 (ja) * 2014-02-03 2018-03-28 キヤノン株式会社 撮像装置
JP6198664B2 (ja) * 2014-04-18 2017-09-20 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6198663B2 (ja) * 2014-04-18 2017-09-20 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6478511B2 (ja) * 2014-08-01 2019-03-06 キヤノン株式会社 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
JP6415179B2 (ja) * 2014-08-20 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
JP6486149B2 (ja) * 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6275174B2 (ja) 2015-03-10 2018-02-07 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
JP6746359B2 (ja) 2015-05-08 2020-08-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10325356B2 (en) 2015-11-30 2019-06-18 Canon Kabushiki Kaisha Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing
JP6207640B2 (ja) * 2016-01-27 2017-10-04 エフ・エーシステムエンジニアリング株式会社 2次元映像の立体映像化表示装置
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备
JP7145048B2 (ja) * 2018-11-16 2022-09-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020136697A (ja) 2019-02-12 2020-08-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3972385B2 (ja) * 1996-06-14 2007-09-05 松下電器産業株式会社 多眼立体画像表示装置
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP4573393B2 (ja) * 2000-01-06 2010-11-04 オリンパス株式会社 画像表示装置
US6750437B2 (en) * 2000-08-28 2004-06-15 Canon Kabushiki Kaisha Image pickup apparatus that suitably adjusts a focus
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置
KR100480730B1 (ko) * 2003-03-03 2005-04-07 엘지전자 주식회사 입체 영상 표시 장치
WO2005041562A1 (ja) * 2003-10-22 2005-05-06 Matsushita Electric Industrial Co., Ltd. 撮像装置とその製造方法、携帯機器、及び撮像素子とその製造方法
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US9063801B2 (en) 2008-04-24 2015-06-23 Oblong Industries, Inc. Multi-process interactive systems and methods
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9075441B2 (en) 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8941589B2 (en) 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US20140035805A1 (en) 2009-04-02 2014-02-06 David MINNEN Spatial operating environment (soe) with markerless gestural control
US8681098B2 (en) 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537112B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8890813B2 (en) 2009-04-02 2014-11-18 Oblong Industries, Inc. Cross-user hand tracking and shape recognition user interface
JP4410804B2 (ja) 2007-02-23 2010-02-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 分散ネットワーク環境におけるシステム管理方法、情報処理装置及びプログラム
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5180795B2 (ja) 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
CN102047203B (zh) * 2008-04-02 2016-08-17 奥布隆工业有限公司 使用在扩展的景深内提取的三维信息进行的基于姿态的控制
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US20130076616A1 (en) 2008-04-24 2013-03-28 Ambrus Csaszar Adaptive tracking system for spatial input devices
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8941590B2 (en) 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
JP2011525283A (ja) 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
JP5543098B2 (ja) * 2008-11-14 2014-07-09 キヤノン株式会社 撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5302663B2 (ja) * 2008-12-24 2013-10-02 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
US20150138086A1 (en) 2009-04-02 2015-05-21 John S. Underkoffler Calibrating control device for use with spatial operating system
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
CN102576159B (zh) * 2009-09-01 2015-05-20 阿瑟·布拉德利 提供改进的视觉质量的多焦点矫正
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
US8749660B2 (en) * 2010-03-24 2014-06-10 Fujifilm Corporation Image recording apparatus and image processing method
JP2011211381A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 立体撮像装置
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP2012205015A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
WO2012135153A2 (en) 2011-03-25 2012-10-04 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
JP2012235338A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理方法、画像処理装置及び表示装置
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置

Similar Documents

Publication Publication Date Title
JP2013126243A5 (ja)
JP2012249125A5 (ja)
JP2006115246A5 (ja)
JP2014071207A5 (ja)
JP2014106476A5 (ja)
JP2016213650A5 (ja)
JP5289416B2 (ja) 立体画像表示装置、方法およびプログラム
JP2012163709A5 (ja)
JP2014146019A5 (ja)
JP2014057181A5 (ja)
KR20160017489A (ko) 홀로그램 생성 방법 및 장치
JP2008219878A5 (ja)
JP2013064996A5 (ja) 画像表示装置および三次元画像表示装置
JP2016042689A (ja) 映像処理方法及び装置
WO2011043022A1 (ja) 画像表示装置および画像表示方法
JP2014064213A5 (ja)
JP2016005189A5 (ja)
JP4683079B2 (ja) 画像処理装置および方法
JP2015144416A5 (ja)
JP2014082533A5 (ja)
RU2017115023A (ru) Автостереоскопическое устройство отображения и способ его возбуждения
JP2014157425A5 (ja) 画像処理装置、撮像装置及びそれらの制御方法、プログラム、記憶媒体
JP2012054873A5 (ja)
KR102654862B1 (ko) 영상 처리 방법 및 장치
JP2013085176A5 (ja) 撮像装置、画像処理装置、及び画像処理方法