JP2013242658A5 - - Google Patents

Download PDF

Info

Publication number
JP2013242658A5
JP2013242658A5 JP2012114737A JP2012114737A JP2013242658A5 JP 2013242658 A5 JP2013242658 A5 JP 2013242658A5 JP 2012114737 A JP2012114737 A JP 2012114737A JP 2012114737 A JP2012114737 A JP 2012114737A JP 2013242658 A5 JP2013242658 A5 JP 2013242658A5
Authority
JP
Japan
Prior art keywords
kernel
blur
image
recovery
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012114737A
Other languages
English (en)
Other versions
JP2013242658A (ja
JP5968073B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2012114737A priority Critical patent/JP5968073B2/ja
Priority claimed from JP2012114737A external-priority patent/JP5968073B2/ja
Priority to US13/886,326 priority patent/US9100559B2/en
Priority to CN201310175679.3A priority patent/CN103426147B/zh
Publication of JP2013242658A publication Critical patent/JP2013242658A/ja
Publication of JP2013242658A5 publication Critical patent/JP2013242658A5/ja
Application granted granted Critical
Publication of JP5968073B2 publication Critical patent/JP5968073B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

上記課題を解決するための、本発明の第一の様態に係る画像処理装置は、
被写体との距離情報を基に、撮影画像にぼけを付加する画像処理装置であって、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得部と、画像にぼけ付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得部と、前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得部と、前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する画像処理部と、を有し、前記回復カーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得することを特徴とする。
また、本発明の第二の様態に係る画像処理装置は、
被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置であって、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得部と、画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得部と、前記回復カーネルと前記ぼけカーネルを用いて、前記撮像画像の劣化を回復し、かつ、該撮像画像にぼけを付加する画像処理部と、を有し、前記回復カーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得し、前記ぼけカーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得することを特徴とする。
また、本発明の第一の様態に係る画像処理方法は、
被写体との距離情報を基に、撮影画像にぼけを付加する画像処理装置が行う画像処理方法であって、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、画像にぼけ付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、を含み、前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得することを特徴とする
また、本発明の第二の様態に係る画像処理方法は、
被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置が行う画像処理方法であって、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、前記回復カーネルと前記ぼけカーネルを用いて、前記撮像画像の劣化を回復し、かつ、該撮像画像にぼけを付加するぼけ付加ステップと、を含み、前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得し、前記ぼけカーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得することを特徴とする。
また、本発明の第一の様態に係る画像処理プログラムは、
被写体との距離情報を基に、撮影画像にぼけを付加する画像処理装置に、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、画像にぼけ付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、を実行させ、前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得することを特徴とする
また、本発明の第二の様態に係る画像処理プログラムは、
被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置に、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、前記回復カーネルと前記ぼけカーネルを用いて、前記撮像画像の劣化を回復し、かつ、該撮像画像にぼけを付加するぼけ付加ステップと、を実行させ、前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得し、前記ぼけカーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得することを特徴とする。

Claims (15)

  1. 被写体との距離情報を基に、撮影画像にぼけを付加する画像処理装置であって、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得部と、
    画像にぼけ付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得部と、
    前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得部と、
    前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する画像処理部と、
    を有し、
    前記回復カーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得する
    ことを特徴とする画像処理装置。
  2. 記ぼけカーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得する
    ことを特徴とする、請求項1に記載の画像処理装置。
  3. 記画像処理部は、撮影画像上の処理対象領域に前記合成カーネルを割り当て、前記割り当てられた合成カーネルを用いて画像回復を含むぼけ付加処理を行う
    ことを特徴とする、請求項1または2に記載の画像処理装置。
  4. 一つ以上の前記処理対象領域が含まれる領域である、拡張領域を決定する画像領域拡張部をさらに有し、
    前記画像領域拡張部は、前記処理対象領域ごとに割り当てられた前記合成カーネルの類似度を判定し、類似していると判定された複数の合成カーネルに対応する処理対象領域を、一つの拡張領域とし、
    前記画像処理部は、前記拡張領域について、同一の合成カーネルを用いて、画像回復を含むぼけ付加処理を行う
    ことを特徴とする、請求項3に記載の画像処理装置。
  5. 前記画像領域拡張部は、前記処理対象領域に割り当てられた前記合成カーネルの大きさ又は形状に基づいて前記類似度を判定する
    ことを特徴とする、請求項4に記載の画像処理装置。
  6. 前記画像領域拡張部は、前記処理対象領域に割り当てられた前記合成カーネルの空間周波数特性に基づいて前記類似度を判定する
    ことを特徴とする、請求項4に記載の画像処理装置。
  7. 前記画像領域拡張部は、視覚の空間周波数特性にさらに基づいて前記類似度を判定する
    ことを特徴とする、請求項6に記載の画像処理装置。
  8. 前記画像領域拡張部は、前記処理対象領域に割り当てられた前記合成カーネルの空間周波数特性と前記視覚の空間周波数特性との乗算の積算値と、該視覚の空間周波数の積算値との比に基づいて前記類似度を判定する
    ことを特徴とする、請求項7に記載の画像処理装置。
  9. 前記回復カーネル取得部は、前記回復カーネルを演算によって生成する、又は、あらかじめ算出しておいた回復カーネルを利用する
    ことを特徴とする、請求項1から8のいずれか1項に記載の画像処理装置。
  10. 被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置であって、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得部と、
    画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得部と、
    前記回復カーネルと前記ぼけカーネルを用いて、前記撮像画像の劣化を回復し、かつ、該撮像画像にぼけを付加する画像処理部と、
    を有し、
    前記回復カーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得し、
    前記ぼけカーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得する
    ことを特徴とする画像処理装置。
  11. 撮像手段と、請求項1から請求項10のいずれか1項に記載の画像処理装置を有する
    ことを特徴とする撮像装置。
  12. 被写体との距離情報を基に、撮影画像にぼけを付加する画像処理装置が行う画像処理方法であって、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、
    画像にぼけ付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、
    前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、
    前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、
    を含み、
    前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画
    角に応じた回復カーネルを取得する
    ことを特徴とする画像処理方法。
  13. 被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置が行う画像処理方法であって、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、
    画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、
    前記回復カーネルと前記ぼけカーネルを用いて、前記撮像画像の劣化を回復し、かつ、該撮像画像にぼけを付加するぼけ付加ステップと、
    を含み、
    前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得し、
    前記ぼけカーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得する
    ことを特徴とする画像処理方法。
  14. 被写体との距離情報を基に、撮影画像にぼけを付加する画像処理装置に、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、
    画像にぼけ付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、
    前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、
    前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、
    を実行させ、
    前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得する
    ことを特徴とする画像処理プログラム。
  15. 被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置に、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、
    画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、
    前記回復カーネルと前記ぼけカーネルを用いて、前記撮像画像の劣化を回復し、かつ、該撮像画像にぼけを付加するぼけ付加ステップと、
    を実行させ、
    前記回復カーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得し、
    前記ぼけカーネル取得ステップでは、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得する
    ことを特徴とする画像処理プログラム。
JP2012114737A 2012-05-18 2012-05-18 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム Expired - Fee Related JP5968073B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012114737A JP5968073B2 (ja) 2012-05-18 2012-05-18 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
US13/886,326 US9100559B2 (en) 2012-05-18 2013-05-03 Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel
CN201310175679.3A CN103426147B (zh) 2012-05-18 2013-05-14 图像处理装置、图像拾取装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012114737A JP5968073B2 (ja) 2012-05-18 2012-05-18 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2013242658A JP2013242658A (ja) 2013-12-05
JP2013242658A5 true JP2013242658A5 (ja) 2015-05-14
JP5968073B2 JP5968073B2 (ja) 2016-08-10

Family

ID=49581019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012114737A Expired - Fee Related JP5968073B2 (ja) 2012-05-18 2012-05-18 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US9100559B2 (ja)
JP (1) JP5968073B2 (ja)
CN (1) CN103426147B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6271990B2 (ja) 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
JP6319972B2 (ja) 2013-08-26 2018-05-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US9299132B2 (en) 2013-10-23 2016-03-29 Adobe Systems Incorporated Automatically determining the size of a blur kernel
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP6284377B2 (ja) * 2014-01-30 2018-02-28 オリンパス株式会社 カメラシステム
US10255664B2 (en) * 2014-07-04 2019-04-09 Sony Corporation Image processing device and method
KR102195407B1 (ko) * 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
JP6570406B2 (ja) * 2015-10-05 2019-09-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
CN108050937B (zh) * 2018-01-08 2019-07-16 浙江大学 大口径光学元件中频误差的检测方法及装置
US11575865B2 (en) * 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
JP7341033B2 (ja) 2019-11-11 2023-09-08 キヤノン株式会社 視差検出装置、撮像装置、視差検出方法、及びプログラム
US11721001B2 (en) 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207549A (ja) 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
US7911513B2 (en) * 2007-04-20 2011-03-22 General Instrument Corporation Simulating short depth of field to maximize privacy in videotelephony
JP5501069B2 (ja) 2010-03-31 2014-05-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2012005056A (ja) * 2010-06-21 2012-01-05 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102184533B (zh) * 2011-06-10 2012-10-24 西安电子科技大学 基于非局部约束的全变分图像去模糊方法
CN102393955B (zh) * 2011-07-18 2013-11-20 西安电子科技大学 用于图像复原的全信息非局部约束全变分方法

Similar Documents

Publication Publication Date Title
JP2013242658A5 (ja)
JP2011194111A5 (ja)
JP2014225843A5 (ja)
JP2016533686A5 (ja)
WO2015126205A3 (en) Tomography apparatus and method for reconstructing tomography image thereof
BR112017014647A2 (pt) método e aparelho de processamento de imagem
JP2015197745A5 (ja)
JP2015035198A5 (ja)
WO2012062813A3 (en) Recovery of 3d scene structure and camera motion from a video sequence
JP2016018309A5 (ja)
JP2017045283A5 (ja)
JP2007274299A5 (ja)
JP2018512913A5 (ja)
JP2013061850A5 (ja)
JP2012165213A5 (ja)
JP2019134269A5 (ja)
CA2909761C (en) Imaging apparatus and method
JP2012222541A5 (ja)
JP2013186853A5 (ja)
JP2018041293A5 (ja)
JP2011095861A5 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013031154A5 (ja)
JP2012054873A5 (ja)
JP2014236810A5 (ja)
JP2015106290A5 (ja)