JP2020010146A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2020010146A JP2020010146A JP2018128568A JP2018128568A JP2020010146A JP 2020010146 A JP2020010146 A JP 2020010146A JP 2018128568 A JP2018128568 A JP 2018128568A JP 2018128568 A JP2018128568 A JP 2018128568A JP 2020010146 A JP2020010146 A JP 2020010146A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- distance
- image data
- information corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 131
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000000694 effects Effects 0.000 claims abstract description 64
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000007423 decrease Effects 0.000 claims description 3
- 238000007599 discharging Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 abstract description 5
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000007493 shaping process Methods 0.000 description 6
- 230000000740 bleeding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
- G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
- G06K15/18—Conditioning data for presenting it to the physical printing elements
- G06K15/1867—Post-processing of the composed and rasterized print image
- G06K15/1872—Image enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
- G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
- G06K15/10—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers by matrix printers
- G06K15/102—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers by matrix printers using ink jet print heads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【課題】合焦面からの距離に相当する情報を利用する画像処理で、意図した効果が得られない場合、例えば、編集済の画像データを用いて記録装置で画像を印刷する場合、記録装置側の劣化補正を適切に行えず、立体感のある画像が得られないという問題がある。【解決手段】被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置において以下の処理を行う。即ち、前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する。次に、前記編集済の画像データと前記取得された前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する。【選択図】 図6
Description
本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、プリンタに出力した画像の立体感を効果的に制御する画像処理装置、画像処理方法、及びプログラムに関する。
人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの1つ以上の手がかりを利用して、人間は立体感、つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚しているのである。
またカメラなどの撮像装置で撮影され、表示、投影あるいは印刷された2次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している(ピントがあっている)部分と、合焦していない(ボケている)部分の再現が立体感にとって重要となる。
特許文献1は、カメラから得られた深度マップの品質をノイズがあるピクセル値の形態と補間された「フライング・ピクセル」値の形態とのうちの少なくともいずれかであり得る欠陥ピクセルを検出することにより向上させる方法を提案している。このように、撮像装置の視差情報や2台の撮像装置の視差情報から得られた合焦面からの距離に相当する情報(深度値やデフォーカス量)は、様々な画像処理に活用されている。
さて、撮像装置から得られた視差情報や2台の撮像装置から得られた視差情報、また、その視差情報を特許文献1に開示の方法で品質を向上した深度マップ等の合焦面からの距離に相当する情報は、撮像された画像データに一対で対応する情報である。そのため、その画像データが編集された場合、編集済の画像データと合焦面からの距離に相当する情報の対応関係が崩れてしまう。
その結果、合焦面からの距離に相当する情報を利用する画像処理で、意図した処理効果が得られない場合があるという問題があった。例えば、編集済の画像データを用いて記録装置(プリンタ)で画像を印刷する場合、記録装置側の劣化補正を適切に行えず、立体感のある画像が得られないという問題があった。
本発明は上記従来例に鑑みてなされたもので、撮像した画像に画像処理を施した編集済の画像データであっても人間が感じる画像の立体感を適切に表現できるよう処理可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために本発明の画像処理装置は次のような構成からなる。
即ち、被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置であって、前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得手段と、前記編集済の画像データと前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成手段とを有することを特徴とする。
また本発明を別の側面から見れば、コンピュータに上記構成の画像処理装置の各手段として機能させるためのプログラムを備える。
さらに本発明を別の側面から見れば、被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置における画像処理方法であって、前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得工程と、前記編集済の画像データと前記取得工程において取得された前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成工程とを有することを特徴とする画像処理方法を備える。
本発明によれば、撮像した画像に画像処理を施した編集済の画像データであっても人間が感じる画像の立体感を適切に表現できるよう処理することができるという効果がある。
以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、既に説明した部分には同一符号を付し重複説明を省略する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
なお、この明細書において、「記録」(「プリント」「印刷」という場合もある)とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。また人間が視覚で知覚し得るように顕在化したものであるか否かを問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。
また、「記録媒体」(「シート」という場合もある)とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。
さらに、「インク」(「液体」と言う場合もある)とは、上記「記録(プリント)」の定義と同様広く解釈されるべきものである。従って、記録媒体上に付与されることによって、画像、模様、パターン等の形成または記録媒体の加工、或いはインクの処理(例えば記録媒体に付与されるインク中の色剤の凝固または不溶化)に供され得る液体を表すものとする。
なお、以下の説明では、画像を出力する出力装置の一例としてインクジェットプリンタとして説明するが、電子写真方式を採用したレーザビームプリンタやインクリボンに塗布されたインクを加熱して昇華し記録に用いる昇華型プリンタを用いても良い。
<画像処理システムの概要(図1〜図4)>
図1は本発明の代表的な実施例である画像処理装置を用いた画像処理システム(以下、システム)の全体構成を示すブロック図である。図1に示されているように、このシステムは、パーソナルコンピュータ装置(PC)101(以下、PC)と出力装置102とから構成されている。そして、PC101と出力装置102とは有線/無線ネットワークやUSBまたはローカルバスなどのインタフェースで接続されている。
図1は本発明の代表的な実施例である画像処理装置を用いた画像処理システム(以下、システム)の全体構成を示すブロック図である。図1に示されているように、このシステムは、パーソナルコンピュータ装置(PC)101(以下、PC)と出力装置102とから構成されている。そして、PC101と出力装置102とは有線/無線ネットワークやUSBまたはローカルバスなどのインタフェースで接続されている。
PC101は、出力装置102への印刷制御指示、必要な情報および画像データの転送などを行う。記憶装置105にはOS、システムプログラムや各種アプリケーションおよび各種処理に必要なパラメータデータを記憶している。記憶装置105は、ハードディスク(HD)、半導体ディスク(SSD)やフラッシュROMなどの書き換え可能な記憶媒体で構成される。CPU104は、記憶装置105に格納されたソフトウェアを実行するにあたりRAMなどの作業メモリ107を用いて処理を実行する。ユーザインタフェースとなる操作部(以下、UI)106は、上記処理の実行に関して、ユーザからの入力やユーザに対する表示に関する処理を行うために、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置108は、SDカード等の外部記憶媒体とのデータの入出力を行う。また、デジタルカメラなどの撮像装置(不図示)をデータ入出力装置108やデータ転送部109へ直接接続して外部記憶媒体を介さずにデータの受渡しを行ってもよい。
出力装置102は、データ転送部109、プリンタ制御部112、後述する画像処理部110、印刷部111から構成される。出力装置102にPC101から印刷データが送信される。
印刷データは、
(1)撮像装置で被写体を撮像することで得られる写真データの画像データと、
(2)その画像データと画像データに対応した撮影時の合焦面からの距離に相当する情報と、
(3)記録媒体の固有データである画像処理パラメータ、プリンタ制御データと、
(4)UI上で選択した印刷品位や記録媒体等の印刷情報データと
で構成される。後述する撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。
(1)撮像装置で被写体を撮像することで得られる写真データの画像データと、
(2)その画像データと画像データに対応した撮影時の合焦面からの距離に相当する情報と、
(3)記録媒体の固有データである画像処理パラメータ、プリンタ制御データと、
(4)UI上で選択した印刷品位や記録媒体等の印刷情報データと
で構成される。後述する撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。
ここでは、デジタルカメラ等の撮像装置で生成されたデータとして説明するが、それに限らず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば入力画像データのボケ量を解析した結果から生成されたデータおよびその他撮影時のデータを併用したデータでもよい。入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたPC101または出力装置102で生成されてもよい。
また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたPC101や出力装置102内で合焦面からの距離に相当する情報を生成してもよい。または、撮像装置はPC101に接続され、PC101を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置102で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。
データ転送部109は、PC101から送信された印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータを取り出して画像処理部110に転送し、プリンタ制御データをプリンタ制御部112に転送する。ここでの入力画像データは、PC101内で記憶装置105にプログラムとして記憶されている解像度変換処理によってユーザ設定した記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置102内の画像処理部110内で同様に処理されてもよい。また、このシステムでは、画像処理部110は出力装置102内にあるとしているが、これをPC101内に構成もよい。
また、画像処理パラメータやプリンタ制御データはPC101中の記憶装置105や、出力装置102内のハードディスクやROM等の記憶装置(不図示)に記憶されている。しかしながら、これらが、印刷データ内の印刷情報データをもとに選択され、画像処理部110とプリンタ制御部112に転送される構成でもよい。プリンタ制御部112はプリンタ制御データに従って印刷部111の動作を制御する。印刷部111では、インクジェット方式に従った記録ヘッドからインクと吐出して記録媒体に画像を形成して印刷を行う構成としている。
図2は被写体の撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。
図2において、合焦面201は撮像装置において像面(撮像面)203と平行でピントの合う平面のことである。また、デフォーカス量205は、像面203とデフォーカスした撮像面位置204との差(予定結像面と実際の結像面との差)であり、ボケ量に比例している。デフォーカス量205は、従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。
例えば、特開2008−15754号公報では、図2に示す画像の像ずれ量(視差量)206からデフォーカス量205を算出する方法が開示されている。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量206が視差量となる。
さらに算出した像ずれ量206に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量205を算出する。また、特開2013−253964号公報では、Depth From Defocus(DFD)方式でデフォーカス量を算出する方法が開示されている。DFD方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。
次に合焦面と被写体との距離を算出する方法について説明する。
図3は合焦面と被写体とレンズと像面との関係を示す図である。
図3において、レンズ202と合焦面201の距離(OBJ(0))と、レンズ202と像面203の距離(S(0))と、被写体300とレンズ202の距離(OBJ(def))と、合焦面201と被写体300の距離Lと間にはレンズの公式が成立する。言い換えると、以下の式(1)、(2)が成立するため、物体距離OBJ(def)は式(3)で算出することが可能である。即ち、
1/OBJ(0)+1/S(0)=1/f……(1)
1/OBJ(def)+1/{S(0)+def}=1/f……(2)
OBJ(def)=
{(S(0)+def)*f}/{(S(0)−def)*f}……(3)
である。ここで、OBJ(0)は合焦物体距離、S(0)は撮像面距離、OBJ(def)は物体距離という。従って、式(3)で算出した物体距離OBJ(def)を合焦物体距離OBJ(0)から引くことで、合焦面201から被写体300までの距離Lを算出することが可能である。
1/OBJ(0)+1/S(0)=1/f……(1)
1/OBJ(def)+1/{S(0)+def}=1/f……(2)
OBJ(def)=
{(S(0)+def)*f}/{(S(0)−def)*f}……(3)
である。ここで、OBJ(0)は合焦物体距離、S(0)は撮像面距離、OBJ(def)は物体距離という。従って、式(3)で算出した物体距離OBJ(def)を合焦物体距離OBJ(0)から引くことで、合焦面201から被写体300までの距離Lを算出することが可能である。
上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量206、デフォーカス量205、合焦面から被写体までの距離Lのいずれでもよい。
次にデフォーカスマップについて説明する。
図4はデフォーカスマップを説明する図である。
デフォーカスマップとは上述のデフォーカス量を入力画像上の複数個所でマップ化したものをいい、ここでは、入力画像データの各画素に対応するデフォーカス量の情報を保持している。また、図4は、デフォーカス量とここでの画像処理に使用する各領域を説明するための図である。
図4において、デフォーカス量0が撮影時の合焦面に相当するデフォーカス量であり、これは、デフォーカス量0の領域が領域503であり、ピントが合っている(合焦面)画像領域である。これを「合焦領域」という。
領域503以外の領域をここでは、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域504とする。また、ピントが合っていると許容する領域を許容合焦領域505とする。許容合焦領域505は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。許容合焦領域505以外の領域を、ここでは許容合焦領域505ではない領域として非許容合焦領域506とする。図4では、横軸をデフォーカス量としたが、合焦面からの距離に相当する情報である、上述の像ずれ量や合焦面からの距離の情報でもよい。なお、図4において、d0はデフォーカス量が0、即ち、合焦領域を示しており、dxは非許容合焦領域におけるデフォーカス量を示している。
次に、以上の構成の画像処理システムにおいて、立体感をもたせた画像を記録媒体に印刷するための画像処理について説明する。
<画像処理の説明(図5〜図6)>
図5は画像処理部の構成とその画像処理の概要を示す図である。ここで、図5(a)は画像処理部110の詳細な構成を示すブロック図であり、図5(b)は画像処理の概要を示すフローチャートである。
図5は画像処理部の構成とその画像処理の概要を示す図である。ここで、図5(a)は画像処理部110の詳細な構成を示すブロック図であり、図5(b)は画像処理の概要を示すフローチャートである。
ここでは、合焦面からの距離に相当する情報として、デフォーカス情報を例にして説明する。また、デフォーカスマップは、デジタルカメラなどの撮像装置において瞳分割型位相差検出方式で算出される。
画像取得部1001は、ステップS501において、撮像された画像データから編集された画像データを取得する。編集された画像データとは、画像編集ソフト等の編集・加工された画像データであり、編集・加工とはコントラストや明るさ・鮮鋭性等の画質調整である。ここでの編集後の画像データとは、コントラスト調整を実施して、コントラストを低下させた画像データとする。
このため、編集前の画像データで対応するデフォーカスマップで合焦面の領域ではコントラストが高かった領域が、編集後の画像データでは同領域のコントラストが低下しており、画像としては合焦面からずれた状態(よりボケた状態)となっている。そこで、この例では、編集後の画像データを用いて、デフォーカス情報を修正する。
デフォーカスマップ取得部1002は、ステップS502において、上記の編集前の画像データで対応するデフォーカスマップを取得する。デフォーカスマップスコア算出部1003は、画像取得部1001で取得された上述の編集後の画像データを取得する。
次にステップS503ではデフォーカスマップを再生成する。
図6はステップS503におけるデフォーカスマップ再生成処理の詳細を示すフローチャートである。以下、図6を参照してデフォーカスマップ再生成について説明する。
まず、ステップS600では、信頼度情報を取得する。信頼度情報は、デフォーカス情報と同様に外部から取得され、デフォーカス情報が正確に取得されているかどうかを示す情報である。ここで、信頼度情報は、信頼できるかできないかを示す1ビットの情報、即ち、1→信頼できる、0→信頼できないを示す情報でも良い。または、信頼度情報を、例えば、256段階で表現可能な8ビットの信頼度合の情報と信頼度情報の閾値の組み合わせとして取得してもよい。信頼度合の情報と閾値を取得する場合は、例えば、その閾値より大きい値がデフォーカス情報として信頼できる画素と判断する。また、信頼度情報が取得されない場合には、デフォーカスマップの全画素の情報が信頼できると判断してもよい。
次にステップS601では、デフォーカスマップを領域分割するための、領域分割の初期点の位置を設定する。これは、マップ上に初期点の位置を均等に設定してもよいし、ランダムに設定してもよい。さらに、ステップS602では、ステップS601において得られた領域分割初期点に基づいて、領域分割を行う。
領域分割の手法には、以下の文献に示される方法などがある。その文献とは、
Achanta, et al.,
IEEE Transactions on Pattern Analysis and Machine Intelligence 2012,
"SLIC Superpixels Compared to State of the Art Superpixel Methods"
である。また、単純に矩形形状に分割してもよい。この実施例では、領域分割の手法は特に限定せず、公知の技術に基づいて領域分割を行うものとする。
Achanta, et al.,
IEEE Transactions on Pattern Analysis and Machine Intelligence 2012,
"SLIC Superpixels Compared to State of the Art Superpixel Methods"
である。また、単純に矩形形状に分割してもよい。この実施例では、領域分割の手法は特に限定せず、公知の技術に基づいて領域分割を行うものとする。
ステップS603では、領域ごとに、その領域を代表するデフォーカス量を算出する。領域を代表するデフォーカス量は、領域内デフォーカス量の中央値とする。ただし、領域内のデフォーカス量の分散が、予め定められた所定の閾値を超える場合、また信頼度情報から信頼できない画素と判定された場合、領域毎のデフォーカス量を不定値(エラー)とする。
ステップS604では、領域間の類似度(Similarity)を算出する。領域間の類似度は、例えば、隣接する領域間のヒストグラムインターセクションによって、式(4)のように算出することができる。即ち、
Similarity(l,m)=
Σi=0 NB-1min{histl(i),histm(i)})
/Σi=0 NB-1histl(i) if defm≠error
=0 else ……(4)
である。ここで、l、mは、各領域のインデックスを表し、領域mと領域lは隣接している。histlは領域lのヒストグラムを、histmは領域mのヒストグラムを、NBはヒストグラムのビン数である。ヒストグラムは予め加工後の画像データと領域分割結果から作成する。また、デフォーカス量がエラーとされた領域との類似度は0とする。
Similarity(l,m)=
Σi=0 NB-1min{histl(i),histm(i)})
/Σi=0 NB-1histl(i) if defm≠error
=0 else ……(4)
である。ここで、l、mは、各領域のインデックスを表し、領域mと領域lは隣接している。histlは領域lのヒストグラムを、histmは領域mのヒストグラムを、NBはヒストグラムのビン数である。ヒストグラムは予め加工後の画像データと領域分割結果から作成する。また、デフォーカス量がエラーとされた領域との類似度は0とする。
さらにステップS605では、領域ごとに算出されたデフォーカスの値を、領域間類似度(式(5))に基づいて伝播する。即ち、
defl=
Σm=0 NS-1Similarity(l,m)・defm
/Σm=0 NS-1Similarity(l,m) ……(5)
である。
defl=
Σm=0 NS-1Similarity(l,m)・defm
/Σm=0 NS-1Similarity(l,m) ……(5)
である。
なお、上記類似度の算出は、隣接した領域間で計算したが、必ずしも隣接した領域でなくともよく、類似度を領域間の距離や色に応じた値に基づいて計算してもよい。また、同じ領域に対するデフォーカス量の伝播は一回でなく、複数回繰り返してもよい。複数回繰り返すことにより、ステップS603においてエラーとされた領域ごとのデフォーカス量を推定しやすくなる。
最後にステップS606では、エッジ整形を行う。エッジ整形とは、ステップS605において得られたデフォーカスマップ中のエッジを、入力画像のエッジと一致させる処理である。編集後の画像データでは、例えば、大きく画像調整を行った結果、画像のエッジが消失している場合があるためである。
エッジ整形するための具体的な方法としては、以下の文献に示されるエッジ保存型フィルタを用いて行えばよい。その文献とは、
Min et al.,
IEEE Transactions on Image Processing, vol. 23, issue 12, pp. 5638-5653, 2014
“Fast Global Smoothing Based on Weighted Least Squares”や、
Kopf et al., ACM Transactions on Graphics, "Joint Bilateral Upsampling"
である。このように、エッジ整形そのものは公知の技術であるため、その説明はここでは省略する。従って、デフォーカスマップ中のエッジを入力画像のエッジと一致させようとする処理であれば、エッジ整形を行う手法は上記手法に限定されるものではない。
Min et al.,
IEEE Transactions on Image Processing, vol. 23, issue 12, pp. 5638-5653, 2014
“Fast Global Smoothing Based on Weighted Least Squares”や、
Kopf et al., ACM Transactions on Graphics, "Joint Bilateral Upsampling"
である。このように、エッジ整形そのものは公知の技術であるため、その説明はここでは省略する。従って、デフォーカスマップ中のエッジを入力画像のエッジと一致させようとする処理であれば、エッジ整形を行う手法は上記手法に限定されるものではない。
領域分割処理において、加工後の画像データがコントラスト調整によりコントラストが低下する方向に調整されていた場合、画像中のエッジのコントラストも低下する。このため、加工前の画像データ(入力されたデフォーカスマップに対応した画像データ)の領域分割数よりも、加工後の画像データの領域分割数が少なくなることがある。その結果、画像としてコントラストが低下している場合、1領域あたりの面積が大きくなり、合焦しているデフォーカス量と合焦していないデフォーカス量の中央値がとられることによって、領域としてデフォーカス量が合焦点から外れる方向に調整される。
その後、算出された領域間類似度に基づいて領域毎のデフォーカス値を伝搬した後に、エッジ整形を行う結果、再生成したデフォーカスマップのエッジの位置が編集後の画像データのエッジの位置と一致させることができる。従って、編集された画像データとの対応関係が回復したデフォーカス情報を生成することができる。
以上のような処理によりステップS503におけるデフォーカスマップ再生成を実行した後、図5(b)によれば、ステップS504〜S507の処理を実行する。
ステップS504では画像処理条件を取得し、ステップS505では入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御処理を実行する。なお、これらの詳細については後述する。
次に、ステップS506では、プリンタ制御部112は、立体感制御部1005から出力される画像データ(RGB)に対して、インクジェット記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。生成処理はデバイス非依存のRGBデータをデバイス依存のRGBデータに変換する色変換処理、デバイス依存のRGBデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけるよう階調補正を行う階調補正処理を含む。さらに、インク色データをインクドットのON/OFFの情報である中間調処理、記録ヘッドの各記録走査で記録される2値データを生成するマスクデータ変換処理等が実行される。いずれもインクジェットプリンタにおいては一般的な処理であり、この実施例の根幹に関わる部分ではないため、詳細な説明は割愛する。
最後に、ステップS507では、プリンタ制御部112で生成された出力画像データを印刷部111に転送し、その出力画像データに基づいて記録媒体上に画像を記録する。
<出力装置における立体感>
ここでは、出力装置102の鮮鋭性に影響する出力特性と立体感の制御について説明する。
ここでは、出力装置102の鮮鋭性に影響する出力特性と立体感の制御について説明する。
人間は、カメラなどで撮影された2次元画像を見る際、合焦している(ピントが合っている)合焦領域を含む許容合焦領域と、合焦していない(ボケている)非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を感じている。
一方、ここで述べているプリンタなどの出力装置を通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ(プリントサイズ)に変倍する解像度変換処理により、画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像においては画像の鮮鋭性が低下する。
このような出力装置の出力特性による入力画像の鮮鋭性の変化は、入力データとして鮮鋭性の高い(ピントが合っている)許容合焦領域では大きく変化し、入力データとして鮮鋭性の低い(ボケている)非許容合焦領域では殆ど変化しない。よって、各領域で鮮鋭性の変化の度合いが異なる。より詳細には、デフォーカス量毎に鮮鋭性の低下特性が異なることになる。そのため、入力画像に立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像で維持されない。
図7はコントラストと空間周波数(サイクル/度)との関係を示す図である。図7において、実線d0はデフォーカス量が0、つまり、合焦領域におけるコントラストを示しており、点線dxはデフォーカス量がdx、つまり、非許容合焦領域におけるコントラストを示している。
なお、図7では、説明を簡略にするため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性が同じ周波数にピークを持つ画像として扱う。ここでは、入力画像を記録媒体サイズに変倍するために拡大処理を行ってプリンタに出力した際の特性を出力特性とする。また、ここでは、解像度変換処理として拡大処理を例に挙げて許容合焦領域と非許容合焦領域の鮮鋭性の関係を説明しているが、解像度変換処理が等倍処理・縮小処理でも問題ない。そして、記録媒体やインクの滲みによる画像の鮮鋭性も考えれば、図7のような出力特性となる場合がある。
ボケによる立体感がある入力画像では、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値C1と、非合焦領域の鮮鋭性を示すコントラスト値C2が図7(a)に示す関係となる。この入力画像を拡大すると図7(b)に示すようにコントラスト値C1とC2は、C1’とC2’に変化する。
図7(a)と図7(b)から明らかなように、出力装置102の出力特性によって入力画像の鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。そのため、立体感に影響する鮮鋭性の差702(コントラスト値C1’とC2’の差)が、入力画像における鮮鋭性の差701(コントラスト値C1とC2の差)より小さくなり、適切な立体感が得られない出力画像となる。従って、前述のデフォーカス量に相当する画像のボケの状態と出力装置102の鮮鋭性に影響する出力特性に基づいて、適切に鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
後述する画像処理条件に設定される出力装置102の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を適切に制御した出力画像では、合焦領域と非合焦領域のコントラスト値の関係は図7(c)となる。図7(c)で示すC1”は合焦領域のコントラスト値、C2”は非合焦領域のコントラスト値である。
図7(c)に示すように、画像処理条件に基づいて立体感制御処理を実行した出力画像では、処理をしない場合の鮮鋭性の差702(コントラスト値C1’とC2’の差)に対して、鮮鋭性の差703(コントラスト値C1”とC2”の差)が大きくなる。
これにより、入力画像における鮮鋭性の差701(コントラスト値C1とC2の差701)に近くなっているため、適切な立体感を得ることができる。
図7では、説明を簡略にするため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量に対応する画像の2点に対するコントラストを比較した。前述の関係は、合焦領域と非許容合焦領域の別のデフォーカス量に対応する画像についても成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量に対応する2点においても前述の関係は成立する。
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置102の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。
<立体感制御処理(図8〜図9)>
ここでは、立体感制御部1005が実行する立体感制御処理について説明する。
ここでは、立体感制御部1005が実行する立体感制御処理について説明する。
立体感制御部1005では、画像処理条件保持部1006に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件保持部1006には各デフォーカス量に対する立体感制御量が設定されている。
図8は画像処理条件に設定されているデフォーカス量と立体感制御量の関係を示す図である。なお、画像処理条件の作成方法については後述する。
立体感制御部1005は、ステップS504において画像処理条件保持部1006に保持されている画像処理条件を取得する。次に、ステップS505において、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御量を適用して鮮鋭化処理を行う。鮮鋭化処理では、例えば、Laplacian Of Gaussianフィルタ(式(6))を用いる。即ち、
h(i,j,def’)=
β(def’)(i2+j2−2σ2)/(2πσ(def’)2 )・
exp[−(i2+j2)/(2σ(def’)2 )]……(6)
である。なお、σ、βは立体感制御量に関するフィルタパラメータであり、それぞれ、デフォーカス量に応じた値が設定される。σ、βは予めLUT方式でパラメータを設定してもよいし、デフォーカス量に対する関係式を用いて計算してもよい。
h(i,j,def’)=
β(def’)(i2+j2−2σ2)/(2πσ(def’)2 )・
exp[−(i2+j2)/(2σ(def’)2 )]……(6)
である。なお、σ、βは立体感制御量に関するフィルタパラメータであり、それぞれ、デフォーカス量に応じた値が設定される。σ、βは予めLUT方式でパラメータを設定してもよいし、デフォーカス量に対する関係式を用いて計算してもよい。
式(7)に式(6)に示すLaplacian Of Gaussianフィルタを用いた際の鮮鋭化処理を示す。即ち、
Out=I−h*I ……(7)
である。ここで、Iは入力画像、Outは鮮鋭化処理後の画像であり、*は畳み込み演算を表す。
Out=I−h*I ……(7)
である。ここで、Iは入力画像、Outは鮮鋭化処理後の画像であり、*は畳み込み演算を表す。
図8において、デフォーカス量d=0でのβ=β1は入力画像の合焦領域に対する制御量を示す。また、デフォーカス量d1は図4に示す許容合焦領域と非許容合焦領域の境界の値である。さらに、デフォーカス量d2はデフォーカスマップに含まれる最大のデフォーカス量である。
出力画像において、出力装置102の出力特性を考慮した適切な立体感を得るために、図8(a)〜図8(c)に示すように、入力画像内の合焦領域の画素に対する立体感制御量が最も大きくなるように画像処理条件を設定する。さらに、非合焦領域の立体感制御量はデフォーカス量が大きくなるほど制御量が小さくなるように、つまり単調減少となるように設定するとよい。
合焦面からの距離に相当するデフォーカス量が画像のボケ量に対応する値である場合、図8(a)に示すように、デフォーカス量と立体感制御量は非線形な関係をもち、デフォーカス量が像ずれ量に対応する場合、図8(b)に示すように、線形な関係をもつ。
一方、図8(c)に示すように、非許容合焦領域について立体感制御量を0としても前述のように許容合焦領域と非許容合焦領域の鮮鋭性の差は入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づき、出力画像の立体感を得ることは可能である。
上記の制御量は、記録媒体の特性やインクの特性、記録媒体サイズによって異なる。これは、記録媒体やインク特性毎に、インクの滲み等よる画像の鮮鋭性の低下の度合が異なるとともに、記録媒体サイズによって解像度変換処理の変倍率が異なるためである。
図9は記録媒体の特性やインクの特性、記録媒体サイズによって立体感制御量が異なることを示す図である。図9(a)と図9(b)において、破線は図8(a)に示したのと同じ出力特性を示している。
さて、図9(a)における実線は、図8(a)と異なる条件で画像を出力した際のデフォーカス量に対する立体感制御量を示している。図9(a)が示す出力特性は、図8(a)のそれと比べて、例えば、インクの滲みが大きい、もしくは変倍率が大きいために立体感制御量が大きい場合を示している。これに対して、図9(b)が示す出力特性は、図8(a)のそれと比べてインクの滲みが小さい、もしくは変倍率が小さいために立体感制御量が小さい場合を示している。
なお、シャープネス処理に使用するフィルタは、Laplacian Of Gaussianフィルタだけに限定されるものではない。例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタ(特定フィルタ)を用いてシャープネス処理を行って、鮮鋭性を調整制御しても良い。
また、以上の説明では、鮮鋭性を制御する処理としてシャープネス処理を例にしたが、これはコントラスト処理でもよい。具体的には、図8(d)に示すように、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。
シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、出力装置の特性に応じて、どちらかの処理を選択する、あるいは2つの処理を組み合わせて使用してもよい。
<画像処理条件(図10〜図12)>
ここでは、画像処理条件保持部1006で保持される画像処理条件の作成方法について説明する。
ここでは、画像処理条件保持部1006で保持される画像処理条件の作成方法について説明する。
図10は計測用画像の例を示す図である。
画像処理条件として設定するパラメータは、例えば、図10に示すような計測用画像をプリンタやディスプレイ、プロジェクタ等の出力装置で出力し、測定装置(不図示)を用いて取得した出力装置の出力画像の周波数特性(MTF特性)から算出する。なお、測定装置を用いて出力画像を実測するのではなく、出力画像を生成する際における各画像処理をPC上でシミュレートして得られた画像から出力装置のMTF特性を算出しても良い。
図10に示すサンプル画像は、ピントが合っている合焦面に対応する画像群1001、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群1002から構成されている。より詳細には、周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン1003、1004を含むチャートである。
なお、図10に図示した例は、周波数の異なる複数の正弦波パターンからなる画像群1001、1002である。均一パターン1003、1004は夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。
図11は画像処理条件の作成方法を示すフローチャートである。
まず、ステップS1101では、出力装置102から図10に示した計測用画像を出力する。次に、ステップS1102では、出力装置102で出力した計測用画像を測定装置を用いて測定し、MTF特性算出に必要な情報を取得する。
計測用画像が図10に示したような周波数の異なる正弦波パターンである場合、ステップS1103では、MTF特性を式(8)或いは式(9)を用いて算出する。この値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式(9)を用いることが好ましい。式(8)と式(9)は以下の通りである。即ち、
MTF(u)={C(u)}/C’……(8)
u:正弦波の周波数
C(u)={Max(u)−Min(u)}/{Max(u)+Min(u)}
C’={(R1−R2)}/{(R1+R2)}
Max(u):周波数で変化する正弦波パターンの最大反射率
Min(u):周波数で変化する正弦波パターンの最小反射率
R1、R2:均一パターンの反射率(R1>R2)
MTF(u)={Max(u)−Min(u)}/{R1−R2}……(9)
である。なお、式(8)や(9)におけるR1、R2の値は反射率としたが、輝度や濃度やデバイスRGB値を用いてもよいことは言うまでもない。また、計測装置としては、出力装置がプリンタである場合は、例えば、スキャナやデジタルカメラ、顕微鏡であり、ディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。
MTF(u)={C(u)}/C’……(8)
u:正弦波の周波数
C(u)={Max(u)−Min(u)}/{Max(u)+Min(u)}
C’={(R1−R2)}/{(R1+R2)}
Max(u):周波数で変化する正弦波パターンの最大反射率
Min(u):周波数で変化する正弦波パターンの最小反射率
R1、R2:均一パターンの反射率(R1>R2)
MTF(u)={Max(u)−Min(u)}/{R1−R2}……(9)
である。なお、式(8)や(9)におけるR1、R2の値は反射率としたが、輝度や濃度やデバイスRGB値を用いてもよいことは言うまでもない。また、計測装置としては、出力装置がプリンタである場合は、例えば、スキャナやデジタルカメラ、顕微鏡であり、ディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。
また、計測用画像が矩形波パターンである場合、出力装置のMTF特性は、式(8)又は式(9)を適用することで得られるコントラスト伝達関数(CTF)で表現される。あるいは、CTF値をコルトマン補正式で変換したMTF値を用いてもよい。
以上説明した方法により、計測用画像に含まれる合焦面に対応する画像群1001および任意のデフォーカス量に対応する画像群1002夫々の画像の周波数特性(MTF特性)が取得される。
図12は周波数特性の例を示す図である。
図12において、実線(D0)は合焦面に対応する画像群1001の特性、点線(D1)は許容合焦領域に含まれるデフォーカス量に対応する画像群の特性、破線(D2)は非許容合焦領域に含まれるデフォーカス量に対応する画像群の特性を示している。
これにより、デフォーカス量ごとに、MTF特性が取得できる。つまり、デフォーカス量毎の出力装置の鮮鋭性に関する出力特性が得られる。
一方、出力画像で適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、これを適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。言い換えると、出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、デフォーカス量毎の出力装置の鮮鋭性に影響する出力特性に応じて立体感制御量を設定することが必要である。
具体的には、ステップS1104において、特定周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に非合焦領域に対してもデフォーカス量毎に得られるMTF特性から復元量を算出し立体感制御量とする。これにより、図8に示すデフォーカス量に対する立体感制御量が算出される。
デフォーカス量と鮮鋭度の関係は、図8に示したデフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、LUT方式でパラメータを選択して設定する方法等がある。
もちろんこれに限らず、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。
また、立体感制御量はMTF特性を復元する値に限らない。画像処理条件に設定される出力装置102の出力特性に基づいたデフォーカス量と鮮鋭化制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。さらには、図8に示す合焦面の制御量β1は、画像のMTF特性を0.8から1.2に復元するように設定すると、出力画像における合焦面の鮮鋭性が好ましい画像が得られる。
最後に、ステップS1105では、上述のように、デフォーカス量に応じた出力装置102の鮮鋭性に関する出力特性から導出される画像処理条件を設定する。この設定された画像処理条件により入力画像データを処理することで出力画像の立体感を制御することが可能になる。
従って以上説明した実施例に従えば、入力画像から求められるデフォーカスマップのスコアを用いてデフォーカスマップを再生成することにより、編集済画像データとの対応関係が回復した合焦面からの距離に相当する情報を生成することができる。これにより、出力画像に本来の奥行感や立体感を回復することができる。
なお、この実施例に従って生成された合焦面からの距離に相当する情報は、立体感制御だけでなく、以下に示すような他の処理にも応用可能である。
[被写体認識]
この実施例に従って生成された合焦面からの距離に相当する情報を画像中の被写体認識に用いる。被写体の深度を用いて認識を行う例としては、特開2014−17907号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに関しても被写体認識の精度が向上する。
この実施例に従って生成された合焦面からの距離に相当する情報を画像中の被写体認識に用いる。被写体の深度を用いて認識を行う例としては、特開2014−17907号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに関しても被写体認識の精度が向上する。
[3次元ポリゴンモデル生成]
この実施例に従って生成された合焦面からの情報を3次元ポリゴンモデルの生成に用いる。深度を利用して3次元ポリゴンモデルを生成する例としては、特開2017−157208号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を用いることにより、編集済の画像データに対応した3次元ポリゴンモデルの精度が向上する。
この実施例に従って生成された合焦面からの情報を3次元ポリゴンモデルの生成に用いる。深度を利用して3次元ポリゴンモデルを生成する例としては、特開2017−157208号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を用いることにより、編集済の画像データに対応した3次元ポリゴンモデルの精度が向上する。
[被写体抽出]
この実施例に従って生成された合焦面からの距離に相当する情報を被写体抽出に用いる。深度を利用して、画像から被写体を抽出する例としては、特開2015−162730号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに対する被写体抽出の精度が向上する。
この実施例に従って生成された合焦面からの距離に相当する情報を被写体抽出に用いる。深度を利用して、画像から被写体を抽出する例としては、特開2015−162730号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに対する被写体抽出の精度が向上する。
[エフェクト処理]
この実施例に従って生成された合焦面からの距離に相当する情報を、画像のエフェクト処理に用いる。深度を利用して、画像にエフェクトを施す例としては、特開2013−118468号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに対する深度情報の不正確さによって発生するエフェクト処理時の疑似輪郭などのアーティファクトを軽減することができる。
この実施例に従って生成された合焦面からの距離に相当する情報を、画像のエフェクト処理に用いる。深度を利用して、画像にエフェクトを施す例としては、特開2013−118468号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに対する深度情報の不正確さによって発生するエフェクト処理時の疑似輪郭などのアーティファクトを軽減することができる。
また、本発明が適用可能な例は上記に限らない。合焦面からの距離に相当する情報を用いる例であれば、何でもよい。
なお、以上説明した実施例では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量もしくは合焦面と被写体との距離と立体感制御量の関係を画像処理条件としてもよい。
また、以上説明した実施例では、写真画像の画像データとしてカメラ等の撮像装置で撮影したデータから編集されたデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、これらに限らず、例えば、モデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータから編集されたデータと、その画像データに対応するソフトで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 パーソナルコンピュータ装置(ホスト装置)、102 出力装置(プリンタ)、
110 画像処理部、111 印刷部、201 合焦面、202 レンズ、
203 像面、301 被写体、1005 立体感制御部、
1006 画像処理条件保持部
110 画像処理部、111 印刷部、201 合焦面、202 レンズ、
203 像面、301 被写体、1005 立体感制御部、
1006 画像処理条件保持部
Claims (13)
- 被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置であって、
前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得手段と、
前記編集済の画像データと前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成手段とを有することを特徴とする画像処理装置。 - 前記出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、画像処理を実行するための画像処理条件を設定する設定手段と、
前記生成手段により生成された前記編集済の画像データに対応する合焦面からの距離に相当する情報と前記設定手段により設定された画像処理条件とを用いて前記編集後の画像データを画像処理する画像処理手段とをさらに有することを特徴とする請求項1に記載の画像処理装置。 - 前記合焦面からの距離に相当する情報として、前記画像データの各画素に対応するデフォーカス量、又は、前記合焦面から前記被写体までの距離、又は、視差量を用いることを特徴とする請求項2に記載の画像処理装置。
- 前記画像処理条件は前記合焦面からの距離に相当する情報に対する立体感制御量を含み、
前記画像処理手段は立体感制御処理を含むことを特徴とする請求項3に記載の画像処理装置。 - 前記画像処理手段は、前記合焦面からの距離に相当する情報が大きくなるに従って画像の立体感を表す鮮鋭度が単調減少するように制御する画像処理を実行することを特徴とする請求項4に記載の画像処理装置。
- 前記画像処理手段は前記鮮鋭度を制御する画像処理として前記被写体の撮像の際に合焦領域を含む許容合焦領域において前記画像データが表す輝度値のコントラストが高くなるように輝度変換を行うことを特徴とする請求項5に記載の画像処理装置。
- 前記生成手段は、
前記編集済の画像データに基づいて、前記編集済の画像データが表す画像を複数の領域に分割する分割手段と、
前記分割手段により分割された複数の領域ごとに、該領域の合焦面からの距離に相当する情報を算出する算出手段とを含むことを特徴とする請求項3乃至6のいずれか1項に記載の画像処理装置。 - 前記算出手段は、前記領域に含まれる複数の画素それぞれの合焦面からの距離に相当する情報の中央値を前記領域の合焦面からの距離に相当する情報とすることを特徴とする請求項7に記載の画像処理装置。
- 前記取得手段はさらに前記合焦面からの距離に相当する情報に対する信頼度を表す信頼度情報を取得し、
前記算出手段は、前記信頼度情報に基づいて、前記領域の合焦面からの距離に相当する情報が信頼できるかどうかを判断することを特徴とする請求項8に記載の画像処理装置。 - 前記画像処理装置は、パーソナルコンピュータ又は前記出力装置に含まれることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記出力装置は、インクを記録媒体に吐出して画像を記録するインクジェットプリンタであることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- コンピュータを請求項1乃至11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置における画像処理方法であって、
前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得工程と、
前記編集済の画像データと前記取得工程において取得された前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成工程とを有することを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128568A JP2020010146A (ja) | 2018-07-05 | 2018-07-05 | 画像処理装置、画像処理方法、及びプログラム |
US16/453,048 US11037037B2 (en) | 2018-07-05 | 2019-06-26 | Image processing apparatus, image processing method, and non-transitory computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128568A JP2020010146A (ja) | 2018-07-05 | 2018-07-05 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020010146A true JP2020010146A (ja) | 2020-01-16 |
Family
ID=69102191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018128568A Pending JP2020010146A (ja) | 2018-07-05 | 2018-07-05 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11037037B2 (ja) |
JP (1) | JP2020010146A (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7137313B2 (ja) * | 2018-02-15 | 2022-09-14 | キヤノン株式会社 | 出力装置、画像処理方法およびプログラム |
US10972714B2 (en) * | 2018-02-15 | 2021-04-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and storage medium for storing program |
JP7199169B2 (ja) | 2018-07-05 | 2023-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020141226A (ja) | 2019-02-27 | 2020-09-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10990863B1 (en) * | 2020-02-28 | 2021-04-27 | Ricoh Company, Ltd. | Direct deposit ink estimation mechanism |
KR20210121508A (ko) * | 2020-03-30 | 2021-10-08 | 삼성전자주식회사 | 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템 |
JP2022083913A (ja) * | 2020-11-25 | 2022-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11283936B1 (en) | 2020-12-18 | 2022-03-22 | Ricoh Company, Ltd. | Ink usage estimation for each drop size based on histogram and calibrated drop fraction |
US11745501B1 (en) | 2022-02-11 | 2023-09-05 | Ricoh Company, Ltd. | Drop size monitoring mechanism |
US11755865B1 (en) | 2022-03-01 | 2023-09-12 | Ricoh Company, Ltd. | Drop size monitoring mechanism |
US11731420B1 (en) | 2022-03-14 | 2023-08-22 | Ricoh Company, Ltd. | Drop size monitoring mechanism |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0216641D0 (en) * | 2002-07-18 | 2002-08-28 | Univ Nottingham | Image analysis method, apparatus and software |
JP5066851B2 (ja) | 2006-07-05 | 2012-11-07 | 株式会社ニコン | 撮像装置 |
CN103814306B (zh) | 2011-06-24 | 2016-07-06 | 索弗特凯耐提克软件公司 | 深度测量质量增强 |
JP2013118468A (ja) | 2011-12-02 | 2013-06-13 | Sony Corp | 画像処理装置および画像処理方法 |
JP6214183B2 (ja) | 2012-05-11 | 2017-10-18 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
US9477315B2 (en) | 2013-03-13 | 2016-10-25 | Honda Motor Co., Ltd. | Information query by pointing |
JP6294703B2 (ja) | 2014-02-26 | 2018-03-14 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9300857B2 (en) * | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
JP6381376B2 (ja) * | 2014-09-02 | 2018-08-29 | キヤノン株式会社 | 撮像装置、カメラシステム、画像処理装置および画像処理プログラム |
JP6348623B2 (ja) | 2016-02-26 | 2018-06-27 | 株式会社ワントゥーテンイマジン | 三次元モデルの作成方法、三次元モデル作成装置、三次元モデル作成システム、及び三次元モデル作成用プログラム |
CN107205113B (zh) * | 2016-03-18 | 2020-10-16 | 松下知识产权经营株式会社 | 图像生成装置、图像生成方法及计算机可读存储介质 |
JP7137313B2 (ja) | 2018-02-15 | 2022-09-14 | キヤノン株式会社 | 出力装置、画像処理方法およびプログラム |
US10992851B2 (en) | 2018-02-15 | 2021-04-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium, with image processing based on image processing condition and information equivalent to distance from focal plane |
US10972714B2 (en) | 2018-02-15 | 2021-04-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and storage medium for storing program |
-
2018
- 2018-07-05 JP JP2018128568A patent/JP2020010146A/ja active Pending
-
2019
- 2019-06-26 US US16/453,048 patent/US11037037B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11037037B2 (en) | 2021-06-15 |
US20200012908A1 (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020010146A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7403594B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7137313B2 (ja) | 出力装置、画像処理方法およびプログラム | |
US10992851B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium, with image processing based on image processing condition and information equivalent to distance from focal plane | |
JP4585456B2 (ja) | ボケ変換装置 | |
TWI441095B (zh) | 距離估算方法及其距離估算裝置,及其機器可讀取媒體 | |
US10972714B2 (en) | Image processing apparatus, image processing method and storage medium for storing program | |
US11645774B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
WO2012029658A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP7156624B2 (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US11503203B2 (en) | Apparatus and method | |
JP7356218B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
JP7278080B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11120315B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable storage medium, with image processing using distance information equivalent to distance from focal plane at time of image-capturing and image processing condition | |
JP2006113658A (ja) | 画像処理装置及び方法、及びプログラムを記録した記憶媒体 | |
JP2005063022A (ja) | ノイズ画素マップ作成方法とその方法を実施する装置とプログラム及び写真プリント装置 | |
JP7208809B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Aslantas et al. | Multi focus image fusion by differential evolution algorithm | |
JP2010134567A (ja) | 画像処理装置ならびにその動作制御方法およびその動作制御プログラム | |
JP2018200722A (ja) | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP2018017611A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |