JP2019009822A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2019009822A JP2019009822A JP2018189315A JP2018189315A JP2019009822A JP 2019009822 A JP2019009822 A JP 2019009822A JP 2018189315 A JP2018189315 A JP 2018189315A JP 2018189315 A JP2018189315 A JP 2018189315A JP 2019009822 A JP2019009822 A JP 2019009822A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- unit
- coordinate conversion
- tangential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000012545 processing Methods 0.000 title claims abstract description 205
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 149
- 238000000034 method Methods 0.000 claims description 46
- 230000003287 optical effect Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 32
- 230000004075 alteration Effects 0.000 claims description 17
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 30
- 238000011084 recovery Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008602 contraction Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
Abstract
【課題】本発明は、良好な復元画像を効率的に得られる画像処理装置及び画像処理方法を提供することを目的とする。【解決手段】本発明の一の態様に係る画像処理装置は、撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、座標変換がされた画像に対して解像度強調処理を行う解像度強調処理部と、を備える。【選択図】 図6
Description
本発明は光学系を用いて取得した画像を処理する画像処理装置及び画像処理方法に係り、特に光学系の特性に応じた画像処理を行う画像処理装置及び画像処理方法に関する。
光学系を介して撮影される撮影画像は、光学系の特性に起因して解像度が低下する場合があり、このような解像度の低下を抑制するために、撮影画像に対して解像度を強調する画像処理(解像度強調処理)が行われることがある。解像度強調処理としては、点光源に対する光学系の応答を示す点拡がり関数(PSF:Point Spread Function)を利用して解像度を回復させる処理(回復処理)や、被写体の輪郭を強調する輪郭強調処理が知られている。
光学系に含まれる撮影レンズは、サジタル方向(Sagittal方向)と、サジタル方向に直交するタンジェンシャル方向(Tangential方向)あるいはメリジオナル方向(Meridional方向)とで解像度が異なる場合があり、この場合、撮影レンズの解像度の相違に起因して、撮影画像においても方向によって解像度が異なる。撮影レンズは方向による解像度の差を小さくするように設計されるが、近年の高画素化や低F値(F value)化により方向による解像度差は増大する傾向にあるため、画像処理によって方向による解像度差を補う場合がある。例えば特許文献1では、サジタル方向とメリジオナル方向のMTF(Modulation Transfer Function)の不一致を補正し、その後回復処理を行うことで、回復処理を弱くしても綺麗なボケ(円形か円形に近い形状のボケ)の画像を得られるようにすることが記載されている。
一方、光学系を介して撮影される撮影画像には光学系のディストーション(Distortion;歪曲収差)に起因する歪曲成分が含まれる場合もあり、このような場合歪曲成分を補正することが知られている。例えば特許文献2では、点像復元処理(回復処理)後に歪曲成分の補正を行うことにより、歪曲補正の条件に応じて回復処理に用いる回復フィルタを変換することを避け、これにより回復フィルタのカーネルサイズの増大を抑制することが記載されている。
しかしながら従来の技術は、撮影レンズの解像度が方向によって違う場合や歪曲収差が存在する場合に良好な復元画像を効率的に得られるものではなかった。例えば特許文献1に記載の技術では、サジタル方向/メリジオナル方向のMTFの不一致(MTF収差)をフィルタにより補正し、その後フィルタにより回復処理を行う、という2段階のフィルタ処理を行うため、処理が複雑で高速化が困難であった。また特許文献2に記載の技術では、点像回復処理後に歪曲成分の補正を行うため、画像が歪曲成分を有した状態(方向によって解像度に差がある状態)で点像復元を行う必要があり、したがって点像復元には回転非対称なフィルタを用いる必要がある。このため復元処理は依然として複雑で高速化が困難であり、さほど効果的なものではなかった。
本発明はこのような事情に鑑みてなされたもので、良好な復元画像を効率的に得られる画像処理装置及び画像処理方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る画像処理装置は、撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、を備える。第1の態様では、撮影画像のサジタル(接線方向)の解像度とタンジェンシャル(放射方向)の解像度とを座標変換により近づけてから解像度強調処理を行うので、解像度強調処理に回転対称なフィルタを用いることができてフィルタサイズの抑制や処理の高速化が可能であり、また解像度を近づける処理を座標変換により行うので、座標変換にフィルタを用いることで処理が複雑化することもない。また第1の態様では、上述した特許文献2で従来技術の問題点として言及されているような、歪曲補正の条件に応じて回復処理に用いるフィルタを変換する必要もない。
なお第1の態様では指定された空間周波数における解像度を近づけるので、接線方向と放射方向との解像度の差が空間周波数によって変化する場合でも、所望の空間周波数を指定してこの空間周波数における解像度を近づけることが可能であり、良好な復元画像を効率的に得ることができる。なお第1の態様において指定する空間周波数は特定の空間周波数でもよいし、幅(範囲)を持っていてもよい。
このように第1の態様に係る画像処理装置では、良好な復元画像を効率的に得ることができる。なお第1の態様において、解像度強調処理としては点像復元処理(回復処理)や輪郭強調処理を行うことができる。なお第1の態様及び以下の各態様において、「回転対称な解像度強調処理」とは、解像度強調処理に用いるフィルタが回転対称であることを意味する。
第2の態様に係る画像処理装置は第1の態様において、撮影画像のサジタルの解像度の情報とタンジェンシャルの解像度の情報とを取得する情報取得部を備え、座標変換部は、取得したサジタルの解像度の情報とタンジェンシャルの解像度の情報とに基づいて座標変換を行う。第2の態様は、解像度を近づけるための情報を取得することを規定したものである。なお第2の態様において、情報取得部による解像度の情報の取得は、撮影レンズに記録された情報を取得する、Webからダウンロードする、撮影画像を解析して取得する、ユーザ入力に基づき取得するなどの方法により行うようにしてよい。
第3の態様に係る画像処理装置は第1または第2の態様において、撮影レンズを含む光学系を有し、画像取得部は光学系を介して撮影画像を取得する。第3の態様は、撮影画像を取得するための光学系を含む画像処理装置を規定するものである。
第4の態様に係る画像処理装置は第3の態様において、撮影レンズは、光軸を中心とした円周の接線方向であるサジタルの解像度が接線方向に垂直な放射方向であるタンジェンシャルの解像度よりも高い。第4の態様は、撮影レンズのサジタル(接線方向)の解像度がタンジェンシャル(放射方向)の解像度よりも高く、これに起因して被写体を撮影した画像においても接線方向の解像度が放射方向の解像度よりも高い場合について規定しており、このような場合にも良好な復元画像を効率的に得ることができる。
第5の態様に係る画像処理装置は第4の態様において、座標変換部は、撮影画像の周辺部を圧縮する座標変換と撮影画像の中心部を膨張させる座標変換とのうち少なくとも一方の座標変換を行う。第5の態様は、第4の態様のように画像において接線方向の解像度が放射方向の解像度よりも高い場合の座標変換を具体的に規定するものである。なお第5の態様において、座標変換による膨張及び収縮は、像高に応じた度合いで行ってよい。
第6の態様に係る画像処理装置は第3から第5の態様のいずれか1つにおいて、撮影レンズの歪曲収差がプラスである。第6の態様では、撮影レンズの歪曲収差がプラスなので、撮影画像もこれに起因して糸巻き型の歪曲成分(像の周辺ほど伸びが大きい)を有する。
第7の態様に係る画像処理装置は第3の態様において、撮影レンズは、光軸を中心とした円周の放射方向であるタンジェンシャルの解像度が放射方向に垂直な接線方向であるサジタルの解像度よりも高い。第7の態様は、撮影レンズのタンジェンシャル(放射方向)の解像度がサジタル(接線方向)の解像度よりも高く、これに起因して被写体を撮影した画像においても放射方向の解像度が接線方向の解像度よりも高い場合について規定しており、このような場合にも良好な復元画像を効率的に得ることができる。
第8の態様に係る画像処理装置は第7の態様において、座標変換部は、撮影画像の周辺部を膨張させる座標変換と撮影画像の中心部を圧縮する座標変換とのうち少なくとも一方の座標変換を行う。第8の態様は、第7の態様のように画像において放射方向の解像度が接線方向の解像度よりも高い場合の座標変換を具体的に規定するものである。なお第8の態様において、座標変換による膨張及び収縮は、像高に応じた度合いで行ってよい。
第9の態様に係る画像処理装置は第3,7,8の態様のいずれか1つにおいて、撮影レンズの歪曲収差がマイナスである。第9の態様によれば、撮影レンズの歪曲収差がマイナスなので、撮影画像もこれに起因してたる型の歪曲成分(像の周辺ほど収縮が大きい)を有する。
第10の態様に係る画像処理装置は第3から第9の態様のいずれか1つにおいて、座標変換部は座標変換により撮影レンズの歪曲収差を補正する。第10の態様によれば、サジタルの解像度とタンジェンシャルの解像度とを近づける座標変換により、撮影画像における歪曲成分をも補正できる。
第11の態様に係る画像処理装置は第1から第10の態様のいずれか1つにおいて、解像度強調処理がされた画像に対して座標変換の逆変換を行う逆変換部を備える。第11の態様によれば、原画像(座標変換前の撮影画像)と同様な構図の復元画像を得ることができる。なお第11の態様において、解像度を近づける座標変換により撮影レンズの歪曲収差が補正されるか否かに応じて逆変換を行うかどうか決定するようにしてもよい。
第12の態様は第1から第11の態様のいずれか1つにおいて、座標変換部は、座標変換がされた画像において、指定された空間周波数におけるサジタルの解像度とタンジェンシャルの解像度とのうち高い方の解像度を1としたときに、サジタルの解像度とタンジェンシャルの解像度とのうち低い方の解像度が0.5以上、好ましくは0.75以上になるような座標変換を行う。第12の態様は、回転対称な解像度強調処理を行うためのサジタルの解像度とタンジェンシャルの解像度との関係を規定するものである。
上述した目的を達成するため、本発明の第13の態様に係る画像処理方法は、画像取得部と、座標変換部と、解像度強調処理部と、を備える画像処理装置の画像処理方法であって、撮影レンズを介して撮影された被写体の撮影画像を画像取得部により取得する画像取得工程と、撮影画像を座標変換部により座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換工程と、座標変換がされた画像に対して、解像度強調処理部により回転対称な解像度強調処理を行う解像度強調処理工程と、を有する。第13の態様によれば、第1の態様と同様に良好な復元画像を効率的に得ることができる。
第14の態様に係る画像処理方法は第13の態様において、撮影画像のサジタルの解像度の情報とタンジェンシャルの解像度の情報とを取得する情報取得工程を備え、座標変換工程では取得したサジタルの解像度の情報とタンジェンシャルの解像度の情報とに基づいて座標変換を行う。第14の態様では、第2の態様と同様に、撮影画像のサジタル及びタンジェンシャルの解像度の情報を取得することにより適切な座標変換を行えるようにしている。
第15の態様に係る画像処理方法は第13または第14の態様において、解像度強調処理がされた画像に対して座標変換の逆変換を行う逆変換工程をさらに有する。第15の態様によれば、第11の態様と同様に、原画像(座標変換前の撮影画像)と同様な構図の復元画像を得ることができる。なお第15の態様においても、第11の態様と同様に撮影レンズの歪曲収差を補正できるか否かに応じて逆変換を行うかどうか決定するようにしてもよい。
以上説明したように、本発明の画像処理装置及び画像処理方法によれば、良好な復元画像を効率的に得ることができる。
以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について説明する。
<第1の実施形態>
第1の実施形態では、コンピュータに接続可能なデジタルカメラ(画像処理装置)に本発明を適用する場合について説明する。図1は、コンピュータに接続されるデジタルカメラ10を示すブロック図である。
第1の実施形態では、コンピュータに接続可能なデジタルカメラ(画像処理装置)に本発明を適用する場合について説明する。図1は、コンピュータに接続されるデジタルカメラ10を示すブロック図である。
<デジタルカメラの構成>
デジタルカメラ10は、レンズユニット12と、撮像素子26を具備するカメラ本体14とを備え、レンズユニット12とカメラ本体14とは、レンズユニット12のレンズユニット入出力部22とカメラ本体14のカメラ本体入出力部30とを介して電気的に接続される。なおデジタルカメラ10は様々な分野で使用することが可能であり、例えば一般撮影のみならずセキュリティ分野(監視カメラ)や医療分野(内視鏡)でも使用することができる。
デジタルカメラ10は、レンズユニット12と、撮像素子26を具備するカメラ本体14とを備え、レンズユニット12とカメラ本体14とは、レンズユニット12のレンズユニット入出力部22とカメラ本体14のカメラ本体入出力部30とを介して電気的に接続される。なおデジタルカメラ10は様々な分野で使用することが可能であり、例えば一般撮影のみならずセキュリティ分野(監視カメラ)や医療分野(内視鏡)でも使用することができる。
レンズユニット12は、撮影レンズ16や絞り17等の光学系と、この光学系を制御する光学系操作部18とを具備する。光学系操作部18は、後述する解像度の情報及び歪曲収差の情報が記録されたメモリ19と、レンズユニット入出力部22に接続されるレンズユニットコントローラ20と、光学系を操作するアクチュエータ(図示省略)とを含む。レンズユニットコントローラ20は、レンズユニット入出力部22を介してカメラ本体14から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り17の絞り量制御、等を行う。
カメラ本体14の撮像素子26は、集光用マイクロレンズ、R(赤),G(緑),B(青)等のカラーフィルタ、及びイメージセンサ(フォトダイオード、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等)を有する。この撮像素子26は、レンズユニット12の光学系(撮影レンズ16、絞り17等)により結像される被写体の光学像を電気信号に変換し、画像信号(原画像データ)をカメラ本体コントローラ28に送る。
本例の撮像素子26は、詳細を後述するように、光学系を用いた被写体の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ28の画像処理部35に送信される。
カメラ本体コントローラ28は、図2に示すようにデバイス制御部34と画像処理部35とを有し、カメラ本体14を統括的に制御する。デバイス制御部34は、例えば、撮像素子26からの画像信号(画像データ)の出力を制御し、レンズユニット12を制御するための制御信号を生成してカメラ本体入出力部30を介してレンズユニット12(レンズユニットコントローラ20)に送信し、入出力インターフェース32を介して接続される外部機器類(コンピュータ60等)に画像処理前後の画像データ(RAW(Raw image format)データ、JPEG(Joint Photographic Experts Group)データ等)を送信する。また、デバイス制御部34は、液晶モニタ31(図1参照)や図示せぬEVF(Electronic View Finder)等、デジタルカメラ10が具備する各種デバイス類を適宜制御する。
一方、画像処理部35は、撮像素子26からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク(同時化)処理、画素補間処理、色補正処理(オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等)、RGB画像処理(トーン補正処理、露出補正処理等)、RGB/YCrCb変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部35において適宜行われる。このような画像処理により得られた画像は、液晶モニタ31に表示することができる。
なお、図1に示すデジタルカメラ10は、撮影等に必要なその他の機器類(シャッター等)を具備し、ユーザは、カメラ本体14に設けられるユーザインターフェース29(各種ボタン、スイッチ等)を介して撮影等のための各種設定、例えば後述する座標変換や解像度強調処理に関する入力や設定(レンズユニット12の解像度の情報及び歪曲収差の情報の取得、空間周波数の指定、逆変換を行うかどうか等)を適宜決定及び変更することができる。ユーザインターフェース29は、カメラ本体コントローラ28(デバイス制御部34及び画像処理部35)に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ28における各種処理に反映される。ユーザインターフェース29を介した各種設定は、液晶モニタ31に表示された画像や情報を確認しながら行うことができる。
カメラ本体コントローラ28において画像処理された画像データは、入出力インターフェース32を介してコンピュータ60等に送られる。デジタルカメラ10(カメラ本体コントローラ28)からコンピュータ60等に送られる画像データのフォーマットは特に限定されず、RAW、JPEG、TIFF(Tag Image File Format)等の任意のフォーマットとしうる。したがって、カメラ本体コントローラ28は、いわゆるExif(Exchangeable Image File Format)のように、ヘッダ情報(撮影日時、機種、画素数、絞り値などの撮影情報等)、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて1つの画像ファイルとして構成し、この画像ファイルをコンピュータ60に送信してもよい。
コンピュータ60は、カメラ本体14の入出力インターフェース32及びコンピュータ入出力部62を介してデジタルカメラ10に接続され、カメラ本体14から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ64は、コンピュータ60を統括的に制御し、デジタルカメラ10からの画像データを画像処理し、インターネット70等のネットワーク回線を介してコンピュータ入出力部62に接続されるサーバ80等との通信を制御する。コンピュータ60はディスプレイ66を有し、コンピュータコントローラ64における処理内容等が必要に応じてディスプレイ66に表示される。ユーザは、ディスプレイ66の表示を確認しながらキーボード等の入力手段(図示省略)を操作することで、コンピュータコントローラ64に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ60や、コンピュータ60に接続される機器類(デジタルカメラ10、サーバ80)を制御することができる。
サーバ80は、サーバ入出力部82及びサーバコントローラ84を有する。サーバ入出力部82は、コンピュータ60等の外部機器類との送受信接続部を構成し、インターネット70等のネットワーク回線を介してコンピュータ60のコンピュータ入出力部62に接続される。サーバコントローラ84は、コンピュータ60からの制御指示信号に応じ、コンピュータコントローラ64と協働し、コンピュータコントローラ64との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ60にダウンロードし、演算処理を行ってその演算結果をコンピュータ60に送信する。
各コントローラ(レンズユニットコントローラ20、カメラ本体コントローラ28、コンピュータコントローラ64、サーバコントローラ84)は、制御処理に必要な回路類を有し、例えば演算処理回路(CPU(Central Processing Unit)等)やメモリ等を具備する。また、デジタルカメラ10、コンピュータ60及びサーバ80間の通信は有線であってもよいし無線であってもよい。また、コンピュータ60及びサーバ80を一体的に構成してもよく、またコンピュータ60及び/またはサーバ80が省略されてもよい。また、デジタルカメラ10にサーバ80との通信機能を持たせ、デジタルカメラ10とサーバ80との間で直接的にデータ類の送受信が行われるようにしてもよい。
<画像処理部の機能>
図3は第1の実施形態に係る画像処理部35(情報取得部)の機能構成例を示した機能ブロック図である。画像処理部35はカメラ本体コントローラ28に備えられ、上述したデモザイク処理等の機能の他に、画像取得部40、座標変換部41、解像度強調処理部42、逆変換部43、及び情報取得部44を備えている。
図3は第1の実施形態に係る画像処理部35(情報取得部)の機能構成例を示した機能ブロック図である。画像処理部35はカメラ本体コントローラ28に備えられ、上述したデモザイク処理等の機能の他に、画像取得部40、座標変換部41、解像度強調処理部42、逆変換部43、及び情報取得部44を備えている。
画像取得部40は、光学系を用いた被写体の撮影により撮像素子26から取得される撮影画像を取得する。ここで撮影画像とは、被写体の撮影により撮像素子26から出力された画像データに基づくものであり、座標変換部41で行われる座標変換を行うことが可能であれば、画像の形式が特に限定されるものではない。例えば画像取得部40は、撮影画像としてセンサ補正処理、デモザイク処理、画素補間処理、色補正処理、RGB画像処理、及びRGB/YCrCb変換処理が完了した画像データを取得する。以下の説明では、YCrCb変換された画像のY(輝度値)に対して処理を行う場合に説明する。
座標変換部41は、画像取得部40が取得した撮影画像に対して、サジタル(接線方向)の解像度とタンジェンシャル(放射方向)の解像度とを近づける座標変換を行う。解像度強調処理部42は、座標変換後の画像に対して回転対称な解像度強調処理を行う。逆変換部43は、解像度強調処理後の画像に対して、座標変換部41による座標変換の逆変換を行う。情報取得部44は、レンズユニット12のメモリ19に記憶された撮影レンズ16のサジタル及びタンジェンシャルの解像度の情報及び歪曲収差の情報を取得する。画像処理部35のこれらの機能を用いた画像処理の詳細は、後述する。
<解像度及び歪曲収差の情報の取得>
後述する座標変換を行うには、撮影された画像のサジタル及びタンジェンシャルの解像度の情報が必要であるが、撮影された画像の解像度は撮影レンズ16の解像度に依存する。そこで画像処理部35の情報取得部44(情報取得部)は、撮影レンズ16のサジタルの解像度の情報とタンジェンシャルの解像度の情報とをレンズユニット12のメモリ19から取得して、取得した情報から撮影された画像の解像度を求める(図6のステップS11:情報取得工程)。なお撮影レンズ16の解像度の情報は、メモリ19から取得する他、インターネット70から取得してもよいし、情報取得部44が撮影された画像(例えば、図4(b)の撮影画像51)を解析して取得してもよい。また、ユーザが液晶モニタ31に表示された画像や情報を確認しつつユーザインターフェース29を介して情報を入力し、この情報を情報取得部44が取得するようにしてもよい。なお撮影レンズ16の歪曲収差の情報も、上述した解像度の情報の取得と同様にメモリ19やインターネット70、画像解析、ユーザ入力等を介して情報取得部44が取得することができる。
後述する座標変換を行うには、撮影された画像のサジタル及びタンジェンシャルの解像度の情報が必要であるが、撮影された画像の解像度は撮影レンズ16の解像度に依存する。そこで画像処理部35の情報取得部44(情報取得部)は、撮影レンズ16のサジタルの解像度の情報とタンジェンシャルの解像度の情報とをレンズユニット12のメモリ19から取得して、取得した情報から撮影された画像の解像度を求める(図6のステップS11:情報取得工程)。なお撮影レンズ16の解像度の情報は、メモリ19から取得する他、インターネット70から取得してもよいし、情報取得部44が撮影された画像(例えば、図4(b)の撮影画像51)を解析して取得してもよい。また、ユーザが液晶モニタ31に表示された画像や情報を確認しつつユーザインターフェース29を介して情報を入力し、この情報を情報取得部44が取得するようにしてもよい。なお撮影レンズ16の歪曲収差の情報も、上述した解像度の情報の取得と同様にメモリ19やインターネット70、画像解析、ユーザ入力等を介して情報取得部44が取得することができる。
<実施例1>
<被写体及び撮影画像>
図4(a)は被写体50を模式的に示す図であり、図4(b)は被写体50をデジタルカメラ10で撮影し、画像取得部40により取得された撮影画像51を模式的に示す図である。画像取得部40は、取得した撮影画像51を座標変換部41に送信する。なお図4(b)の撮影画像51には、撮影レンズ16のタンジェンシャル方向(光軸を中心とした円周の放射方向)をTaで、撮影レンズ16のサジタル方向(光軸を中心とした円周の接線方向;放射方向と垂直)をSaで示している。なお図4、図13、および図15の文字”FUJIFILM Value from Innovation”は登録商標である。
<被写体及び撮影画像>
図4(a)は被写体50を模式的に示す図であり、図4(b)は被写体50をデジタルカメラ10で撮影し、画像取得部40により取得された撮影画像51を模式的に示す図である。画像取得部40は、取得した撮影画像51を座標変換部41に送信する。なお図4(b)の撮影画像51には、撮影レンズ16のタンジェンシャル方向(光軸を中心とした円周の放射方向)をTaで、撮影レンズ16のサジタル方向(光軸を中心とした円周の接線方向;放射方向と垂直)をSaで示している。なお図4、図13、および図15の文字”FUJIFILM Value from Innovation”は登録商標である。
<サジタル及びタンジェンシャルの解像度>
また、撮影画像51は、撮影レンズ16の解像度に依存して、サジタルとタンジェンシャルとで解像度が異なる。ここで解像度とは画像のボケの程度を示す指標であり、様々な指標、例えば変調伝達関数(MTF:Modulation Transfer Function)や空間周波数応答(SFR:Spatial Frequency Response)を使用することができる。なおこれ以降に説明する図では、撮影画像51の解像度を表す指標として撮影レンズ16のMTFを用いている。
また、撮影画像51は、撮影レンズ16の解像度に依存して、サジタルとタンジェンシャルとで解像度が異なる。ここで解像度とは画像のボケの程度を示す指標であり、様々な指標、例えば変調伝達関数(MTF:Modulation Transfer Function)や空間周波数応答(SFR:Spatial Frequency Response)を使用することができる。なおこれ以降に説明する図では、撮影画像51の解像度を表す指標として撮影レンズ16のMTFを用いている。
図5は、撮影画像51におけるサジタル方向(撮像面の中心を原点とした円周の接線方向)の解像度S及びタンジェンシャル方向(接線方向に垂直な放射方向)の解像度Tの例を示す図である。図5では、サジタルの解像度が空間周波数によらずにタンジェンシャルの解像度よりも高い場合の例を示している。この例においては、解像度を近づける空間周波数として全空間周波数が座標変換部41(画像処理部35)に指定される。
<撮影画像の歪曲成分>
被写体50は撮影レンズ16を介して撮影されるので、撮影画像51には、撮影レンズ16の特性(歪曲収差)に起因して歪み(歪曲成分)が生じる。図4(b)では、撮影レンズ16の歪曲収差がプラスであり、これに起因して撮影画像51が「糸巻き型」(像の周辺ほど伸びが大きい)の歪曲成分を有する例を示している。
被写体50は撮影レンズ16を介して撮影されるので、撮影画像51には、撮影レンズ16の特性(歪曲収差)に起因して歪み(歪曲成分)が生じる。図4(b)では、撮影レンズ16の歪曲収差がプラスであり、これに起因して撮影画像51が「糸巻き型」(像の周辺ほど伸びが大きい)の歪曲成分を有する例を示している。
<画像処理の概要>
図6は、画像処理部35における画像処理(画像処理方法)の概要を示す図である。まず、画像処理部35の画像取得部40は、光学系を用いた被写体50の撮影により撮像素子26から取得される撮影画像51を取得する(ステップS10:画像取得工程)。また情報取得部44は、撮影画像51について、撮影画像51のサジタルの解像度Sの情報とタンジェンシャルの解像度Tの情報をレンズユニット12のメモリ19から取得する(ステップS11:情報取得工程)。そして座標変換部41は、ステップS11で取得した解像度の情報に基づいて撮影画像51を座標変換し、図4(c)に示すような座標変換画像52を生成する(ステップS12:座標変換工程)。
図6は、画像処理部35における画像処理(画像処理方法)の概要を示す図である。まず、画像処理部35の画像取得部40は、光学系を用いた被写体50の撮影により撮像素子26から取得される撮影画像51を取得する(ステップS10:画像取得工程)。また情報取得部44は、撮影画像51について、撮影画像51のサジタルの解像度Sの情報とタンジェンシャルの解像度Tの情報をレンズユニット12のメモリ19から取得する(ステップS11:情報取得工程)。そして座標変換部41は、ステップS11で取得した解像度の情報に基づいて撮影画像51を座標変換し、図4(c)に示すような座標変換画像52を生成する(ステップS12:座標変換工程)。
座標変換後、解像度強調処理部42は、座標変換画像52に対して解像度強調処理を行う(ステップS13:解像度強調処理工程)。次に逆変換部43は、解像度強調処理後の画像に対して、必要に応じてステップS12での座標変換の逆変換である座標変換を行い、逆変換画像を生成する(ステップS14:逆変換工程)。
以下、ステップS12〜S14における処理を詳細に説明する。
<座標変換処理>
ステップS12での座標変換について説明する。図5に示すように撮影画像51のサジタル方向の解像度Sがタンジェンシャル方向の解像度Tよりも高い場合、撮影画像51の周辺部を像高に応じた圧縮量で圧縮する。この処理はステップS11で取得した解像度の情報に基づいて行うことができる。すると図7(a)に示すようにタンジェンシャルの解像度Tが見かけ上向上し(図7(a)中、座標変換前のタンジェンシャルの解像度Tを点線で示す)、サジタルの解像度Sに近づく。この態様では撮影画像51が圧縮されるので、座標変換後に適用される回復フィルタF(図10〜12参照)のカーネルサイズも縮小され、高速な処理が可能となる。
ステップS12での座標変換について説明する。図5に示すように撮影画像51のサジタル方向の解像度Sがタンジェンシャル方向の解像度Tよりも高い場合、撮影画像51の周辺部を像高に応じた圧縮量で圧縮する。この処理はステップS11で取得した解像度の情報に基づいて行うことができる。すると図7(a)に示すようにタンジェンシャルの解像度Tが見かけ上向上し(図7(a)中、座標変換前のタンジェンシャルの解像度Tを点線で示す)、サジタルの解像度Sに近づく。この態様では撮影画像51が圧縮されるので、座標変換後に適用される回復フィルタF(図10〜12参照)のカーネルサイズも縮小され、高速な処理が可能となる。
ステップS12の座標変換において、座標変換部41は、任意の空間周波数において座標変換後のサジタルの解像度とタンジェンシャルの解像度とのうち高い方を1.0としたとき、低い方が0.5以上、好ましくは0.75以上(解像度をMTFで表した場合)となるように座標変換の方向及び量を設定する。例えば、空間周波数f1における座標変換後のサジタル,タンジェンシャルの解像度をそれぞれRS,RT(<RS)とすると、RSを1としたときにRTが0.5以上、好ましくは0.75以上になるようにする。このような値とするのは、解像度の比率がこの範囲であれば、後述するように座標変換画像52に対し回転対称な解像度強調処理を行えるようになるからである。
なお、撮影画像51の解像度が図5に示す状態である場合、ステップS12の座標変換において、撮影画像51の中心部を像高に応じた膨張量で膨張させるようにしてもよい。この処理は、ステップS11で取得した解像度の情報に基づいて行うことができる。この場合、座標変換画像52では、図7(b)に示すようにサジタルの解像度Sが見かけ上低下し(図7(b)中、座標変換前のサジタルの解像度Sを点線で示す)、タンジェンシャルの解像度Tに近づく。この場合も、座標変換部41は、空間周波数f2における座標変換後のサジタル,タンジェンシャルの解像度をそれぞれRS,RT(<RS)とすると、RSを1としたときにRTが0.5以上、好ましくは0.75以上になるように座標変換の方向及び量を設定する。このような座標変換を行った場合でも、サジタルの解像度Sとタンジェンシャルの解像度Tとが近づくので、座標変換画像52に対し回転対称な解像度強調処理を行えるようになる。
また図5の例では、ステップS12において、撮影画像51の周辺部を像高に応じた圧縮量で圧縮する座標変換と、撮影画像51の中心部を像高に応じた膨張量で膨張させる座標変換との両方を行うようにしてもよい。この場合、座標変換画像52では、図7(c)に示すようにタンジェンシャルの解像度Tが見かけ上向上するとともにサジタルの解像度Sが見かけ上低下し、サジタルの解像度Sとタンジェンシャルの解像度Tとが近づく(図7(c)中、座標変換前のサジタルの解像度Sを点線で示し、座標変換前のタンジェンシャルの解像度Tを鎖線で示す)。この場合も図7(a),(b)の場合と同様に、座標変換部41は、空間周波数f3における座標変換後のサジタル,タンジェンシャルの解像度をそれぞれRS,RT(<RS)とすると、RSを1としたときにRTが0.5以上、好ましくは0.75以上になるように座標変換の方向及び量を設定する。
なお、ステップS12の座標変換によりサジタルの解像度Sとタンジェンシャルの解像度Tとが完全に一致することが好ましいが、座標変換により解像度を完全に一致させられない場合でも、解像度が近づくのであれば、その近づく度合いに応じて本発明の効果が得られる。
<画像シミュレーションによる解像度の数値>
ステップS12での座標変換後のサジタル,タンジェンシャルの解像度の数値について画像シミュレーションで検証した結果を示す。このシミュレーションでは、“Fujifilm”という文字(原画像)の太さを撮像素子上で略2画素とし、撮影レンズの非点収差(いわゆるアス誤差)によって撮影画像の解像度(MTF)が低下している状態で、上述した座標変換後の「(1/2)×ナイキスト周波数」における解像度の関係が条件1〜5(図8の表を参照)を満たす場合の画像を生成した。その結果図8の表に示すように、座標変換後の解像度の関係が上述した数値範囲を満たす条件1〜3では座標変換後の画像においてボケの方向が知覚できない状態であり(ボケが円形か円形に近い)、座標変換後の画像に対し回転対称な解像度強調処理を行えることが分かる。
ステップS12での座標変換後のサジタル,タンジェンシャルの解像度の数値について画像シミュレーションで検証した結果を示す。このシミュレーションでは、“Fujifilm”という文字(原画像)の太さを撮像素子上で略2画素とし、撮影レンズの非点収差(いわゆるアス誤差)によって撮影画像の解像度(MTF)が低下している状態で、上述した座標変換後の「(1/2)×ナイキスト周波数」における解像度の関係が条件1〜5(図8の表を参照)を満たす場合の画像を生成した。その結果図8の表に示すように、座標変換後の解像度の関係が上述した数値範囲を満たす条件1〜3では座標変換後の画像においてボケの方向が知覚できない状態であり(ボケが円形か円形に近い)、座標変換後の画像に対し回転対称な解像度強調処理を行えることが分かる。
なお撮影レンズ16と撮影画像51とでは軸(方向)の定義が異なるが、図8の表に示す画像シミュレーションでは、撮影画像51において「撮影画像51のH(水平)方向が撮影レンズ16のSa(サジタル)方向と一致し、撮影画像51のV(垂直)方向が撮影レンズ16のTa(タンジェンシャル)方向と一致する領域」(図9の領域51a付近)を切り出して画像シミュレーションを行った。
<座標変換による歪曲成分の補正>
撮影画像51は、図5に示すようにサジタルの解像度Sとタンジェンシャルの解像度Tに差があるほか、図4(b)に示すように撮影レンズ16の歪曲収差に起因する歪曲成分を有する。このため、ステップS11で撮影レンズ16の歪曲収差の情報を取得し、ステップS12において歪曲収差の情報をも考慮して上述の座標変換(周辺部の圧縮と中心部の膨張とのうち少なくとも一方)を行うことが好ましい。これにより座標変換後の座標変換画像52は、図4(c)に示すように歪曲収差(歪曲成分)が補正された状態になり、サジタルの解像度Sとタンジェンシャルの解像度Tとを近づける座標変換により、撮影レンズ16の歪曲収差をも補正することができる。
撮影画像51は、図5に示すようにサジタルの解像度Sとタンジェンシャルの解像度Tに差があるほか、図4(b)に示すように撮影レンズ16の歪曲収差に起因する歪曲成分を有する。このため、ステップS11で撮影レンズ16の歪曲収差の情報を取得し、ステップS12において歪曲収差の情報をも考慮して上述の座標変換(周辺部の圧縮と中心部の膨張とのうち少なくとも一方)を行うことが好ましい。これにより座標変換後の座標変換画像52は、図4(c)に示すように歪曲収差(歪曲成分)が補正された状態になり、サジタルの解像度Sとタンジェンシャルの解像度Tとを近づける座標変換により、撮影レンズ16の歪曲収差をも補正することができる。
<点像復元処理(回復処理)>
図10は、画像撮影から点像復元処理(回復処理)までの概略を示す図である。点像を被写体として撮影を行う場合、光学系(撮影レンズ16、絞り17等)により撮像素子26(イメージセンサ)上に被写体像が結像され、これにより撮像素子26から原画像データDo(撮影画像51に対応)が出力される。この原画像データDoは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。この原画像データに対し座標変換処理P30(図6のステップS12)が行われるが、座標変換後の座標変換画像52は座標変換処理により非対称なボケの成分は補正されているものの、点対称なボケの成分は残存している。そこで、座標変換画像52から本来の被写体像(点像)を復元するため、座標変換画像52に対して回復フィルタFを用いた点像復元処理P10(解像度強調処理;図6のステップS13)を行うことで、本来の被写体像(点像)により近い像(回復画像)を表す回復画像データDrが得られる。なお、詳細を後述するように、この回復画像データDrに対して必要に応じ逆変換処理(図6のステップS14)が行われる。
図10は、画像撮影から点像復元処理(回復処理)までの概略を示す図である。点像を被写体として撮影を行う場合、光学系(撮影レンズ16、絞り17等)により撮像素子26(イメージセンサ)上に被写体像が結像され、これにより撮像素子26から原画像データDo(撮影画像51に対応)が出力される。この原画像データDoは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。この原画像データに対し座標変換処理P30(図6のステップS12)が行われるが、座標変換後の座標変換画像52は座標変換処理により非対称なボケの成分は補正されているものの、点対称なボケの成分は残存している。そこで、座標変換画像52から本来の被写体像(点像)を復元するため、座標変換画像52に対して回復フィルタFを用いた点像復元処理P10(解像度強調処理;図6のステップS13)を行うことで、本来の被写体像(点像)により近い像(回復画像)を表す回復画像データDrが得られる。なお、詳細を後述するように、この回復画像データDrに対して必要に応じ逆変換処理(図6のステップS14)が行われる。
点像復元処理P10で用いられる回復フィルタFは、原画像データDo取得時の撮影条件に応じた光学系の点像情報(点拡がり関数)から、回復フィルタ算出アルゴリズムP20によって得られる。光学系の点像情報(点拡がり関数)は、撮影レンズ16の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタFを算出する際にはこれらの撮影条件が取得される。
<点像復元処理の一例>
図11は、点像復元処理の一例を示すブロック図である。点像復元処理P10(解像度強調処理)は、上述のように回復フィルタFを用いたフィルタリング処理によって座標変換画像52から回復画像データDrを作成する処理であり、例えばN×M(N及びMは2以上の整数)のタップによって構成される実空間上の回復フィルタFが処理対象の画像(画像データ)に適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ(座標変換画像52の処理対象画素データ及び隣接画素データ)とを加重平均演算(デコンボリューション演算)することで、点像復元処理後の画素データ(回復画像データDr)を算出することができる。この回復フィルタFを用いた加重平均処理を、対象画素を順番に代えながら、画像(画像データ)を構成する全画素データに適用することで、点像復元処理を行うことができる。
図11は、点像復元処理の一例を示すブロック図である。点像復元処理P10(解像度強調処理)は、上述のように回復フィルタFを用いたフィルタリング処理によって座標変換画像52から回復画像データDrを作成する処理であり、例えばN×M(N及びMは2以上の整数)のタップによって構成される実空間上の回復フィルタFが処理対象の画像(画像データ)に適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ(座標変換画像52の処理対象画素データ及び隣接画素データ)とを加重平均演算(デコンボリューション演算)することで、点像復元処理後の画素データ(回復画像データDr)を算出することができる。この回復フィルタFを用いた加重平均処理を、対象画素を順番に代えながら、画像(画像データ)を構成する全画素データに適用することで、点像復元処理を行うことができる。
N×Mのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。
回復フィルタFの例を図12(a)に示す。回復フィルタFはカーネル中心に対して回転対称となるように設計されており、メモリに記憶させるデータを削減することができる。例えば、図12(a)に示した7×7のカーネルの場合、図12(b)に示すような4×4の回復フィルタGを記憶させることで、その対称性を利用して7×7の回復フィルタFとすることができる。
解像度強調処理部42は、座標変換画像52に対して回復フィルタFを用いて点像復元処理を行う。サジタルの解像度Sとタンジェンシャルの解像度Tとが座標変換により近づけられた座標変換画像52に対して回転対称な回復フィルタFを用いて点像復元処理(回復処理)を行うので、撮影画像51(座標変換がされておらず、図5のようにサジタルの解像度Sとタンジェンシャルの解像度Tとで差が大きい)に対し回転非対称な回復フィルタにより点像復元処理を行う場合よりも演算負荷を軽減することができ、良好な復元画像を効率的に得ることができる。
なお、サジタルの解像度Sとタンジェンシャルの解像度Tとの大小関係が撮影レンズ16の像高あるいは撮影画像51中の位置によって変化する場合は、サジタルの解像度Sの方が大きい(高い)領域では画像を圧縮し、タンジェンシャルの解像度Tの方が大きい(高い)領域では画像を膨張させる座標変換を行うことが好ましい。
<他の解像度強調処理>
解像度強調処理部42で行われる解像度強調処理は、座標変換画像52の解像度を強調する(ボケを抑制する)処理であれば特に限定されない。上述した点像復元処理(回復処理)の他に、解像度強調処理部42が座標変換画像52の輝度値に対して輪郭強調フィルタを使用して輪郭強調処理を行うようにしてもよい。なお、解像度強調処理部42は、デモザイク処理前のRGB画像に対しても解像度強調処理を行うことができる。その場合には、上述した座標変換がされたRGB画像に対して解像度強調処理が行われる。
解像度強調処理部42で行われる解像度強調処理は、座標変換画像52の解像度を強調する(ボケを抑制する)処理であれば特に限定されない。上述した点像復元処理(回復処理)の他に、解像度強調処理部42が座標変換画像52の輝度値に対して輪郭強調フィルタを使用して輪郭強調処理を行うようにしてもよい。なお、解像度強調処理部42は、デモザイク処理前のRGB画像に対しても解像度強調処理を行うことができる。その場合には、上述した座標変換がされたRGB画像に対して解像度強調処理が行われる。
解像度強調処理部42が解像度強調処理として輪郭強調処理を行う場合について説明する。解像度強調処理部42が行う輪郭強調においても、上述した回復処理と同様に輪郭強調フィルタの各タップに割り当てられるフィルタ係数と画素データとを加重平均演算(デコンボリューション演算)することで、輪郭強調処理後の画素データを算出することができる。そしてこの輪郭強調フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、輪郭強調処理を行うことができる。輪郭強調フィルタは公知の方法により作成される。なお、本発明において、解像度強調処理としての輪郭強調処理は、エッジ強調処理またはシャープネス強調処理と呼ばれる処理も含む概念である。
<逆変換処理>
逆変換部43は、回復画像(解像度強調画像)に対してステップS12の座標変換の逆変換を行い、逆変換画像を生成する(図6のステップS14)。逆変換画像は、撮影画像51と同様の構図を有し且つ解像度強調処理が行われた画像である。なお、ステップS12における座標変換によりレンズの歪曲収差を十分補正できる場合や撮影画像51に歪曲成分がほとんど無い場合はステップS14の逆変換は行わなくてもよく、座標変換により歪曲成分が付加される場合に逆変換を行えばよい。例えば、撮影画像51(図4参照)や撮影画像53(図15参照)のような画像が座標変換により座標変換画像52のようになる場合、即ち画像中の歪曲成分が座標変換により補正(除去)される場合は逆変換を行う必要はなく、図13(a)に示すように歪曲成分がほとんどない撮影画像55に座標変換により歪曲成分が付加されて図13(b),(c)の座標変換画像56,57のようになる場合に逆変換を行えばよい。
逆変換部43は、回復画像(解像度強調画像)に対してステップS12の座標変換の逆変換を行い、逆変換画像を生成する(図6のステップS14)。逆変換画像は、撮影画像51と同様の構図を有し且つ解像度強調処理が行われた画像である。なお、ステップS12における座標変換によりレンズの歪曲収差を十分補正できる場合や撮影画像51に歪曲成分がほとんど無い場合はステップS14の逆変換は行わなくてもよく、座標変換により歪曲成分が付加される場合に逆変換を行えばよい。例えば、撮影画像51(図4参照)や撮影画像53(図15参照)のような画像が座標変換により座標変換画像52のようになる場合、即ち画像中の歪曲成分が座標変換により補正(除去)される場合は逆変換を行う必要はなく、図13(a)に示すように歪曲成分がほとんどない撮影画像55に座標変換により歪曲成分が付加されて図13(b),(c)の座標変換画像56,57のようになる場合に逆変換を行えばよい。
<実施例2>
次に、サジタルの解像度Sとタンジェンシャルの解像度Tとの関係が実施例1と異なる場合について説明する。実施例1では、図5に示すようにサジタルの解像度Sがタンジェンシャルの解像度Tより高い場合について説明したが、実施例2ではそれと逆に、撮影画像において、タンジェンシャルの解像度Tがサジタルの解像度Sより高い場合について説明する。図14はそのような場合の解像度を示す図である。この場合、図15に示すように撮影画像53はたる型の歪曲収差(歪曲収差がマイナス)を有しているものとする。なお実施例2に関し、デジタルカメラ10の構成及び処理の手順は実施例1と同様でよい。
次に、サジタルの解像度Sとタンジェンシャルの解像度Tとの関係が実施例1と異なる場合について説明する。実施例1では、図5に示すようにサジタルの解像度Sがタンジェンシャルの解像度Tより高い場合について説明したが、実施例2ではそれと逆に、撮影画像において、タンジェンシャルの解像度Tがサジタルの解像度Sより高い場合について説明する。図14はそのような場合の解像度を示す図である。この場合、図15に示すように撮影画像53はたる型の歪曲収差(歪曲収差がマイナス)を有しているものとする。なお実施例2に関し、デジタルカメラ10の構成及び処理の手順は実施例1と同様でよい。
撮影画像53の特性が図14及び図15に示すものである場合、図16(a)に示すようにサジタルの解像度Sを上げる(撮影画像の中心部を圧縮する)座標変換、図16(b)に示すようにタンジェンシャルの解像度Tを下げる(撮影画像の周辺部を膨張させる)座標変換、または図16(c)に示すようにこれら座標変換の両方を行うようにすればよい。この際、図16(a)〜(c)に示すように、空間周波数f4〜f6における座標変換後のサジタル,タンジェンシャルの解像度をそれぞれRS,RT(>RS)とすると、RTを1としたときにRSが0.5以上、好ましくは0.75以上になるようにする。
このような座標変換によってもサジタルの解像度Sとタンジェンシャルの解像度Tとが近づくので、実施例1と同様に座標変換後の画像に対して回転対称な解像度強調処理を行うことができ、良好な復元画像を効率的に得ることができ、さらに座標変換により撮影レンズ16の歪曲収差が補正される。なお実施例1と同様に実施例2においても、必要により逆変換を行うことができる。
実施例1,2について説明したように、第1の実施形態では、撮影画像51を座標変換することにより座標変換画像52サジタルの解像度Sとタンジェンシャルの解像度Tとが近づけられ、この座標変換画像52に対して回転対称な解像度強調処理が行われるので、解像度強調処理の演算処理の負荷を抑制することができ、良好な復元画像を効率的に得ることができる。
<第2の実施形態>
次に本発明の第2の実施形態に関して説明する。撮影レンズにおいて、サジタルの解像度Sとタンジェンシャルの解像度Tとの大小関係は空間周波数によって変化することがあり、そのような場合座標変換のみでは空間周波数の全範囲において解像度を近づけきれない場合がある。そこで第2の実施形態では、特定の空間周波数もしくは幅を持った空間周波数の領域を指定し、この空間周波数において解像度を近づけるようにする。なお第2の実施形態においても、画像処理装置(デジタルカメラ10)の構成や処理手順は第1の実施形態と同様でよい。
次に本発明の第2の実施形態に関して説明する。撮影レンズにおいて、サジタルの解像度Sとタンジェンシャルの解像度Tとの大小関係は空間周波数によって変化することがあり、そのような場合座標変換のみでは空間周波数の全範囲において解像度を近づけきれない場合がある。そこで第2の実施形態では、特定の空間周波数もしくは幅を持った空間周波数の領域を指定し、この空間周波数において解像度を近づけるようにする。なお第2の実施形態においても、画像処理装置(デジタルカメラ10)の構成や処理手順は第1の実施形態と同様でよい。
図17は、サジタルの解像度Sとタンジェンシャルの解像度Tとの大小関係が空間周波数によって変化する状況を示す例である。この例では、空間周波数が低い領域ではサジタルの解像度Sとタンジェンシャルの解像度Tとがほぼ一致しているが、空間周波数が高くなるにつれて解像度の差が大きくなっている。なお、この例では撮影レンズ16の歪曲収差がプラスである(図4(a),(b)と同様に、被写体50を撮影して撮影画像51が得られた)ものとする。
図17に示す状況で、特定の空間周波数において解像度を近づける例を説明する。図18(a)は、撮影画像51に対し画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの(見かけ上の)解像度Tを上げ、空間周波数fCにおいてサジタルの解像度Sとタンジェンシャルの解像度Tとを一致させた例である。このような座標変換によってサジタルの解像度Sとタンジェンシャルの解像度Tとが近づくので、第1の実施形態と同様に座標変換後の画像に対して回転対称な解像度強調処理を行うことができ、良好な復元画像を効率的に得ることができ、さらに座標変換により撮影レンズ16の歪曲収差が補正される。
次に、幅を持った空間周波数の領域において解像度を近づける例を説明する。図18(b)は、撮影画像51に対し画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの(見かけ上の)解像度Tを上げ、空間周波数fLからfHの範囲においてサジタルの解像度Sとタンジェンシャルの解像度Tとを近づけた(空間周波数fCにおいて一致させた)例である。
図18(a),(b)に示すように特定の空間周波数、もしくは幅を持った空間周波数の領域において解像度を近づける場合、空間周波数fC,fL,fHとして固定した値を指定してもよいし、画像の種類や使用目的に応じて異なる値を指定してもよい。例えば、一般的に画質において重要な周波数である、センサ(撮像素子26)のナイキスト周波数×(1/4〜1/2)の範囲の空間周波数(空間周波数fL=(1/4)×ナイキスト周波数、空間周波数fH=(1/2)×ナイキスト周波数)においてサジタルの解像度Sとタンジェンシャルの解像度Tとが最も近づき、ナイキスト周波数×1/3の空間周波数(空間周波数fC)において解像度が一致するように座標変換を行うことができる。なおセンサのナイキスト周波数(本/mm)=(1/2)/センサピッチ(mm)である。
上述した空間周波数fC,fL,fHの値はユーザによらずに画像処理部35(座標変換部41)が指定するようにしてもよいし、ユーザインターフェース29を介してユーザが入力した値を指定してもよい。
なお図17及び図18(a),(b)の例に関し、画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの解像度Tを上げる場合について説明したが、第1の実施形態と同様に、画像の中心部を像高に応じて膨張させる座標変換を行ってサジタルの(見かけ上の)解像度Sを下げるようにしてもよい。さらに、画像の周辺部を像高に応じて圧縮する座標変換と画像の中心部を像高に応じて膨張させる座標変換の両方を行う(サジタルの解像度Sを下げ、タンジェンシャルの解像度Tを上げる)ようにしてもよい。また座標変換では、fC以外の空間周波数においても、第1の実施形態と同様にサジタルの解像度Sとタンジェンシャルの解像度Tとのうち高い方の解像度を1としたときに、低い方の解像度が0.5以上、好ましくは0.75以上になるような座標変換を行うことが好ましい。
なお図17及び図18(a),(b)の例では空間周波数のほぼ全域でサジタルの解像度Sがタンジェンシャルの解像度Tより高く歪曲収差がプラスの場合について説明したが、解像度の大小関係がこれと逆の場合(図14及び図15のようにタンジェンシャルの解像度Tがサジタルの解像度Sより高く歪曲収差がマイナスの場合)は、画像の周辺部の膨張と中心部の圧縮とのうち少なくとも一方を行うようにすればよい。
なお第2の実施形態においても、第1の実施形態と同様に必要に応じて逆変換を行うようにすればよい。
<変形例>
上述した第1,第2の実施形態における各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータに読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
上述した第1,第2の実施形態における各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータに読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
コンピュータに対して本発明を適用した場合のブロック図を図19に示す。図19の例では、コンピュータ90は画像取得部92,情報取得部94,座標変換部96,解像度強調処理部98,逆変換部99を備え、これら各部はデジタルカメラ10における画像取得部40,情報取得部44,座標変換部41,解像度強調処理部42,逆変換部43とそれぞれ同様の構成及び機能を有している。このようなコンピュータ90によってもデジタルカメラ10と同様な座標変換や解像度強調処理、逆変換を行うことができ、解像度強調処理の演算処理の負荷を抑制して良好な復元画像を効率的に得ることができる。
なお、上述したプログラムを記録する記録媒体としては、CD(compact disk)やDVD(digital versatile disk)等の光磁気記録媒体、及び各種半導体メモリ等の非一時的記録媒体を用いることができる。
<第3の実施形態>
次に、本発明の画像処理装置をスマートフォンに適用する場合について説明する。
次に、本発明の画像処理装置をスマートフォンに適用する場合について説明する。
<スマートフォンの構成>
図20は、第3の実施形態に係るスマートフォン201の外観を示すものである。図20に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、かかる筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241(光学系)とを備えている。なお、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図20は、第3の実施形態に係るスマートフォン201の外観を示すものである。図20に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、かかる筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241(光学系)とを備えている。なお、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図21は、図20に示すスマートフォン201の構成を示すブロック図である。図21に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部220と、通話部230と、操作部240と、カメラ部241と、記憶部250と、外部入出力部260と、GPS(Global Positioning System)受信部270と、モーションセンサ部280と、電源部290と、主制御部200(画像取得部、座標変換部、解像度強調処理部、情報取得部、逆変換部)とを備える。また、スマートフォン201の主たる機能として、基地局装置及び移動通信網を介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部200の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部220は、主制御部200の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル221と、操作パネル222とを備える。
表示パネル221は、LCD(Liquid Crystal Display:液晶ディスプレイ)、OELD(Organic Electro-Luminescence Display:有機ELディスプレイ)などを表示デバイスとして用いたものである。操作パネル222は、表示パネル221の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される1つまたは複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部200に出力する。次いで、主制御部200は、受信した検出信号に基づいて、表示パネル221上の操作位置(座標)を検出する。
図20,21に示すように、スマートフォン201の表示パネル221と操作パネル222とは一体となって表示入力部220を構成しているが、操作パネル222が表示パネル221を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル222は、表示パネル221外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル222は、表示パネル221に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル221に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル221の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル222が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体202の大きさなどに応じて適宜設計されるものである。また、操作パネル222で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部230は、スピーカ231やマイクロホン232を備え、マイクロホン232を通じて入力されたユーザの音声を主制御部200にて処理可能な音声データに変換して主制御部200に出力したり、無線通信部210あるいは外部入出力部260により受信された音声データを復号してスピーカ231から出力したりするものである。また、図20に示すように、例えば、スピーカ231を表示入力部220が設けられた面と同じ面に搭載し、マイクロホン232を筐体202の側面に搭載することができる。
操作部240は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図20に示すように、操作部240は、スマートフォン201の筐体202の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部250は、主制御部200の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部250は、スマートフォン内蔵の内部記憶部251と着脱自在な外部メモリスロットを有する外部記憶部252により構成される。なお、記憶部250を構成するそれぞれの内部記憶部251と外部記憶部252は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部260は、スマートフォン201に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、USB(Universal Serial Bus)、IEEE(Institute of Electrical and Electronics Engineers)1394など)またはネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的または間接的に接続するためのものである。
スマートフォン201に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory Card)やSIM(Subscriber Identity Module)/UIM(User Identity Module)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン201の内部の各構成要素に伝達することや、スマートフォン201の内部のデータを外部機器に伝送することが可能である。
GPS受信部270は、主制御部200の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン201の緯度、経度、高度からなる位置を検出する。GPS受信部270は、無線通信部210や外部入出力部260(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部280は、例えば、3軸の加速度センサなどを備え、主制御部200の指示にしたがって、スマートフォン201の物理的な動きを検出する。スマートフォン201の物理的な動きを検出することにより、スマートフォン201の動く方向や加速度が検出される。かかる検出結果は、主制御部200に出力されるものである。
電源部290は、主制御部200の指示にしたがって、スマートフォン201の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部200は、マイクロプロセッサを備え、記憶部250が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン201の各部を統括して制御するものである。また、主制御部200は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部250が記憶するアプリケーションソフトウェアにしたがって主制御部200が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部260を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部200は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部220に表示する等の画像処理機能を備える。画像処理機能とは、主制御部200が、画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部220に表示する機能のことをいう。
さらに、主制御部200は、表示パネル221に対する表示制御と、操作部240、操作パネル222を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部200は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル221の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部200は、操作部240を通じたユーザ操作を検出したり、操作パネル222を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部200は、操作パネル222に対する操作位置が、表示パネル221に重なる重畳部分(表示領域)か、それ以外の表示パネル221に重ならない外縁部分(非表示領域)かを判定し、操作パネル222の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部200は、操作パネル222に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部241(光学系)は、撮影レンズ及びCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部241は、主制御部200の制御により、撮像によって得た画像データを例えばJPEGなどの圧縮した画像データに変換し、記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力したりすることができる。図19,20に示すスマートフォン201において、カメラ部241は表示入力部220と同じ面に搭載されているが、カメラ部241の搭載位置はこれに限らず、表示入力部220の背面に搭載されてもよいし、或いは、複数のカメラ部241が搭載されてもよい。なお、複数のカメラ部241が搭載されている場合、撮影に供するカメラ部241を切り替えて単独にて撮影したり、或いは、複数のカメラ部241を同時に使用して撮影したりすることもできる。
また、カメラ部241はスマートフォン201の各種機能に利用することができる。例えば、表示パネル221にカメラ部241で取得した画像を表示することや、操作パネル222の操作入力のひとつとして、カメラ部241の画像を利用することができる。また、GPS受信部270が位置を検出する際に、カメラ部241からの画像を参照して位置を検出することもできる。さらには、カメラ部241からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン201のカメラ部241の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部241からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画または動画の画像データにGPS受信部270により取得した位置情報、マイクロホン232により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部280により取得した姿勢情報等などを付加して記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力したりすることもできる。
なお第3の実施形態において、第1,第2の実施形態に関して説明した画像処理部35での各機能や処理の手順(図3,6参照)は、例えば主制御部200で実現される。
以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10…デジタルカメラ、12…レンズユニット、14…カメラ本体、16…撮影レンズ、17…絞り、18…光学系操作部、19…メモリ、20…レンズユニットコントローラ、22…レンズユニット入出力部、26…撮像素子、28…カメラ本体コントローラ、29…ユーザインターフェース、30…カメラ本体入出力部、31…液晶モニタ、32…入出力インターフェース、34…デバイス制御部、35…画像処理部、40…画像取得部、41…座標変換部、42…解像度強調処理部、43…逆変換部、44…情報取得部、50…被写体、51…撮影画像、51a…領域、52…座標変換画像、53,55…撮影画像、56,57…座標変換画像、60,90…コンピュータ、62…コンピュータ入出力部、64…コンピュータコントローラ、66…ディスプレイ、70…インターネット、80…サーバ、82…サーバ入出力部、84…サーバコントローラ、92…画像取得部、94…情報取得部、96…座標変換部、98…解像度強調処理部、99…逆変換部、200…主制御部、201…スマートフォン、202…筐体、210…無線通信部、220…表示入力部、221…表示パネル、222…操作パネル、230…通話部、231…スピーカ、232…マイクロホン、240…操作部、241…カメラ部、250…記憶部、251…内部記憶部、252…外部記憶部、260…外部入出力部、270…受信部、270…GPS受信部、280…モーションセンサ部、290…電源部、Do…原画像データ、Dr…回復画像データ、F,G…回復フィルタ、P10…点像復元処理、P20…回復フィルタ算出アルゴリズム、P30…座標変換処理、S,T…解像度、S10,S11,S12,S13,S14…ステップ、ST1,STn…GPS衛星、f1,f2,f3,f4,f5,f6,fL,fH…空間周波数
Claims (17)
- 撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、
前記撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と前記接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、特定の空間周波数において一致させる座標変換部と、
前記座標変換がされた画像に対して解像度強調処理を行う解像度強調処理部と、
を備える画像処理装置。 - 前記撮影画像の前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とを取得する情報取得部を備え、
前記座標変換部は、前記取得した前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とに基づいて前記座標変換を行う請求項1に記載の画像処理装置。 - 前記撮影レンズを含む光学系を有し、前記画像取得部は前記光学系を介して前記撮影画像を取得する請求項1または2に記載の画像処理装置。
- 前記撮影レンズは、光軸を中心とした円周の接線方向であるサジタルの解像度が前記接線方向に垂直な放射方向であるタンジェンシャルの解像度よりも高い請求項3に記載の画像処理装置。
- 前記座標変換部は、前記撮影画像の周辺部を圧縮する座標変換と前記撮影画像の中心部を膨張させる座標変換とのうち少なくとも一方の座標変換を行う請求項4に記載の画像処理装置。
- 前記撮影レンズの歪曲収差がプラスである請求項3から5のいずれか1項に記載の画像処理装置。
- 前記撮影レンズは、光軸を中心とした円周の放射方向であるタンジェンシャルの解像度が前記放射方向に垂直な接線方向であるサジタルの解像度よりも高い請求項3に記載の画像処理装置。
- 前記座標変換部は、前記撮影画像の周辺部を膨張させる座標変換と前記撮影画像の中心部を圧縮する座標変換とのうち少なくとも一方の座標変換を行う請求項7に記載の画像処理装置。
- 前記撮影レンズの歪曲収差がマイナスである請求項3,7,8のいずれか1項に記載の画像処理装置。
- 前記座標変換部は前記座標変換により前記撮影レンズの歪曲収差を補正する請求項3から9のいずれか1項に記載の画像処理装置。
- 前記解像度強調処理がされた画像に対して前記座標変換の逆変換を行う逆変換部を備える、請求項1から10のいずれか1項に記載の画像処理装置。
- 前記座標変換部は、前記座標変換がされた画像において、前記特定の空間周波数以外の空間周波数における前記サジタルの解像度と前記タンジェンシャルの解像度とのうち高い方の解像度を1としたときに、前記サジタルの解像度と前記タンジェンシャルの解像度とのうち低い方の解像度が0.5以上、好ましくは0.75以上になるような座標変換を行う請求項1から11のいずれか1項に記載の画像処理装置。
- 前記座標変換部は、前記画像取得部が有する撮像素子のナイキスト周波数の4分の1以上2分の1以下の範囲において指定された周波数を前記特定の空間周波数として前記座標変換を行う請求項1から12のいずれか1項に記載の画像処理装置。
- 画像取得部と、座標変換部と、解像度強調処理部と、を備える画像処理装置の画像処理方法であって、
撮影レンズを介して撮影された被写体の撮影画像を前記画像取得部により取得する画像取得工程と、
前記撮影画像を前記座標変換部により座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と前記接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、特定の空間周波数において一致させる座標変換工程と、
前記座標変換がされた画像に対して、前記解像度強調処理部により解像度強調処理を行う解像度強調処理工程と、
を有する画像処理方法。 - 前記撮影画像の前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とを取得する情報取得工程を備え、
前記座標変換工程では前記取得した前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とに基づいて前記座標変換を行う、請求項14に記載の画像処理方法。 - 前記解像度強調処理がされた画像に対して前記座標変換の逆変換を行う逆変換工程をさらに有する、請求項14または15に記載の画像処理方法。
- 前記座標変換工程では、前記画像取得部が有する撮像素子のナイキスト周波数の4分の1以上2分の1以下の範囲において指定された周波数を前記特定の空間周波数として前記座標変換を行う請求項14から16のいずれか1項に記載の画像処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246228 | 2015-12-17 | ||
JP2015246228 | 2015-12-17 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556427A Division JP6417055B2 (ja) | 2015-12-17 | 2016-11-14 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019009822A true JP2019009822A (ja) | 2019-01-17 |
Family
ID=59055999
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556427A Active JP6417055B2 (ja) | 2015-12-17 | 2016-11-14 | 画像処理装置及び画像処理方法 |
JP2018189315A Abandoned JP2019009822A (ja) | 2015-12-17 | 2018-10-04 | 画像処理装置及び画像処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556427A Active JP6417055B2 (ja) | 2015-12-17 | 2016-11-14 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10567647B2 (ja) |
JP (2) | JP6417055B2 (ja) |
CN (1) | CN108370415B (ja) |
WO (1) | WO2017104328A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017104328A1 (ja) | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
JP6598886B2 (ja) * | 2018-01-05 | 2019-10-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置 |
JP6625144B2 (ja) | 2018-01-05 | 2019-12-25 | キヤノン株式会社 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置 |
KR20230120371A (ko) | 2022-02-09 | 2023-08-17 | 삼성전자주식회사 | 이미지 처리 장치 및 이를 이용한 이미지 처리 방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7050205B2 (en) * | 2000-12-26 | 2006-05-23 | Fuji Photo Film Co., Ltd. | Method of correcting image data picked up from photographic film |
WO2004063989A2 (en) * | 2003-01-16 | 2004-07-29 | D-Blur Technologies Ltd. | Camera with image enhancement functions |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
JP4714174B2 (ja) * | 2007-03-27 | 2011-06-29 | 富士フイルム株式会社 | 撮像装置 |
JP5157015B2 (ja) * | 2008-02-04 | 2013-03-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム |
WO2009124276A1 (en) * | 2008-04-03 | 2009-10-08 | Omnivision Cdm Optics, Inc. | Imaging systems including distributed phase modification and associated methods |
JP4942216B2 (ja) | 2008-09-30 | 2012-05-30 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置及びプログラム |
JP5059065B2 (ja) * | 2009-08-07 | 2012-10-24 | シャープ株式会社 | 撮像モジュール、結像レンズ、およびコード読取方法 |
JP5534832B2 (ja) | 2010-01-21 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2015103971A (ja) * | 2013-11-25 | 2015-06-04 | 株式会社東芝 | 固体撮像装置及びデジタルカメラ |
TWI511086B (zh) * | 2014-04-18 | 2015-12-01 | Altek Semiconductor Corp | 鏡頭失真校正方法 |
WO2017104328A1 (ja) | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
-
2016
- 2016-11-14 WO PCT/JP2016/083698 patent/WO2017104328A1/ja active Application Filing
- 2016-11-14 JP JP2017556427A patent/JP6417055B2/ja active Active
- 2016-11-14 CN CN201680073401.7A patent/CN108370415B/zh active Active
-
2018
- 2018-06-15 US US16/009,384 patent/US10567647B2/en active Active
- 2018-10-04 JP JP2018189315A patent/JP2019009822A/ja not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US10567647B2 (en) | 2020-02-18 |
CN108370415A (zh) | 2018-08-03 |
WO2017104328A1 (ja) | 2017-06-22 |
JP6417055B2 (ja) | 2018-10-31 |
JPWO2017104328A1 (ja) | 2018-11-29 |
CN108370415B (zh) | 2019-06-14 |
US20180309926A1 (en) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9892492B2 (en) | Image processing device, imaging apparatus, parameter generating method, image processing method, and non-transitory computer readable recording medium storing a program | |
JP5933105B2 (ja) | 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム | |
JP5779724B2 (ja) | 画像処理装置、撮像装置、コンピュータ及びプログラム | |
US9906732B2 (en) | Image processing device, image capture device, image processing method, and program | |
JP5870231B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2019009822A (ja) | 画像処理装置及び画像処理方法 | |
JP5719480B2 (ja) | 画像変形装置およびその動作制御方法 | |
US9619871B2 (en) | Image processing device, imaging apparatus, image processing method, and program | |
WO2014136323A1 (ja) | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 | |
US9633418B2 (en) | Image processing device, imaging apparatus, image processing method, and program | |
US10559068B2 (en) | Image processing device, image processing method, and program processing image which is developed as a panorama | |
JP5897769B2 (ja) | 撮像装置、キャリブレーションシステム、及びプログラム | |
JP5768193B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
WO2014050191A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190829 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20190905 |