JP2012222465A - 画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

画像処理装置及び画像処理方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
JP2012222465A
JP2012222465A JP2011083996A JP2011083996A JP2012222465A JP 2012222465 A JP2012222465 A JP 2012222465A JP 2011083996 A JP2011083996 A JP 2011083996A JP 2011083996 A JP2011083996 A JP 2011083996A JP 2012222465 A JP2012222465 A JP 2012222465A
Authority
JP
Japan
Prior art keywords
image
correction
target value
position information
correction target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2011083996A
Other languages
English (en)
Other versions
JP2012222465A5 (ja
Inventor
Daisuke Sato
大輔 佐藤
Takashi Ueda
敬史 上田
Atsushi Mizuguchi
淳 水口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011083996A priority Critical patent/JP2012222465A/ja
Priority to US13/431,418 priority patent/US8629925B2/en
Priority to EP12161957.1A priority patent/EP2509302A3/en
Priority to CN2012100884130A priority patent/CN102739956A/zh
Publication of JP2012222465A publication Critical patent/JP2012222465A/ja
Publication of JP2012222465A5 publication Critical patent/JP2012222465A5/ja
Abandoned legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像中心からの位置情報に応じて明るさを暗くしたり歪みを大きくしたりして光学効果を好適に与える。
【解決手段】補正目標値算出部105は、あらかじめ決められた基準目標値、切り出し位置情報、画像データから、補正目標値を算出する。補正値算出部107は、補正目標値算出部105で算出した補正目標値を、レンズの種類や絞りなどの光学データに基づいて補正して、画像データに対して実際に適用する補正値を算出する。画像補正部108は、切り出し前の画像データに対して、算出された補正値を適用して、明るさ補正や歪み補正などの光学補正を行なう。
【選択図】 図1

Description

本明細書で開示する技術は、例えばディジタルカメラで撮影した画像やその他の画像に補正を加えて光学効果を与える画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。
フィルムや感光板を使って撮影する銀塩カメラに代わって、CCD(Charge Coupled Device)やCMOS(ComplementaryMetal Oxide Semiconductor)などの固体撮像素子からなるイメージ・センサーで捕捉した画像をディジタル符号化するディジタルカメラが広範に普及している。ディジタルカメラによれば、ディジタル符号化された画像をメモリーに記憶した後、さらにコンピューターによる画像処理や画像管理を行なうことができる。また、ディジタルカメラによれば、フィルムの寿命という問題がないという利点がある。
例えば、ディジタルカメラの中には、撮像画像の一部を切り取るトリミング機能や、画像の一部を切り出して記録するディジタル・ズーム機能などを搭載した製品がある。
また近年では、構成が簡単で安価なトイカメラ(Toy Camera)が人気を博し、愛好家や芸術家の間でも支持されつつある。このような流行とも相俟って、ディジタルカメラの撮影画像をトイカメラで撮影したような画像に補正するモードを備えた製品もある。トイカメラは、一般的な製品と比べ、撮影した画像に歪みやボケが生じがちである。したがって、ディジタルカメラにおけるトイカメラ・モードでは、本来の品質の良い撮影画像を、周辺光量が落ちた画像へと補正を行なう。
このようなトイカメラ・モードでは、撮影された画像信号に対し、画像中心からの位置情報に応じて明るさを暗くするような処理が必要である。ところが、切り出しを行なわない画像と同様に画像中心からの位置情報に応じた明るさの補正を加えた後に画像の切り出しを行なうと、切り出しを行なわない画像に比べて周辺光量の落ち方が変わってしまう。このため、トリミング処理やディジタル・ズームの処理を行なった場合に、所望の光学効果を得ることができないという問題がある。特に、トリミング処理によって、切り出し後の画像の中心位置が切り出し前の画像の中心位置と異なる場合、切り出しを行なわない画像と同様の補正を行なってから画像を切り出すと、中心位置がずれたような画像になってしまう。
また、トイカメラ・モードとして、画像中心からの位置情報に応じて明るさではなく歪みを大きくする補正を加える場合も同様に、補正した後に画像の切り出しを行なうと、同様に、補正による光学効果が切り出し前の画像と異なってしまう。
特開2009−296031号公報
本明細書で開示する技術の目的は、補正を加えて光学効果を好適に与えることができ、さらには、画像中心からの位置情報に応じて明るさを暗くしたり歪みを大きくしたりして光学効果を好適に与えることができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
本明細書で開示する技術のさらなる目的は、切り出し後の画像の中心位置が切り出し前の画像の中心位置との相違に拘わらず、切り出し後の画像に対して切り出しを行なわない画像と同様の光学効果を与えるよう、切り出し前の画像に対して画像中心からの位置情報に応じた補正を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
画像信号を取得する画像取得部と、
画像信号から画像の切り出しを行なう切り出し位置情報を取得する切り出し位置情報取得部と、
画像信号に対して画像中心からの位置情報に応じた補正を行なうための補正目標値を、前記切り出し位置情報に基づいて算出する補正目標値算出部と、
前記補正目標値に基づいて画像信号を補正する画像補正部と、
前記切り出し位置情報に基づいて画像を切り出す画像切り出し部と、
を具備する画像処理装置である。
本願の請求項2に記載される技術によれば、請求項1に記載の画像処理装置の補正目標値算出部は、切り出しを行なわない画像信号を補正する基準目標値から、前記切り出し位置情報に基づいて切り出しを行なう画像信号を補正するための補正目標値を算出するように構成されている。
本願の請求項3に記載される技術によれば、請求項2に記載の画像処理装置の補正目標値算出部は、切り出しを行なわない画像信号を前記基準目標値に基づいて補正したときと同じ補正の効果が得られるよう、補正目標値を算出するように構成されている。
本願の請求項4に記載される技術によれば、請求項1に記載の画像処理装置において、切り出し位置情報は、切り出し後の画像の大きさの情報を含んでいる。そして、補正目標値算出部は、切り出し前の画像の大きさと切り出し後の画像の大きさの比較結果に基づいて補正目標値を算出するように構成されている。
本願の請求項5に記載される技術によれば、請求項1に記載の画像処理装置において、切り出し位置情報は、切り出し後の画像の中心位置の情報を含んでいる。そして、補正目標値算出部は、切り出し前の画像の中心位置と切り出し後の画像の中心位置の差分に基づいて補正目標値を算出するよう構成されている。
本願の請求項6に記載される技術によれば、請求項1に記載の画像処理装置の補正目標値算出部は、画像中心からの位置情報に応じて光量を落とす明るさ補正を行なうための補正目標値を算出するように構成されている。
本願の請求項7に記載される技術によれば、請求項6に記載の画像処理装置の補正目標値算出部は、切り出し前の画像信号の明るさの標準偏差と切り出し後の画像信号の明るさの標準偏差との比較結果に基づいて補正目標値を修正するように構成されている。
本願の請求項8に記載される技術によれば、請求項1に記載の画像処理装置の補正目標値算出部は、画像中心からの位置情報に応じて歪み量を強調する歪み強調補正を行なうための補正目標値を算出するように構成されている。
本願の請求項9に記載される技術によれば、請求項1に記載の画像処理装置の画像取得部は、撮像部で撮影した画像信号を取得するように構成されている。また、画像処理装置は、撮像部における光学データを取得する光学データ取得部と、光学データに基づいて補正目標値を補正した補正値を算出する補正値算出部をさらに備えている。そして、画像補正部は、前記光学データに基づいて補正目標値を補正した補正値を用いて画像信号を補正するように構成されている。
本願の請求項10に記載される技術によれば、請求項9に記載の画像処理装置の光学データ取得部は、前記撮像部に取り付けられたレンズの種類及び前記撮像部による撮像時の絞りを含む光学データを取得し、補正値算出部は、画像中心からの位置情報に応じて光量を落とす明るさ補正を行なうための補正目標値を、光学データとして取得されたレンズの種類及び絞りに基づいて補正して、補正値を算出するように構成されている。
本願の請求項11に記載される技術によれば、請求項9に記載の画像処理装置の光学データ取得部は、前記撮像部に取り付けられたレンズの種類及び前記撮像部による撮像時の焦点距離を含む光学データを取得し、補正値算出部は、画像中心からの位置情報に応じて歪みを強調する歪み強調補正を行なうための補正目標値を、光学データとして取得されたレンズの種類及び焦点距離に基づいて補正して、補正値を算出するように構成されている。
また、本願の請求項12に記載の技術は、
画像信号を取得する画像取得ステップと、
画像信号から画像の切り出しを行なう切り出し位置情報を取得する切り出し位置情報取得ステップと、
画像信号に対して画像中心からの位置情報に応じた補正を行なうための補正目標値を、前記切り出し位置情報に基づいて算出する補正目標値算出ステップと、
前記補正目標値に基づいて画像信号を補正する画像補正ステップと、
前記切り出し位置情報に基づいて画像を切り出す画像切り出しステップと、
を有する画像処理方法である。
また、本願の請求項13に記載の技術は、
画像信号を取得する画像取得部、
画像信号から画像の切り出しを行なう切り出し位置情報を取得する切り出し位置情報取得部、
画像信号に対して画像中心からの位置情報に応じた補正を行なうための補正目標値を、前記切り出し位置情報に基づいて算出する補正目標値算出部、
前記補正目標値に基づいて画像信号を補正する画像補正部、
前記切り出し位置情報に基づいて画像を切り出す画像切り出し部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
本願の請求項13に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項13に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項1に係る画像処理装置と同様の作用効果を得ることができる。
本明細書で開示する技術によれば、補正を加えて光学効果を好適に与えることができ、さらには、画像中心からの位置情報に応じて明るさを暗くしたり歪みを大きくしたりして光学効果を好適に与えることができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
本明細書で開示する技術によれば、切り出し後の画像の中心位置が切り出し前の画像の中心位置との相違に拘わらず、切り出し後の画像に対して切り出しを行なわない画像と同様の光学効果を与えるよう、切り出し前の画像に対して画像中心からの位置情報に応じた補正を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術の一実施形態に係るディジタルスチルカメラ100のハードウェア構成を模式的に示した図である。 図2は、ディジタルスチルカメラ100内において、取得画像に対して光学効果を与えるための画像補正を施した後に画像切り出しを行なうための処理手順を示したフローチャートである。 図3Aは、基準目標値と同じ周辺光量の落ち方を実現する補正目標値を算出する方法を説明するための図である。 図3Bは、切り出し後の画像の中心位置に拘わらず、基準目標値と同じ周辺光量の落ち方を実現する補正目標値を算出する方法を説明するための図である。 図4Aは、基準目標値並びに補正目標値の具体例を示した図である。 図4Bは、基準目標値並びに補正目標値の具体例を示した図である。 図5Aは、切り出し前の画像と中心位置が一致するように切り出し後の画像のサイズ及び位置が設定された場合における補正目標値g(x)をレンズや絞りに因る周辺光量落ち量h(x)と併せて示した図である。 図5Bは切り出し後の画像の中心位置が切り出し前の画像からずれている場合における切り出し後の画像の中心位置が切り出し前の画像からずれている場合における 図6Aは、画像切り出しを行なわない場合の、画像補正により周辺光量が落ちた様子を示した図である。 図6Bは、画像切り出しを行なう場合の、画像補正により周辺光量が落ちた様子を示した図である。 図6Cは、画像切り出しを行なう場合の、画像補正により周辺光量が落ちた様子を示した図である。 図7は、ディジタルスチルカメラ100内において、取得画像に対して光学効果を与えるための画像補正を施した後に画像切り出しを行なうための処理手順を示したフローチャートである。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、本明細書で開示する技術の一実施形態に係るディジタルスチルカメラ100のハードウェア構成を模式的に示している。以下、各部について説明する。
撮像部101は、CCDやCMOSなどのイメージ・センサーからなり、受光光漁に応じた画像信号を出力する。
画像データ取得部102は、撮像部101から出力された画像信号に対して、CDS(Correlated Double Sampling:相関2重サンプリング)やAGC(Automatic Gain Control:自動利得制御)などの信号処理を施して、ディジタル信号に変換する。
切り出し処理設定部103は、ユーザーからの指示により、撮像部101による撮像画像に対するディジタル・ズーム倍率やトリミングのサイズ、位置を設定する。
切り出し位置情報取得部104は、切り出し処理設定部103を介してユーザーの指示により決定した切り出し画像の位置情報を取得する。
補正目標値算出部105は、あらかじめ決められた基準目標値、切り出し位置情報、画像データから、補正目標値を算出する。基準目標値は、切り出す前の画像に対して所定の光学効果を与えるための、切り出し前の画像の画像中心からの位置情報に応じて基準となる補正の目標値である。なお、ここで言う「画像中心からの位置情報」は、光軸を基準とした位置情報であってもよい。
光学データ取得部106は、撮像部101で使用するレンズの種類や絞りによって変わる光学データを取得する。
補正値算出部107は、補正目標値算出部105で算出した補正目標値を、光学データ取得部106で取得した光学データに基づいて補正して、画像データに対して実際に適用する補正値を算出する。
画像補正部108は、切り出し前の画像データに対して、補正値算出部107で算出した補正値を適用して、明るさ補正や歪み補正などの光学補正を行なう。
画像切り出し部109は、切り出し位置情報取得部104で取得した切り出し位置情報に基づいて、画像補正部108で光学補正を行なった後の画像データから切り出し画像を生成する。
エンコード部110は、切り出し画像に対して、JPEG(Joint Photographic Experts Group)などの画像圧縮若しくは画像符号化処理を適用する。
出力部111は、エンコード部110は符号化圧縮された画像データを出力する。出力先は例えばメモリーカードであり、出力部111は、メモリーカードに画像データを記録する。
図2には、図1に示したディジタルスチルカメラ100内において、画像データ取得部102で取得した画像に対して、光学効果を与えるための画像補正を施した後に切り出し位置情報取得部104で取得した切り出し位置情報に従って画像切り出しを行なうための処理手順をフローチャートの形式で示している。但し、図2に示す処理手順では、光学効果として、切り出し後の画像に対して画像中心からの位置情報に応じて明るさを暗くして周辺光量を落とす画像補正を行なう。
まず、ユーザーがディジタルカメラ100を周辺光量落ちモードに設定したかどうかをチェックする(ステップS201)。周辺光量落ちモードに設定されていないときには(ステップS201のNo)、後続のステップをすべてスキップして、本処理ルーチンを終了する。周辺光量落ちモードでない場合には、他の画像処理が施される場合もある。
一方、周辺光量落ちモードに設定されているときには(ステップS201のYes)、続いて、ユーザーの指示により画像切り出しを行なうかどうかをチェックする(ステップS202)。
ユーザーの指示により画像切り出しを行なう場合には(ステップS202のYes)、切り出し位置情報取得部104において、ユーザーの指示、又は、自動的に決められる画像の切り出し位置情報を取得する(ステップS203)。画像の切り出し位置情報として、例えば、切り出し後の画像の中心座標、切り出し前の画像サイズ、切り出し後の画像サイズを取得する。
次いで、補正目標値算出部105は、切り出し位置情報取得部104で取得した画像の切り出し位置情報と、あらかじめ決められた基準目標値とから、切り出し前の画像の画像中心からの位置情報に応じた補正目標値を算出する(ステップS204)。
ここで、補正目標値算出部105で補正目標値を算出する方法について説明しておく。
補正目標値算出部105は、切り出し後の画像サイズにおいても、切り出しを行なわない画像に対して基準目標値により補正を行なったときと同じような周辺光量の落ち方となるような補正目標値を算出する。
基準目標値と同じ周辺光量の落ち方を実現する補正目標値を算出する方法について、図3Aを参照しながら説明する。同図上に示すように、切り出し前の画像と中心位置が一致するように、切り出し処理設定部103で、切り出し後の画像のサイズ及び位置が設定されたとする。また、同図下には、画像の中心位置における明るさを100%として、周辺光量の落ち方を示している。上述したように、画像中心からの位置情報xに応じた光量の落ち方に関する基準目標値f(x)があらかじめ決められている。切り出し後の画像において周辺光量の落ち方が切り出し前の画像と同じとなるようにするには、切り出しを行なう場合の画像中心からの位置情報xに応じた光量の落ち方に関する補正目標値g(x)を、下式(1)のように算出するようにすればよい。但し、S0は切り出し前の画像サイズ(画像中心からの位置情報の最大値)、S1は切り出し後の画像サイズとする。
補正目標値算出部105は、あらかじめ決められた基準目標値f(x)を保持しており、切り出し位置し情報取得部104で取得した切り出し画像の位置情報(切り出し後の画像のサイズ及び中心位置)に基づいて、補正目標値g(x)を算出する。補正目標値算出部105は、切り出し後の画像の画像サイズ毎にあらかじめ算出された補正目標値g(x)を記述した補正テーブルを不揮発的に保持しておき、切り出し処理を行なう際に補正テーブルを参照するようにしてもよい。
また、補正目標値算出部105は、切り出し後の画像の中心位置が切り出し前の画像の中心位置とどのような位置関係にあるかに拘わらず、基準目標値と同じ周辺光量の落ち方を実現する補正目標値を算出する。
切り出し後の画像の中心位置に拘わらず、基準目標値と同じ周辺光量の落ち方を実現する補正目標値を算出する方法について、図3Bを参照しながら説明する。同図上に示すように、切り出し処理設定部103では、切り出し前の画像に対して中心位置がΔxだけずれるように、切り出し後の画像のサイズ及び位置が設定されたとする。上述したように、画像中心からの位置情報xに応じた光量の落ち方に関する基準目標値f(x)があらかじめ決められている。中心位置がずれていても、切り出し後の画像において周辺光量の落ち方が切り出し前の画像と同じとなるようにするには、切り出しを行なう場合の画像中心からの位置情報xに応じた光量の落ち方に関する補正目標値g(x)を、下式(2)のように算出するようにすればよい。但し、S0は切り出し前の画像サイズ(画像中心からの位置情報の最大値)、S1は切り出し後の画像サイズとする。
補正目標値算出部105は、あらかじめ決められた基準目標値f(x)を保持しており、切り出し位置し情報取得部104で取得した切り出し画像の位置情報(切り出し後の画像のサイズ及び中心位置)に基づいて、上式(1)又は(2)に示すように補正目標値g(x)を算出する。補正目標値算出部105は、切り出し後の画像の画像サイズ毎にあらかじめ算出された補正目標値g(x)を記述した補正テーブルを不揮発的に保持しておき、切り出し処理を行なう際に補正テーブルを参照するようにしてもよい。
また、補正値目標算出部105は、補正目標値の算出に、画像データの輝度分布情報を用いるようにしてもよい。周辺光量落ちの効果は、均一な明るさの被写体でより分かり易くなる。そのため、切り出し前の画像データにおける明るさの標準偏差σ0と、切り出し後に相当する画像データにおける明るさの標準偏差σ1とを比較し、上記のように切り出し後の画像サイズに基づいて算出された補正目標値に対し、この比較結果に基づいて修正を行なうようにしてもよい。例えば、切り出し前の画像データにおける明るさの標準偏差σ0と、切り出し後に相当する画像データにおける明るさの標準偏差σ1とを用いて、切り出しを行なう場合の画像中心からの位置情報xに応じた光量の落ち方に関する補正目標値g(x)を、下式(3)のように算出するようにしてもよい。
画像中心からの位置情報xに応じた基準目標値f(x)の一例として、下式(4)を挙げることができる。但し、画像の中心位置をx=0、画像中心からの位置情報の最大値S0を14とする。
上式(4)において、yは、周辺光量の落ち方を決めるパラメーターである。図4Aには、y=12としたときの基準目標値f(x)を実線で示している。
中心位置を切り出し前の画像と一致させ、トリミング・サイズを半分(すなわち、切り出し後の画像のサイズS1を7)として画像の切り出しを行なう場合、補正目標値g1(x)は、上式(3)を基に、下式(5)のように求められる。図4Aには、この時の補正目標値g1(x)を破線で示している。
また、トリミング・サイズを半分(すなわち、切り出し後の画像のサイズを7)とし、中心位置を切り出し前の画像からΔx=3だけ移動させて画像の切り出しを行なう場合、補正目標値g2(x)は、上式(4)を基に、下式(6)のように求められる。図4Aには、このときの補正目標値g2(x)を一点鎖線で示している。
切り出し前の画像データにおける明るさの標準偏差σ0と、切り出し後に相当する画像データにおける明るさの標準偏差σ1との比較結果を基に、補正目標値g2(x)を修正すると、下式(7)に示す通りとなる。
なお、基準目標値や補正目標値は、上式(4)、(5)並びに図4Aに示したように曲線である必要はない。例えば図4Bに示すように、直線で表わされる基準目標値、補正目標値を使用するようにしてもよい(但し、図中の実線は基準目標値、破線は中心位置が同じ切り出し画像の補正目標値、一点鎖線は中心位置がずれた切りだし画像の補正目標値)。
再び図2を参照して、取得画像に対して画像補正を行なう処理手順について説明する。
撮影画像の光量はレンズを通過する際に落ち、また、絞りによって周辺光量が落ちる。補正値算出部107は、光学データ取得部106から撮像部101で使用するレンズの種類や絞りによって変わる光学データを取得すると、レンズや絞りから決まる周辺光量落ち量h(x)を算出する(ステップS205)。
次いで、補正値算出部107は、ステップS204において、補正目標値算出部105が算出した補正目標値g(x)を、ステップS205で算出したレンズや絞りに因る周辺光量落ち量h(x)に基づいて修正して、各画像中心からの位置情報xにおける補正値g´(x)を下式(8)に示すように算出する。修正された補正値g´(x)が画像データに対して実際に適用する補正値となる。
図5Aには、切り出し前の画像と中心位置が一致するように切り出し後の画像のサイズ及び位置が設定された場合における、ステップS204で算出された補正目標値g(x)を、ステップS205で算出したレンズや絞りに因る周辺光量落ち量h(x)と併せて示している。但し、画像の中心位置における明るさを100%として、周辺光量の落ち方を示している。また、図5Bには、切り出し後の画像の中心位置が切り出し前の画像からずれている場合における、ステップS204で算出された補正目標値g(x)を、ステップS205で算出したレンズや絞りに因る周辺光量落ち量h(x)と併せて示している。
得られる補正値g´(x)は、0〜1の間の値であり、補正値1は光量を補正しないことに相当する。例えば、画像中心からの位置情報xでの補正目標値g(x)=0.2、周辺光量落ち量h(x)=0.8であれば、補正値g´(x)=0.2/0.8=0.25となる。
但し、レンズや絞りから決まる周辺光量落ち量h(x)による補正目標値g(x)の補正は必須ではなく、ステップS204で算出された補正目標値g(x)をそのまま画像に適用するようにしてもよい。この場合、ステップS205、S206をスキップする。あるいは、撮像部101で使用しているレンズの種類を特定できないなど、ステップS205で光学データを取得できない場合には、ステップS204で算出された補正目標値g(x)をそのまま画像に適用するようにすればよい。
次いで、画像補正部108は、画像データ取得部102で取得した画像データに対して、ステップS206で算出した補正値g´(x)を適用して、周辺光量落ちの画像補正を行なう(ステップS207)。あるいは、画像データにステップS204で算出した補正目標値g(x)を適用して画像補正を行なう。
そして、画像切り出し部109は、切り出し位置情報取得部104で取得した切り出し位置情報に基づいて、画像補正部108で光学補正を行なった後の画像データから切り出し画像を生成して(ステップS208)、本処理ルーチンを終了する。但し、ステップS207とステップS208を実行する順番を入れ替えることが可能である。
また、ユーザーの指示により画像切り出しを行なわない場合には(ステップS202のNo)、補正目標値算出部105は、あらかじめ決められた基準目標値を補正目標値に設定する(ステップS209)。
次いで、補正値算出部107は、光学データ取得部106から撮像部101で使用するレンズの種類や絞りによって変わる光学データを取得して、レンズや絞りから決まる周辺光量落ち量を算出する(ステップS210)。
次いで、補正値算出部107は、周辺光量落ち量に基づいて補正目標値を修正する(ステップS211)。
そして、画像補正部108は、画像データ取得部102で取得した画像データに対して、ステップS211で算出した補正値を適用して、周辺光量落ちの画像補正を行ない(ステップS212)、本処理ルーチンを終了する。
図6Aには、画像切り出しを行なわない場合の(ステップS202のNo)、画像補正により周辺光量が落ちた様子を示している。また、図6B及び図6Cには、図6C中で破線並びに一点鎖線で囲んだ領域でそれぞれ切り出しを行なう場合の(ステップS202のYes)画像補正により周辺光量が落ちた様子を示している。以上の処理を経ることによって、切り出しを行なった画像において、切り出しを行なわない画像と同様の周辺光量落ちの効果が得られることを理解できよう。
また、図7には、ディジタルスチルカメラ100内において、取得画像に対して光学効果を与えるための画像補正を施した後に画像切り出しを行なうための処理手順をフローチャートの形式で示している。但し、図7に示す処理手順では、光学効果として、切り出し後の画像に対して画像中心からの位置情報に応じて歪みを強調する画像補正を行なう。
まず、ユーザーがディジタルカメラ100を歪み強調モードに設定したかどうかをチェックする(ステップS701)。歪み強調モードに設定されていないときには(ステップS701のNo)、後続のステップをすべてスキップして、本処理ルーチンを終了する。歪み強調モードでない場合には、他の画像処理が施される場合もある。
一方、歪み強調モードに設定されているときには(ステップS701のYes)、続いて、ユーザーの指示により画像切り出しを行なうかどうかをチェックする(ステップS702)。
ユーザーの指示により画像切り出しを行なう場合には(ステップS702のYes)、切り出し位置情報取得部104において、ユーザーの指示、又は、自動的に決められる画像の切り出し位置情報を取得する(ステップS703)。
次いで、補正目標値算出部105は、切り出し位置情報取得部104で取得した画像の切り出し位置情報と、あらかじめ決められた基準目標値とから、切り出し前の画像の画像中心からの位置情報に応じた補正目標値を算出する(ステップS704)。
画像中心からの位置情報xに応じた歪み強調に関する基準目標値f(x)があらかじめ決められているとすると、切り出しを行なう場合の画像中心からの位置情報xに応じた歪み強調に関する補正目標値g(x)を、下式(9)のように算出するようにすればよい。但し、Δxは切り出し前の画像に対する中心位置のずれ量、S0は切り出し前の画像サイズ(画像中心からの位置情報の最大値)、S1は切り出し後の画像サイズとする。
補正目標値算出部105は、あらかじめ決められた基準目標値f(x)を保持しており、切り出し位置し情報取得部104で取得した切り出し画像の位置情報(切り出し後の画像のサイズ及び中心位置)に基づいて、上式(9)に示すように補正目標値g(x)を算出する。補正目標値算出部105は、切り出し後の画像の画像サイズ毎にあらかじめ算出された補正目標値g(x)を記述した補正テーブルを不揮発的に保持しておき、切り出し処理を行なう際に補正テーブルを参照するようにしてもよい。
レンズを通過する際に撮影画像に歪みが生じ、また、撮影時の焦点距離に応じて歪み量が変わる。補正値算出部107は、光学データ取得部106から撮像部101で使用するレンズの種類や焦点距離から決まる歪曲収差情報を取得すると、レンズや焦点距離から決まる、画像中心からの位置情報xに応じた歪曲収差量h(x)を算出する(ステップS705)。
次いで、補正値算出部107は、ステップS704において、補正目標値算出部105が算出した補正目標値g(x)を、ステップS705で算出したレンズや焦点距離に因る歪曲収差量h(x)に基づいて修正して、各画像中心からの位置情報xにおける補正値g´(x)を下式(10)に示すように算出する。修正された補正値g´(x)が画像データに対して実際に適用する補正値となる。
但し、レンズや焦点距離から決まる歪曲収差量h(x)による補正目標値g(x)の補正は必須ではなく、ステップS704で算出された補正目標値g(x)をそのまま画像に適用するようにしてもよい。この場合、ステップS705、S706をスキップする。あるいは、撮像部101で使用しているレンズの種類を特定できない、撮影時の焦点距離が記録されていないなど、ステップS205で光学データを取得できない場合には、ステップS704で算出された補正目標値g(x)をそのまま画像に適用するようにすればよい。
次いで、画像補正部108は、画像データ取得部102で取得した画像データに対して、ステップS706で算出した補正値g´(x)を適用して、歪み強調の画像補正を行なう(ステップS707)。あるいは、画像データにステップS704で算出した補正目標値g(x)を適用して画像補正を行なう。
そして、画像切り出し部109は、切り出し位置情報取得部104で取得した切り出し位置情報に基づいて、画像補正部108で光学補正を行なった後の画像データから切り出し画像を生成して(ステップS708)、本処理ルーチンを終了する。但し、ステップS707とステップS708を実行する順番を入れ替えることが可能である。
また、ユーザーの指示により画像切り出しを行なわない場合には(ステップS702のNo)、補正目標値算出部105は、あらかじめ決められた基準目標値を補正目標値に設定する(ステップS709)。
次いで、補正値算出部107は、光学データ取得部106から撮像部101で使用するレンズの種類や焦点距離によって変わる光学データを取得して、レンズや絞りから決まる歪曲収差量を算出する(ステップS710)。
次いで、補正値算出部107は、歪曲収差量に基づいて補正目標値を修正する(ステップS711)。
そして、画像補正部108は、画像データ取得部102で取得した画像データに対して、ステップS711で算出した補正値を適用して、歪み強調の画像補正を行ない(ステップS712)、本処理ルーチンを終了する。
上述したように、本明細書で提案する技術によれば、周辺光量を低下させる補正や歪み強調補正を行なった画像に対して切りだし処理を実施しても、切り出し処理を行なわない画像と同様の光学補正の効果を得ることが可能である。さらに、切り出し処理により中心位置がずれた場合であっても、切り出し前の画像と同様の光学補正の効果を得ることができる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、ディジタルスチルカメラで撮影した静止画像に対して画像補正を行なう実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は、これに限定されるものではなく、動画像や、コンピューター・グラフぃクスなどにより生成した人工画像にも適用することができる。
要するに、例示という形態で本明細書において提案する技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で提案する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
100…ディジタルスチルカメラ
101…撮像部
102…画像データ取得部
103…切り出し処理設定部
104…切り出し位置情報取得部
105…補正目標値算出部
106…光学データ取得部
107…補正値算出部
108…画像補正部
109…画像切り出し部
110…エンコード部
111…出力部

Claims (13)

  1. 画像信号を取得する画像取得部と、
    画像信号から画像の切り出しを行なう切り出し位置情報を取得する切り出し位置情報取得部と、
    画像信号に対して画像中心からの位置情報に応じた補正を行なうための補正目標値を、前記切り出し位置情報に基づいて算出する補正目標値算出部と、
    前記補正目標値に基づいて画像信号を補正する画像補正部と、
    前記切り出し位置情報に基づいて画像を切り出す画像切り出し部と、
    を具備する画像処理装置。
  2. 前記補正目標値算出部は、切り出しを行なわない画像信号を補正する基準目標値から、前記切り出し位置情報に基づいて切り出しを行なう画像信号を補正するための補正目標値を算出する、
    請求項1に記載の画像処理装置。
  3. 前記補正目標値算出部は、切り出しを行なわない画像信号を前記基準目標値に基づいて補正したときと同じ補正の効果が得られるよう、補正目標値を算出する、
    請求項2に記載の画像処理装置。
  4. 前記切り出し位置情報は、切り出し後の画像の大きさの情報を含み、
    前記補正目標値算出部は、切り出し前の画像の大きさと切り出し後の画像の大きさの比較結果に基づいて補正目標値を算出する、
    請求項1に記載の画像処理装置。
  5. 前記切り出し位置情報は、切り出し後の画像の中心位置の情報を含み、
    前記補正目標値算出部は、切り出し前の画像の中心位置と切り出し後の画像の中心位置の差分に基づいて補正目標値を算出する、
    請求項1に記載の画像処理装置。
  6. 前記補正目標値算出部は、画像中心からの位置情報に応じて光量を落とす明るさ補正を行なうための補正目標値を算出する、
    請求項1に記載の画像処理装置。
  7. 前記補正目標値算出部は、切り出し前の画像信号の明るさの標準偏差と切り出し後の画像信号の明るさの標準偏差との比較結果に基づいて補正目標値を修正する、
    請求項6に記載の画像処理装置。
  8. 前記補正目標値算出部は、画像中心からの位置情報に応じて歪み量を強調する歪み強調補正を行なうための補正目標値を算出する、
    請求項1に記載の画像処理装置。
  9. 前記画像取得部は、撮像部で撮影した画像信号を取得し、
    前記撮像部における光学データを取得する光学データ取得部と、
    前記光学データに基づいて補正目標値を補正した補正値を算出する補正値算出部と、
    をさらに備え、
    前記画像補正部は、前記光学データに基づいて補正目標値を補正した補正値を用いて画像信号を補正する、
    請求項1に記載の画像処理装置。
  10. 前記光学データ取得部は、前記撮像部に取り付けられたレンズの種類及び前記撮像部による撮像時の絞りを含む光学データを取得し、
    前記補正値算出部は、画像中心からの位置情報に応じて光量を落とす明るさ補正を行なうための補正目標値を、光学データとして取得されたレンズの種類及び絞りに基づいて補正して、補正値を算出する、
    請求項9に記載の画像処理装置。
  11. 前記光学データ取得部は、前記撮像部に取り付けられたレンズの種類及び前記撮像部による撮像時の焦点距離を含む光学データを取得し、
    前記補正値算出部は、画像中心からの位置情報に応じて歪みを強調する歪み強調補正を行なうための補正目標値を、光学データとして取得されたレンズの種類及び焦点距離に基づいて補正して、補正値を算出する、
    請求項9に記載の画像処理装置。
  12. 画像信号を取得する画像取得ステップと、
    画像信号から画像の切り出しを行なう切り出し位置情報を取得する切り出し位置情報取得ステップと、
    画像信号に対して画像中心からの位置情報に応じた補正を行なうための補正目標値を、前記切り出し位置情報に基づいて算出する補正目標値算出ステップと、
    前記補正目標値に基づいて画像信号を補正する画像補正ステップと、
    前記切り出し位置情報に基づいて画像を切り出す画像切り出しステップと、
    を有する画像処理方法。
  13. 画像信号を取得する画像取得部、
    画像信号から画像の切り出しを行なう切り出し位置情報を取得する切り出し位置情報取得部、
    画像信号に対して画像中心からの位置情報に応じた補正を行なうための補正目標値を、前記切り出し位置情報に基づいて算出する補正目標値算出部、
    前記補正目標値に基づいて画像信号を補正する画像補正部、
    前記切り出し位置情報に基づいて画像を切り出す画像切り出し部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
JP2011083996A 2011-04-05 2011-04-05 画像処理装置及び画像処理方法、並びにコンピューター・プログラム Abandoned JP2012222465A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011083996A JP2012222465A (ja) 2011-04-05 2011-04-05 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US13/431,418 US8629925B2 (en) 2011-04-05 2012-03-27 Image processing apparatus, image processing method, and computer program
EP12161957.1A EP2509302A3 (en) 2011-04-05 2012-03-29 Image processing apparatus, image processing method, and computer program
CN2012100884130A CN102739956A (zh) 2011-04-05 2012-03-29 图像处理设备、图像处理方法和计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011083996A JP2012222465A (ja) 2011-04-05 2011-04-05 画像処理装置及び画像処理方法、並びにコンピューター・プログラム

Publications (2)

Publication Number Publication Date
JP2012222465A true JP2012222465A (ja) 2012-11-12
JP2012222465A5 JP2012222465A5 (ja) 2014-03-27

Family

ID=45936977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011083996A Abandoned JP2012222465A (ja) 2011-04-05 2011-04-05 画像処理装置及び画像処理方法、並びにコンピューター・プログラム

Country Status (4)

Country Link
US (1) US8629925B2 (ja)
EP (1) EP2509302A3 (ja)
JP (1) JP2012222465A (ja)
CN (1) CN102739956A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5933306B2 (ja) * 2012-03-22 2016-06-08 オリンパス株式会社 撮像装置
US10230957B2 (en) * 2016-03-22 2019-03-12 Cyberlink Corp. Systems and methods for encoding 360 video
DE102020108514A1 (de) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen eines Bildaufnahmefehlers

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914787A (en) * 1992-11-19 1999-06-22 Olympus Optical Co., Ltd. Electronic imaging apparatus
JP2002084451A (ja) * 2000-09-11 2002-03-22 Minolta Co Ltd デジタル撮像装置、画像処理システム、記録媒体、およびデジタル撮像方法
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP3680827B2 (ja) * 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
EP2461576B1 (en) * 2002-12-27 2016-05-11 Nikon Corporation Image processing apparatus and image processing program
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP4341297B2 (ja) * 2003-05-23 2009-10-07 株式会社ニコン 信号処理装置、および電子カメラ
US20080022202A1 (en) * 2006-07-19 2008-01-24 Craig Murray D Image inversion
JP5103279B2 (ja) * 2008-05-29 2012-12-19 株式会社ジャパンディスプレイイースト 液晶表示装置
JP5450984B2 (ja) * 2008-06-02 2014-03-26 キヤノン株式会社 情報処理装置、撮像装置、制御方法、及びプログラム
US8223229B2 (en) * 2009-07-02 2012-07-17 Nethra Imaging Inc Lens shading correction for autofocus and zoom lenses
JP2011083996A (ja) 2009-10-16 2011-04-28 Canon Inc 吐出検査方法、及び、吐出検査用記録媒体
JP6008239B2 (ja) * 2011-09-16 2016-10-19 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
US8629925B2 (en) 2014-01-14
US20120257076A1 (en) 2012-10-11
CN102739956A (zh) 2012-10-17
EP2509302A2 (en) 2012-10-10
EP2509302A3 (en) 2013-07-10

Similar Documents

Publication Publication Date Title
US8947523B2 (en) Image processing apparatus and associated methodology for blurring digital images
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP4665718B2 (ja) 撮影装置
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5087856B2 (ja) 電子カメラ
JP4935302B2 (ja) 電子カメラおよびプログラム
JP2009212853A (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
CN111726521B (zh) 终端的拍照方法、拍照装置和终端
JP2015004922A (ja) 焦点調節装置及び撮像装置
KR101728042B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
CN110177212B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2017098631A (ja) 画像合成処理装置
JP2018037857A5 (ja) 画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体
JP4360369B2 (ja) 電子カメラ
JP2010279054A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2012222465A (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP2013195577A (ja) 撮像装置、撮像方法及びプログラム
US20120188437A1 (en) Electronic camera
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2016092513A (ja) 画像取得装置、ブレ軽減方法及びプログラム
JP2012222465A5 (ja)
JP6351255B2 (ja) 撮像装置及び撮像方法、プログラム、記憶媒体
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
JP4787126B2 (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20140916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140924