JP2010166512A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010166512A
JP2010166512A JP2009009125A JP2009009125A JP2010166512A JP 2010166512 A JP2010166512 A JP 2010166512A JP 2009009125 A JP2009009125 A JP 2009009125A JP 2009009125 A JP2009009125 A JP 2009009125A JP 2010166512 A JP2010166512 A JP 2010166512A
Authority
JP
Japan
Prior art keywords
distortion
image
unit
input image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009009125A
Other languages
English (en)
Inventor
Shinpei Fukumoto
晋平 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009009125A priority Critical patent/JP2010166512A/ja
Priority to CN201010002526A priority patent/CN101783885A/zh
Priority to US12/689,642 priority patent/US8451336B2/en
Publication of JP2010166512A publication Critical patent/JP2010166512A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】誤った歪み補正処理による画像の劣化を抑制することを可能とする撮像装置を提供する
【解決手段】歪み補正部６１は、撮像の際に撮像装置に生じた動きに基づいて歪みを算出する歪み算出部６２と、入力画像の生成状況に基づいて歪み調整値を算出する歪み調整値算出部６３と、歪みと歪み調整値とに基づいて入力画像の歪みを補正する歪み補正処理を行う歪み補正処理部６４と、を備える。歪み調整値算出部６３は、入力画像の生成状況に応じて歪み調整値を小さくすることで、歪み補正処理部６４による歪み補正処理の補正の程度を小さくする。
【選択図】図３

Description

本発明は、撮像によって画像を得るとともに当該画像の歪みを補正する撮像装置に関する。
撮像装置や被写体（人などの撮像対象）の動きなどに起因するぶれを抑制した画像を生成する撮像装置が、広く用いられている。このような撮像装置には、入力される画像からぶれを検出するとともにぶれを抑制した画像を生成して出力する画像処理装置を備えるものがある。
上記のぶれの１つとして、フォーカルプレーン歪み（以下、単に「歪み」と表現する場合もある）と呼ばれるものがある。フォーカルプレーン歪みとは、例えば画素毎に露光及び電荷の読み出しが制御される（いわゆる、Ｘ−Ｙアドレス方式である）ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで生じ得る歪みである。特に、画素列毎に露光タイミングが異なるために生じる歪みである。
フォーカルプレーン歪みの具体例について図１に示す。図１は、フォーカルプレーン歪みについて説明する模式図である。図１（ａ）は、撮像装置が静止している場合に得られる画像の模式図である。図１（ｂ）は、撮像装置が左から右へと平行移動したりパン方向において左向きから右向きへと回転したりする場合に得られる画像の模式図である。図１（ｃ）は、撮像装置が右から左へと平行移動したりパン方向において右向きから左向きへと回転したりする場合に得られる画像の模式図である。図１（ｄ）は、撮像装置が下から上へと平行移動したりチルト方向において下向きから上向きへと回転したりする場合に得られる画像の模式図である。図１（ｅ）は、撮像装置が上から下へと平行移動したりチルト方向において上向きから下向きへと回転したりする場合に得られる画像の模式図である。なお、撮像装置は上方の画素列から下方の画素列にかけて順に撮像（露光）を行うものとし、被写体Ｓは静止しているものとする。また、図１（ｂ）〜（ｅ）は、撮像の際（画像の全露光期間中）撮像装置に一定の動きが発生した場合について示すものである。
図１（ａ）に示すように撮像装置が静止していれば得られる画像１００の中心に被写体Ｓが存在する状況下で、撮像装置に各種動きが生じた場合に撮像される画像についてそれぞれ説明する。図１（ｂ）〜（ｅ）に示すように、画像中の被写体Ｓは、下方ほど撮像装置の動きの方向に対して反対となる方向へ歪むものとなる。例えば、図１（ｂ）に示すように撮像装置が左から右へと水平移動する場合、得られる画像１０１中の被写体Ｓは、下方ほど左方へ流れて歪む。また、図１（ｃ）に示すように撮像装置が右から左へと水平移動する場合、得られる画像１０２中の被写体Ｓは、下方ほど右方へ流れて歪む。また、図１（ｄ）に示すように撮像装置が下から上へと垂直移動する場合、得られる画像１０３中の被写体Ｓは、下方に伸びて歪むものとなる。また、図１（ｄ）に示すように撮像装置が上から下へと垂直移動する場合、得られる画像中の被写体Ｓは、上方に縮んで歪むものとなる。このような歪みは、上記のように撮像の際の露光タイミングが、上方の画素列ほど早く下方の画素列ほど遅くなるために発生する。
このようなフォーカルプレーン歪みを低減する歪み補正処理の方法として、例えば、撮像装置の動きを検出するとともに、当該動きに応じた歪みを補正する歪み補正処理をイメージセンサから得られる画像に対して行い、歪みが低減された画像を得る方法が提案されている（特許文献１及び２参照）。
特開２００６−１８６４８１号公報 特開２００１−３５８９９９号公報
しかしながら、上記のような画像処理による歪み補正処理を行う場合、誤った歪み補正処理が施される場合が生じ得る。誤った歪み補正処理が施されると、例えば、本来的に歪みのない画像に対して補正処理が施され、かえって出力される画像に歪みが導入されて画像が劣化する問題が生じ得る。
そこで、本発明は、誤った歪み補正処理による画像の劣化を抑制することを可能とする撮像装置を提供することを目的とする。
上記目的を達成するために、本発明における撮像装置は、撮像を行い、露光タイミングが領域毎に異なる入力画像を生成する画像生成部と、前記画像生成部による撮像の際に自機に生じた動きを検出する動き検出部と、前記動き検出部によって検出された前記動きに基づいて、前記入力画像に生じた歪みを算出する歪み算出部と、前記入力画像に対して、前記歪み算出部によって算出された前記歪みの補正を行い、出力画像を生成する歪み補正処理部と、を備え、前記歪み補正処理部が、前記入力画像の生成状況に基づいて前記歪みを補正する程度を制御することを特徴とする。
なお、以下に記載する撮像装置の実施形態では、画像生成部を、例えば歪み補正処理部に入力される入力画像を生成する部分の全体を指すものとして説明する。例えば、撮像部や画像処理部の一部などを含み得るものとする。また、入力画像の生成状況とは、画像生成部が入力画像を生成するまでの全体の処理を指すものである。例えば、画像を撮像する際の状況や、撮像された画像に所定の処理を施す状況なども含み得るものである。
また、上記構成の撮像装置において、前記入力画像が、上方の画素列ほど露光タイミングが早く、下方の画素列ほど露光タイミングが遅くなるように撮像されるものであり、前記歪み補正処理部が、前記入力画像の画素列毎に前記歪みを補正することとしても構わない。
また、上記構成の撮像装置において、前記画像生成部が、順次撮像を行う際の位置ずれを補正する手ぶれ補正処理を行う手ぶれ補正部を備え、前記歪み補正処理部が、前記手ぶれ補正処理が施されずに生成された前記入力画像に対する前記歪みの補正の程度を、前記手ぶれ補正処理が施されて生成された前記入力画像に対する前記歪みの補正の程度よりも小さくする、または、前記手ぶれ補正処理が施されずに生成された前記入力画像に対して、前記歪みの補正を行わないこととしても構わない。
このように構成すると、手ぶれ補正処理が施されないことで歪みが視覚的に目立たない入力画像の歪みを補正する場合に、歪みを補正する程度を小さくする、または歪みの補正を行わないこととすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。なお、位置ずれを、例えば順次撮像して得られる連続した画像間に生じるずれと解釈しても構わない。また、手ぶれ補正部が、例えば撮像時に光学系を駆動させることで得られる画像に位置ずれが含まれることを未然に抑制する光学式であっても構わないし、撮像によって得られた画像を補正することで位置ずれを事後的に抑制する電子式であっても構わない。
また、上記構成の撮像装置において、前記歪み補正処理部が、前記動き検出部が同一方向の継続した前記動きを検出した前記入力画像に対する前記歪みの補正の程度を、同一方向の継続した前記動きが検出されなかった前記入力画像に対する前記歪みの補正の程度よりも小さくする、または、同一方向の継続した前記動きが検出された前記入力画像に対して、前記歪みの補正を行わないこととしても構わない。
このように構成すると、同一方向の継続した動きが発生することで歪みが視覚的に目立たない入力画像の歪みを補正する場合に、歪みを補正する程度を小さくする、または歪みの補正を行わないこととすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
また、上記構成の撮像装置において、前記歪み補正処理部が、固定された前記撮像装置によって生成された前記入力画像に対して、前記歪みの補正を行わないこととしても構わない。
このように構成すると、撮像装置が固定されることで原則的にフォーカルプレーン歪みが発生していない入力画像に対して、誤って歪みが補正されることが抑制される。また、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
また、上記構成の撮像装置において、前記歪み補正処理部が、前記動き検出部が検出する前記動きの検出結果の信頼度が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることとしても構わない。
このように構成すると、動きの検出結果の信頼度が低く算出された歪みが誤ったものである可能性が高い入力画像に対して、歪みを補正する程度を小さくする、または歪みの補正を行わないこととすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
なお、前記入力画像が移動する物体を撮像したものである場合に前記信頼度が低くなるように設定しても構わない。また、前記動き検出部が、前記入力画像内の複数の領域のそれぞれから動きを検出し、当該複数の動きを総合することで前記動きを検出するものであり、前記複数の動きのばらつきに基づいて前記信頼度が設定されることとしても構わない。また、前記入力画像のコントラスト値に基づいて前記信頼度が設定されることとしても構わない。
また、上記構成の撮像装置において、前記歪み補正処理部が、前記画像生成部による撮像の際のズーム倍率が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることとしても構わない。
このように構成すると、ズーム倍率が小さいために歪みが目立ちにくく、また歪みが小さくなりやすい入力画像に対して、歪みを補正する程度を小さくすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
また、上記構成の撮像装置において、前記歪み補正処理部が、前記入力画像の一部を切り出すことによって前記出力画像を得ることとしても構わない。このように構成すると、入力画像の歪みを補正して得られる出力画像が、欠けたものになることを抑制することが可能となる。
本発明の構成とすると、入力画像の生成状況に応じて歪み補正処理の程度を小さくすることが可能となる。そのため、誤って程度の大きい歪み補正処理を施すことで、入力画像がかえって歪んだものになることを抑制することが可能となる。
は、フォーカルプレーン歪みについて説明する模式図である。 は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。 は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。 は、歪み算出及び歪み補正処理の一例について説明する模式図である。 は、歪み算出及び歪み補正処理の一例について説明する模式図である。 は、歪み算出及び歪み補正処理の一例について説明する模式図である。 は、歪み算出及び歪み補正処理の一例について説明する模式図である。 は、歪み算出及び歪み補正処理の一例について説明する模式図である。 は、歪み算出及び歪み補正処理の一例について説明する模式図である。 は、動き検出方法の一例を示す入力画像の模式図である。 は、第５実施例の歪み調整値の算出方法を示すグラフである。 は、第６実施例の歪み調整値の算出方法を示すグラフである。
以下、本発明の実施形態について図面を参照して説明する。最初に、本発明における撮像装置の基本構成及び基本動作について説明する。
＜＜撮像装置＞＞
＜基本構成＞
まず、本発明の実施形態における撮像装置の基本構成について、図２に基づいて説明する。図２は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。
図２に示すように、撮像装置１は、入射される光を電気信号に変換するＣＭＯＳイメージセンサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに光量などの調整を行うレンズ部４と、を備えた撮像部２を備える。
さらに、撮像装置１は、イメージセンサ３から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、入力される音声を電気信号に変換する集音部７と、集音部７から出力されるアナログの音声信号をデジタル信号に変換するとともに音声信号にノイズ除去などの各種音声処理を施す音声処理部８と、画像処理部６から出力される画像信号と音声処理部８から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示可能な信号へと変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声信号をスピーカなどの再生装置（不図示）で再生可能な信号へと変換する音声出力回路部１４と、撮像装置１全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス回線１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、を備える。
また、画像処理部６は、入力される画像信号に含まれる歪みを補正して出力する歪み補正部６１を備える。なお、歪み補正部６１の構成の詳細については後述する。
なお、動画及び静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ生成可能であっても構わないし、動画の画像信号のみ生成可能であっても構わない。また、静止画の画像信号のみを生成可能な構成とする場合、集音部７や音声処理部８、音声出力回路部１４などを備えない構成としても構わない。
また、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
＜基本動作＞
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部４より入射される光をイメージセンサ３において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ３は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ５に画像信号を出力する。
そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部４において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
また、画像処理部６は、歪み補正部６１において画像の歪みを補正する。なお、歪み補正部６１の動作の詳細については後述する。
動画の画像信号を生成する場合、集音部７において集音を行う。集音部７で集音されて電気信号に変換される音声信号は、音声処理部８に入力される。音声処理部８は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの各種音声処理を施す。そして、画像処理部６から出力される画像信号と、音声処理部８から出力される音声信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。
一方、静止画の画像信号を生成する場合、画像処理部６から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。
外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１３、音声信号を音声出力回路部１４にそれぞれ出力する。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。
一方、外部メモリ１０に記録された静止画の圧縮符号化信号は、伸長処理部１２に入力されて画像信号が生成される。そして、この画像信号は画像出力回路部１３に出力され、画像出力回路部１３において表示装置で再生可能な形式に変換されて出力される。
なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。
＜＜歪み補正部＞＞
＜基本構成＞
次に、図１に示した画像処理部６に備えられる歪み補正部６１について詳細に説明する。なお、以下においては説明の具体化のため、歪み補正部６１によって処理される各画像の画像信号を、それぞれ画像として表現する。特に、歪み補正部６１に入力される画像を「入力画像」、歪み補正部６１から出力される画像を「出力画像」とする。
また、露光及び電荷の読み出し制御の単位である画素列と平行な方向を、画像の水平方向とする。また、画素列に対して垂直となる方向を、画像の垂直方向とする。また、画素列毎に露光タイミングが異なることを特に問題とし、画素列中の画素毎の露光タイミングの差異はわずかなものであるため考慮しないこととする。また、１つの画像の撮像を行う際に、垂直方向に沿って整列する各画素列のうち、上方の画素列ほど露光タイミングが早く、下方の画素列ほど露光タイミングが遅いこととする。
また、本実施形態の撮像装置１に備えられる画像処理部６は、動画の画像信号も静止画の画像信号も処理可能である。そのため、以下説明する各画像は、動画像及び静止画像のいずれと解釈しても構わないものとする。
最初に、歪み補正部６１の基本構成について図３を用いて説明する。図３は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である。図３に示すように、歪み補正部６１には、入力画像と、撮像部２による撮像の際に撮像装置１に発生した動きを検出する動き検出部２１から出力される動き情報と、歪み補正部６１に入力される入力画像が生成された状況を通知する入力画像生成状況通知部２２から出力される生成状況情報と、がそれぞれ入力される。
歪み補正部６１は、動き情報に基づいて入力画像に含まれる歪みを算出し歪み情報として出力する歪み算出部６２と、生成状況情報に基づいて歪み調整値を算出して歪み調整値情報を出力する歪み調整値算出部６３と、歪み算出部６２から出力される歪み情報と歪み調整値算出部６３から出力される歪み調整値情報とに基づいて入力画像に歪み補正処理を施し出力画像を生成する歪み補正処理部６４と、を備える。
なお、動き検出部２１を、例えばジャイロセンサなどの撮像装置１に生じた動きを直接的に検出するものとしても構わない。
また、動き検出部２１を、撮像された複数の画像に基づいて間接的に動きを検出するものとしても構わない。例えば、入力画像とその前後のフレームの画像を適宜比較することによって動きを検出するものとしても構わない。具体的に例えば、入力画像とその一つ前のフレームの画像とを比較して得られる動きと、入力画像と一つ後のフレームの画像とを比較して得られる動きと、を用いて入力画像の撮像中に生じた動きを検出しても構わない。また、入力画像の二つ前のフレームの画像と一つ前のフレームの画像とを比較して得られる動きと、入力画像の一つ前のフレームの画像と入力画像とを比較して得られる動きと、を用いて入力画像の撮像中に生じた動きを検出しても構わない。動きを検出するための画像の比較方法として、例えばブロックマッチング法、代表点マッチング法、勾配法などの種々の方法を適用することが可能である。
動き検出部２１から出力される動き情報には、例えば撮像部２による撮像の際に撮像装置１に生じた動きの大きさ及び方向に関する情報が含まれるものとする。また、歪み算出部６２から出力される歪み情報には、例えば入力画像に含まれる歪みの大きさ及び方向に関する情報が含まれるものとする。なお、入力画像生成状況通知部２２や生成状況情報、歪み調整値情報の詳細については、後述する。
＜基本動作＞
次に、歪み補正部６１の基本動作について図４を用いて説明する。図４は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。なお、図４は一つの入力画像に基づいて一つの出力画像が生成されるまでの処理を表したものである。そのため、例えば動画像の出力画像を生成する場合であれば、図４に示す動作が繰り返し行われることとなる。
図４に示すように、まず撮像部２によって撮像が行われる。また、この撮像の際に撮像装置１に生じた動き（特に大きさ及び方向）が動き検出部２１によって検出され、動き情報が生成されて出力される。さらに、歪み補正部６１に入力される入力画像の生成状況を示す生成状況情報が、入力画像生成状況通知部６１により生成されて出力される。歪み補正部６１は、入力画像、動き情報及び生成状況情報をそれぞれ取得する（ＳＴＥＰ１）。
ＳＴＥＰ１によって取得した動き情報に基づいて、歪み算出部６２が歪みを算出し、歪み情報として出力する（ＳＴＥＰ２）。また、ＳＴＥＰ１によって取得した生成状況情報に基づいて、後に行われる歪み補正処理における補正の程度を調整するための歪み調整値を算出し、歪み調整値情報として出力する（ＳＴＥＰ３）。
そして、歪み補正処理部６４が、ＳＴＥＰ２で算出された歪みを補正する歪み補正処理を、入力画像に対して行う（ＳＴＥＰ４）。このとき、ＳＴＥＰ３で算出される歪み調整値に応じて、補正の程度の調整がなされる。例えば、歪み調整値が小さくなり０に近づくほど、補正の程度が小さくなるものとする。
ＳＴＥＰ２の歪みの算出方法及びＳＴＥＰ４の歪み補正処理のそれぞれの例について、図５〜図９を参照して説明する。図５〜図９のそれぞれは、歪み算出及び歪み補正処理の一例について説明する模式図である。また、歪み補正処理について説明するため、歪み調整値による補正の程度の調整については行われないものとする。なお、ＳＴＥＰ３の歪み調整値による調整方法の例については、後述する。
図５は、検出された動きが０（静止）であり、上述した図１（ａ）の場合を示す図である。図６は、検出された動きが右方向であり、上述した図１（ｂ）の場合を示す図である。図７は、検出された動きが左方向であり、上述した図１（ｃ）の場合を示す図である。図８は、検出された動きが上方向であり、上述した図１（ｄ）の場合を示す図である。図９は、検出された動きが下方向であり、上述した図１（ｅ）の場合を示す図である。
図５〜図９の入力画像３０〜３４は、イメージセンサ３から得られる画像の画角と略等しいものである。出力画像５０〜５４は、入力画像３０〜３４の一部の画角（例えば、入力画像３０〜３４の中央の画角）を示す画像である。
図６〜図９のそれぞれは、入力画像３１〜３４の撮像の際（入力画像の全露光期間中）において、一様な動きが検出される場合、または、一つの入力画像に対して一つの動きが検出される場合について示したものである。なお、被写体Ｓは静止しており、検出されるそれぞれの動きは正しいものとする。
図５に示す場合、検出される動きが０であるため、歪みも０となる。一方、図６〜図９に示すそれぞれの場合では検出される動きが０ではないため、当該動きに応じた歪みが算出される。算出される歪みの方向は動きの方向と反対であり、歪みの大きさは動きの大きさに対応したものとなる。特に、検出された動きが大きいほど、算出される歪みも大きくなる。なお、歪みは画素列毎に算出される。
また、露光タイミングが最も早い入力画像３１〜３４の上端の画素列ｔを基準として、水平方向の歪みの大きさの絶対値（以下、歪み値とする）Ｄｈ（ｔ）及び垂直方向の歪み値Ｄｖ（ｔ）をそれぞれ０とする。図６〜図９のように、一様な動きまたは一つの動きが検出される場合に算出される歪み値は、下方の画素列のものほど比例して大きいものとなる。特に、水平方向の動きが検出される図６及び図７では、露光タイミングが最も遅い入力画像３１，３２の下端の画素列ｂの水平方向の歪み値Ｄｈ（ｂ）が最大となる。一方、垂直方向の動きが検出される図８及び図９では、入力画像３３，３４の下端の画素列ｂの垂直方向の歪み値Ｄｖ（ｂ）が最大となる。
図５に示すように歪みが０である場合、入力画像３０の一部の領域である出力画像領域４０内の画像をそのまま切り出して、出力画像５０を得ることができる。なお、出力画像領域４０の左上の画素位置を［０，０］、左下の画素位置を［０，ｎ］、右上の画素位置を［ｍ，０］、右下の画素位置を［ｍ，ｎ］とする（ｍ，ｎは自然数）。また、出力画像５０〜５４の画素位置も同様に表現する。即ち、出力画像領域４０及び出力画像５０〜５４は、水平方向にｍ＋１個、垂直方向にｎ＋１個の画素を備えるものとする。
図６〜図９に示すように入力画像に歪みが生じている場合、出力画像領域４０の画像をそのまま切り出しても、当該切り出して得られる画像は歪んだものとなる。そこで、算出された歪みにしたがって出力画像領域４０を歪ませた歪み出力画像領域４１〜４４内の画素を読み出すことで（即ち、歪み画像領域４１〜４４内の画像を、歪みを打ち消すように逆に歪ませることで）、図５の動きが検出されない場合の出力画像５０と略等しい出力画像５１〜５４を得る。
図６〜図９の各場合の歪み出力画像領域４１〜４４の位置について具体的に説明する。なお、以下の説明において、出力画像領域４０内のある画素列ｊに属する画素に対して算出される水平方向の歪み値をＤｈ（ｊ）、垂直方向の歪み値をＤｖ（ｊ）で表す（ｊは０≦ｊ≦ｎを満たす自然数）。
図６に示すような左方向の歪みが算出される場合、歪み出力画像領域４１も出力画像領域４０を左方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｈ（ｊ）だけ左方向に移動させたものが、歪み出力画像領域４１となる。この場合、出力画像５１の画素列ｊを得るために、［−Ｄｈ（ｊ），ｊ］〜［ｍ−Ｄｈ（ｊ），ｊ］の画素を読み出すこととなる。
また、図７に示すような右方向の歪みが算出される場合、歪み出力画像領域４２も出力画像領域４０を右方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｈ（ｊ）だけ右方向に移動させたものが、歪み出力画像領域４２となる。この場合、出力画像５２の画素列ｊを得るために、［Ｄｈ（ｊ），ｊ］〜［ｍ＋Ｄｈ（ｊ），ｊ］の画素を読み出すこととなる。
また、図８に示すような下方向の歪みが算出される場合、歪み出力画像領域４３も出力画像領域４０を下方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｖ（ｊ）だけ下方向に移動させたものが、歪み出力画像領域４３となる。この場合、出力画像５３の画素列ｊを得るために、［０，ｊ＋Ｄｖ（ｊ）］〜［ｍ，ｊ＋Ｄｖ（ｊ）］の画素を読み出すこととなる。
また、図９に示すような上方向の歪みが算出される場合、歪み出力画像領域４４も出力画像領域４０を上方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｖ（ｊ）だけ上方向に移動させたものが、歪み出力画像領域４４となる。この場合、出力画像５４の画素列ｊを得るために、［０，ｊ−Ｄｖ（ｊ）］〜［ｍ，ｊ−Ｄｖ（ｊ）］の画素を読み出すこととなる。
動き検出部２１で検出される動き及び歪み算出部６２で算出される歪みが毎回必ず正しいものであれば、歪み補正処理部６４は、入力画像に対して算出される歪みを打ち消すように歪み補正処理を施すだけで済む。しかしながら、検出される動きや算出される歪みが毎回必ず正しいものとはならないため、問題となる。
そのため本発明では、歪み調整値算出部６３が、入力画像が生成された状況に基づいて、歪み算出部６２によって算出される歪みをそのまま適用して補正するべきか程度を抑制して補正するべきかを判断し、歪み調整値を算出する。そして、歪み補正処理部６４が歪み調整値に基づいて歪み補正処理の補正の程度を調整する。
このように構成することによって、誤った歪み補正処理が行われることによって、かえって歪んだ出力画像が生成されることを抑制することが可能となる。
なお、入力画像３１〜３４の全体を歪ませることにより、出力画像を生成しても構わない。ただし、図６〜図９に示すように、入力画像３１〜３４の一部を切り出して出力画像５１〜５４を生成する構成とすることで、出力画像５１〜５４が欠けることを抑制することが可能となる。
また、図５〜図９に示す歪み補正処理の例では、出力画像領域４０または歪み出力画像領域４１〜４４内の画素を読み出して出力画像５１〜５４を形成する例について説明したが、出力画像領域４０または歪み出力画像領域４１〜４４の周囲の画素もあわせて読み出し、出力画像５０〜５４の生成に利用しても構わない。
また、出力画像５０〜５４を生成するために読み出した画素に各種画像処理を施して、出力画像５０〜５４の画素数を、出力画像領域４０または歪み出力画像領域４１〜４４内の画素数と異ならせても構わない。例えば、補間処理などを行って出力画像５０〜５４の画素数を増大させても構わないし、間引処理や画素加算などを行って出力画像５０〜５４の画素数を低減しても構わない。
また、算出される歪みの大きさを画素単位（即ち、Ｄｈ（ｊ）及びＤｖ（ｊ）の大きさが整数）としても構わない。このように構成すると、読み出すべき画素が必ず存在することとなる。一方、算出される歪みの大きさを任意のもの（即ち、Ｄｈ（ｊ）及びＤｖ（ｊ）の大きさが整数以外の値を取り得る）としても構わない。この場合、読み出すべき画素の位置が小数値になるときは、当該位置に最も近い位置の画素を読み出したり、当該位置の周囲の画素を用いて当該位置の画素を算出したりしても構わない。
また、図６〜図９は、説明を簡単にするために、水平方向及び垂直方向のいずれかの方向の動きのみが検出され、いずれかの方向の歪みのみが算出される場合について示したが、斜め方向の動きが検出され、斜め方向の歪みが算出される場合も当然に発生し得る。この場合、両方向の動きが検出され、両方向の歪みが算出されることとしても構わない。
また、入力画像の上端の画素列ｔを基準として歪みを０とする場合について説明したが、例えば出力画像領域４０の上端の画素列０を基準として、この画素列０の歪みを０としても構わない。このように規定しても、歪み補正処理を行うことは可能である。
また、図１０に示すように、入力画像３５を垂直方向に対して複数の領域に分割し、それぞれの領域について動きを検出して、それぞれの領域について歪みを算出しても構わない。このような場合、出力画像領域４０をそれぞれの領域毎に歪ませることで、歪み出力画像領域４５を形成する。
＜歪み調整値＞
図２のＳＴＥＰ３における歪み調整値の算出方法や、この歪み調整値を用いた歪み補正処理の補正の程度の調整方法について説明する。最初に歪み調整値を用いた調整方法について説明し、後に歪み調整値の算出方法の各実施例について説明する。
［調整方法］
上述の図６〜図１０の説明では、ＳＴＥＰ４の歪み補正処理において、水平方向の歪み値Ｄｈ（ｊ）及び垂直方向の歪み値Ｄｖ（ｊ）をそのまま用いて歪み出力画像領域４１〜４５を決定することとした。しかしながら、ＳＴＥＰ３で算出される歪み調整値を用いて歪み補正処理の補正の程度を調整する場合、ＳＴＥＰ４において下記式（１）のように算出される「調整後歪み値」を用いて歪み出力画像領域４１〜４５の位置を決定する。
Figure 2010166512
上記式（１）に示すように、水平方向の歪み調整値Ｋｈを水平方向の歪み値Ｄｈ（ｊ）に乗算して水平方向の調整後歪みＳｈ（ｊ）を算出する。また、同様に垂直方向の歪み調整値Ｋｖを垂直方向の歪み値Ｄｖ（ｊ）に乗算して垂直方向の調整後歪み値Ｓｖ（ｊ）を算出する。歪み調整値Ｋｈ，Ｋｖは、０≦Ｋｈ，Ｋｖ≦１を満たすものとする。
歪み調整値Ｋｈ，Ｋｖが１の場合、調整後歪み値Ｓｈ（ｊ），Ｓｖ（ｊ）が歪み値Ｄｈ（ｊ），Ｄｖ（ｊ）と等しくなる。即ち、図６〜図１０に示した場合と同様に、歪み調整値Ｋｈ，Ｋｖによる調整が行われない場合と等しくなる。また、歪み調整値Ｋｈ，Ｋｖが０の場合、調整後歪み値Ｓｈ（ｊ），Ｓｖ（ｊ）が０となる。即ち、歪み補正処理が行われない場合と等しくなる。
上述のように、検出される動きは必ず正しいものとなるとは限らない。例えば、ジャイロセンサを用いて動きを検出する場合であれば、ドリフト成分（静止時に出力される信号値）などによる誤検出が生じ得る。また例えば、画像を比較して動きを検出する場合であれば、被写体の動き（例えば草木の揺らぎ）や画像特徴などに起因する誤検出が生じ得る。
そのため、入力画像の生成状況に応じて（例えば入力画像が、歪み補正処理の効果を認識しにくいものである場合や、歪みが発生しにくいものである場合などに）、歪み補正処理の程度を小さくする。これにより、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪むことを抑制することが可能となる。
また、入力画像の生成状況に応じて歪み補正処理自体を行わないこととしても構わない。この場合、誤って程度の大きい歪み補正処理が施されることを抑制するだけでなく、処理を簡略化することが可能となる。そのため、処理速度の迅速化や低消費電力化などを図ることが可能となる。
なお、歪み調整値Ｋｈ，Ｋｖを、入力画像毎に算出しても構わないし、入力画像の画素列毎に算出しても構わないし、図１０に示したような所定の領域毎に算出しても構わない。
［歪み調整値の算出方法］
以下、上述した歪み調整値の算出方法の各実施例について説明する。
（第１実施例）
歪み調整値の算出方法の第１実施例について説明する。本実施例では、手ぶれ補正処理の有無に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
手ぶれ補正処理として、例えば、検出した撮像装置１に生じた動き（ぶれ）を打ち消すように撮像部２を駆動させる光学式の手ぶれ補正処理や、画像処理によってぶれを補正する電子式の手ぶれ補正処理がある。電子式の手ぶれ補正処理として、例えば、撮像部２から入力される画像を順次比較するとともに、これらの画像の共通点に基づいて同様の画角となる領域を切り出すことで、歪み補正部６１に入力される入力画像を生成するものなどがある。これらの手ぶれ補正処理は、例えば図１の撮像部２に備えられる駆動部（不図示）や画像処理部６、ＣＰＵ１５などによって行われる。なお、これらをまとめて「手ぶれ補正部」として解釈する。
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、手ぶれ補正処理が施された入力画像であるか否かを示す手ぶれ補正処理情報となる。この場合、入力画像生成状況通知部２２が、手ぶれ補正部によって構成されることとしても構わない。
歪み調整値算出部６３は、手ぶれ補正処理が行われていないことを示す手ぶれ補正処理情報が入力される場合、手ぶれ補正処理が行われたことを示す手ぶれ補正処理情報が入力される場合よりも、歪み調整値Ｋｈ，Ｋｖを小さくする。または、歪み調整値Ｋｈ，Ｋｖを０にする。
手ぶれ補正処理が行われない場合、特に入力画像が動画像であると、連続する入力画像間における位置ずれが大きいものとなる。この場合、得られる動画像を再生すると、フォーカルプレーン歪みが視覚的に目立たないものとなる。そのため、手ぶれ補正処理が行われない場合には、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
なお、手ぶれ補正処理が行われる場合の歪み調整値Ｋｈ，Ｋｖを１としても構わない。また、手ぶれ補正処理が行われない場合の歪み調整値Ｋｈ，Ｋｖを０以上０．５以下の値としても構わない。また、手ぶれ補正処理の有無は、ユーザによって選択される（例えば、図１の操作部１７を介して選択される）ものであっても構わないし、撮像時のプログラム等によって自動的に選択されるものとしても構わない。
（第２実施例）
歪み調整値の算出方法の第２実施例について説明する。本実施例では、撮像装置１の固定の有無に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、撮像部２による撮像の際に撮像装置１が固定されていたか否かを示す固定情報となる。この場合、入力画像生成状況通知部２２が、ＣＰＵ１５などによって構成されることとしても構わない。
歪み調整値算出部６３は、撮像部２による撮像の際に撮像装置１が固定されていたことを示す固定情報が入力される場合、歪み調整値Ｋｈ，Ｋｖを０にする。
撮像装置１が三脚等によって固定される場合、原則的にフォーカルプレーン歪みは発生しないこととなる。そのため、この場合に検出される動きや算出される歪みは、誤ったものである可能性が高い。そのため、このような場合に歪み調整値Ｋｈ，Ｋｖを０とする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
なお、撮像装置１の固定の有無を、動き検出部２１によって出力される複数の入力画像の動き情報に基づいて判断しても構わない。例えば、ある期間ｔ１以上、検出される動きの大きさが閾値ｔｈ１以下である場合に、撮像装置１が固定されていると判断しても構わない。この場合、動き検出部２１が入力画像生成状況通知部２２をも構成し、固定情報を出力することとしても構わない。
また、ユーザによって固定状態であることが入力される（例えば、図１の操作部１７を介して入力される）ことに基づいて固定状態であることを判断しても構わないし、撮像装置１を三脚等に固定した場合に押下されるスイッチなどを撮像装置１に備え、これに基づいて固定状態であることを判断しても構わない。また、セルフタイマーの使用による撮像か否かに基づいて判断しても構わない。セルフタイマーの使用による撮像の場合、撮像装置１が固定されている可能性が高いため、固定状態であると判断することができる。
また、固定情報が水平方向及び垂直方向のそれぞれについて出力されることとしても構わない。この場合、固定情報によって固定されていることが示される方向の歪み調整値のみを０とする。
（第３実施例）
歪み調整値の算出方法の第３実施例について説明する。本実施例では、撮像装置１に同一方向の継続した動きが発生しているか否かに基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、撮像装置１に同一方向の継続した動きが発生しているか否かを示す継続動き情報となる。この場合、動き検出部２１が、入力画像生成状況通知部２２をも構成することとしても構わない。
歪み調整値算出部６３は、同一方向の継続した動きが発生していることを示す継続動き情報が入力される場合、同一方向の継続した動きが発生していないことを示す継続動き情報が入力される場合よりも、歪み調整値Ｋｈ，Ｋｖを小さくする。または、歪み調整値Ｋｈ，Ｋｖを０にする。
撮像装置１に同一方向の継続した動きが発生する場合（例えば、パン撮影やチルト撮影が行われる場合）、特に入力画像が動画像であると、第１実施例と同様に連続する入力画像間における位置ずれが大きいものとなる。そのため、再生時にフォーカルプレーン歪みが視覚的に目立たないものとなる。したがって、同一方向の継続した動きが発生する場合には、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
なお、例えばある期間ｔ２以上、同じ方向の動きが検出される場合に、同一方向の継続した動きが発生したと判断しても構わない。さらに、所定の閾値ｔｈ２以上の大きさの動きが検出されることを、同一方向の継続した動きが発生したと判断することの要件としても構わない。
また、同一方向の継続した動きが発生したと判断されない場合の歪み調整値Ｋｈ，Ｋｖを１としても構わない。また、同一方向の継続した動きが発生したと判断される場合の歪み調整値Ｋｈ，Ｋｖを０以上０．５以下の値としても構わない。
（第４実施例）
歪み調整値の算出方法の第４実施例について説明する。本実施例では、移動物体を撮像して生成された入力画像であるか否か（即ち、入力画像内に移動物体が含まれるか否か）に基づいて、歪み調整値Ｋｈ，Ｋｖの設定を行う。本実施例の算出方法は、動き検出部２１が画像から動きを検出するものである場合に適用され得る。
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、入力画像に移動物体が存在しているか否かを示す移動物体情報となる。この場合、動き検出部２１が、入力画像生成状況通知部２２をも構成することとしても構わない。
歪み調整値算出部６３は、入力画像内に移動物体が存在していることを示す移動物体情報が入力される場合、歪み調整値を０にする。
動き検出部２１が複数の画像を比較することで動きを検出するものである場合、入力画像内に移動物体が含まれると、移動物体の影響で動きの検出精度が劣化する。この一例について図１１を参照して説明する。図１１は、動き検出方法の一例を示す入力画像の模式図である。図１１に示す動き検出方法は、入力画像内の６つの動き検出領域ＭＡ毎に動きベクトルＭＶを求め、これらを総合的に評価して動きを検出する方法である。また、図１１では、右下の動き検出領域ＭＡに、移動物体ＭＯが存在する場合について示している。
移動物体ＭＯが存在しない場合、概ね全ての動き検出領域ＭＡにおいて、略等しい動きベクトルＭＶが算出されることとなる。しかしながら、図１１に示すように移動物体ＭＯが存在すると、移動物体ＭＯの影響を受けた動き検出領域ＭＡから誤った動きベクトルＭＶが算出される。そのため、動きの検出結果の信頼度が小さいものとなる。即ち、算出される歪みの信頼度が小さいものとなる。この場合、状況によっては異常に大きな歪みが算出され、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪む場合が生じ得る。
そこで、本実施例のように移動物体ＭＯが入力画像に含まれる場合に歪み調整値Ｋｈ，Ｋｖを０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
なお、動き検出部２１が移動物体ＭＯの有無を判断するために、算出される動きベクトルＭＶのばらつき（例えば分散値）を求めても構わない。
例えば図１１に示す場合、下記式（２）に示す方法でばらつきσを算出し、この値に基づいて移動物体ＭＯの有無を判断しても構わない。下記式（２）では、６つのそれぞれの動き検出領域ＭＡから算出される動きベクトルをＭＶiで示し、これらの動きベクトルＭＶiを平均化した動きベクトルをＭＶmで示す。そして、下記式（２）より得られるばらつきσが、閾値ｔｈ３以上となる場合に、移動物体ＭＯが存在すると判断しても構わない。
Figure 2010166512
（第５実施例）
歪み調整値の算出方法の第５実施例について説明する。本実施例では、動き検出部６２によって検出された動きの検出結果の信頼度に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。なお、歪み算出部６２は、検出された動きに基づいて歪みを算出するものである。そのため、動きの検出結果の信頼度とは、算出された歪みの信頼度と解釈することも可能である。
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、動き検出部２１によって検出される動きの検出結果の信頼度の大きさを示す信頼度情報となる。この場合、動き検出部２１が、入力画像生成状況通知部２２をも構成することとしても構わない。
歪み調整値算出部６３は、入力される信頼度情報が示す信頼度が小さいほど、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。
信頼度情報が、検出された動きの検出結果の信頼度が小さいことを示すものである場合、算出される歪みが誤ったものとなる可能性が高くなる。そのため、状況によっては異常に大きな歪みが算出され、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪む場合が生じ得る。
そこで、本実施例のように検出される動きの検出結果の信頼度が小さい場合に歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
なお、信頼度ｅの算出方法を、動き検出部２１による動きの検出方法に応じたものとしても構わない。例えば、動き検出部２１が複数の画像を比較することで動きを検出するものである場合、比較する画像のコントラスト値（例えば、輝度値の分布の広がり）や、第４実施例で説明した動きベクトルＭＶのばらつきσなどに基づいて算出しても構わない。コントラスト値が小さい場合、入力画像全体が一様な画像となり画像特徴が少ないものとなる。この場合、画像を比較して動きを検出することが困難となるため、信頼度ｅを小さくする。また、第４実施例において説明したように、動きベクトルＭＶのばらつきσが大きい場合も、信頼度ｅを小さくする。
また例えば、ジャイロセンサなどのセンサを用いて動きを検出する場合、好適に動き検出を行うことができる動作環境に近いか否かに基づいて、信頼度ｅを算出しても構わない。
また、歪み調整値算出部６３が、図１２及び下記式（３）に示すように歪み調整値Ｋｈ，Ｋｖを算出することとしても構わない。図１２は、第５実施例の歪み調整値の算出方法を示すグラフである。図１２及び下記式（３）に示すように、信頼度ｅが０以上であり閾値ｔｈｅ１より小さい場合は、歪み調整値Ｋｈ，Ｋｖを０にする。また、信頼度ｅが閾値ｔｈｅ２以上である場合は、歪み調整値Ｋｈ，Ｋｖを１とする。また、信頼度ｅが閾値ｔｈｅ１以上であり閾値ｔｈｅ２より小さい場合は、信頼度ｅに応じて歪み調整値Ｋｈ，Ｋｖを漸増（例えば線形に増加）させた値とする。
Figure 2010166512
（第６実施例）
歪み調整値の算出方法の第６実施例について説明する。本実施例では、ズーム倍率に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、撮像部２による撮像の際のレンズ部４のズーム倍率（光学）を示すズーム倍率情報となる。この場合、入力画像生成状況通知部２２が、ＣＰＵ１５や撮像部２によって構成されることとしても構わない。
歪み調整値算出部６３は、入力されるズーム倍率情報が示すズーム倍率が小さいほど、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。
レンズ部４のズーム倍率が大きい（即ち、望遠撮像する）場合、手ぶれや被写体の移動による歪みが大きくなりやすい。一方、レンズ部のズーム倍率が小さい（即ち、広角撮像する）場合、歪みが小さくなりやすい。そのため、ズーム倍率を小さくしている場合に算出される大きい歪みは、誤って算出されたものである可能性がある。このような場合、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪む場合が生じ得る。
そこで、本実施例のようにズーム倍率が小さい場合に歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。また、ズーム倍率が小さい場合、ズーム倍率が大きい場合と比較して歪みが目立ちにくいものとなる。そのため、歪み補正の程度を小さくしても好適な出力画像を得ることが可能となる。
なお、歪み調整値算出部６３が、図１３及び下記式（４）に示すように歪み調整値Ｋｈ，Ｋｖを算出することとしても構わない。図１３は、第６実施例の歪み調整値の算出方法を示すグラフである。図１３及び下記式（４）に示すように、ズーム倍率ｚが０以上であり閾値ｔｈｚ１より小さい場合は、歪み調整値Ｋｈ，Ｋｖを０にする。また、ズーム倍率ｚが閾値ｔｈｚ２以上である場合は、歪み調整値Ｋｈ，Ｋｖを１とする。また、ズーム倍率ｚが閾値ｔｈｚ１以上であり閾値ｔｈｚ２より小さい場合は、ズーム倍率ｚに応じて歪み調整値Ｋｈ，Ｋｖを漸増（例えば線形に増加）させた値とする。
Figure 2010166512
（変形例）
上述した第１〜第６実施例は、組み合わせて実施することが可能である。例えば、歪み調整値算出部６３が、複数の上記実施例を用いて算出したそれぞれの歪み調整値Ｋｈ，Ｋｖを加重加算した値（総合歪み調整値）を歪み調整値情報に含ませて、歪み補正処理部６４に出力することとしても構わない。そして、歪み補正処理部６４が、総合歪み調整値に基づいて、入力画像に歪み補正処理を施すこととしても構わない。
また、本変形例の場合であり、例えば第２実施例のように歪みが発生し得ないことを確認する算出方法を用いる場合、歪みが発生し得ないことが確認されたときに、他の算出方法による歪み調整値Ｋｈ，Ｋｖにかかわらず、総合歪み調整値を強制的に０にすることとしても構わない。
また、上記の各実施例では、上記式（１）によって調整後歪みを定義したため、歪み調整値が小さいほど（０に近いほど）歪み補正処理の程度が小さくなるものとした。しかしながら、本発明はこの例に限られない。調整後歪みの定義や、歪み補正処理の程度を最も小さくする歪み調整値の所定値は、上述の効果を得ることができるものであれば、どのように設定しても構わない。
＜＜その他の実施形態＞＞
また、本発明の実施形態における撮像装置１について、画像処理部６や歪み補正部６１などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
また、上述した場合に限らず、図２の撮像装置１や図３の歪み補正部６１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や歪み補正部６１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を搭載した撮像装置に関する。
１ 撮像装置
２ 撮像部
３ イメージセンサ
４ レンズ部
５ ＡＦＥ
６ 画像処理部
６１ 歪み補正部
６２ 歪み算出部
６３ 歪み調整値算出部
６４ 歪み補正処理部
７ 集音部
８ 音声処理部
９ 圧縮処理部
１０ 外部メモリ
１１ ドライバ部
１２ 伸長処理部
１３ 画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス
２１ 動き検出部
２２ 入力画像生成状況通知部

Claims (6)

  1. 撮像を行い、露光タイミングが領域毎に異なる入力画像を生成する画像生成部と、
    前記画像生成部による撮像の際に自機に生じた動きを検出する動き検出部と、
    前記動き検出部によって検出された前記動きに基づいて、前記入力画像に生じた歪みを算出する歪み算出部と、
    前記入力画像に対して、前記歪み算出部によって算出された前記歪みの補正を行い、出力画像を生成する歪み補正処理部と、を備え、
    前記歪み補正処理部が、前記入力画像の生成状況に基づいて前記歪みを補正する程度を制御することを特徴とする撮像装置。
  2. 前記画像生成部が、順次撮像を行う際の位置ずれを補正する手ぶれ補正処理を行う手ぶれ補正部を備え、
    前記歪み補正処理部が、前記手ぶれ補正処理が施されずに生成された前記入力画像に対する前記歪みの補正の程度を、前記手ぶれ補正処理が施されて生成された前記入力画像に対する前記歪みの補正の程度よりも小さくする、
    または、前記手ぶれ補正処理が施されずに生成された前記入力画像に対して、前記歪みの補正を行わないことを特徴とする請求項１に記載の撮像装置。
  3. 前記歪み補正処理部が、前記動き検出部が同一方向の継続した前記動きを検出した前記入力画像に対する前記歪みの補正の程度を、同一方向の継続した前記動きが検出されなかった前記入力画像に対する前記歪みの補正の程度よりも小さくする、
    または、同一方向の継続した前記動きが検出された前記入力画像に対して、前記歪みの補正を行わないことを特徴とする請求項１または請求項２に記載の撮像装置。
  4. 前記歪み補正処理部が、固定された前記撮像装置によって生成された前記入力画像に対して、前記歪みの補正を行わないことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
  5. 前記歪み補正処理部が、前記動き検出部が検出する前記動きの検出結果の信頼度が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
  6. 前記歪み補正処理部が、前記画像生成部による撮像の際のズーム倍率が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
JP2009009125A 2009-01-19 2009-01-19 撮像装置 Pending JP2010166512A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009009125A JP2010166512A (ja) 2009-01-19 2009-01-19 撮像装置
CN201010002526A CN101783885A (zh) 2009-01-19 2010-01-08 摄像装置及摄像方法
US12/689,642 US8451336B2 (en) 2009-01-19 2010-01-19 Image sensing apparatus and image sensing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009009125A JP2010166512A (ja) 2009-01-19 2009-01-19 撮像装置

Publications (1)

Publication Number Publication Date
JP2010166512A true JP2010166512A (ja) 2010-07-29

Family

ID=42336654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009009125A Pending JP2010166512A (ja) 2009-01-19 2009-01-19 撮像装置

Country Status (3)

Country Link
US (1) US8451336B2 (ja)
JP (1) JP2010166512A (ja)
CN (1) CN101783885A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643734B2 (en) 2010-11-10 2014-02-04 Apple Inc. Automatic engagement of image stabilization
US20120113515A1 (en) * 2010-11-10 2012-05-10 Karn Keith S Imaging system with automatically engaging image stabilization
JP2012222617A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2015039085A (ja) * 2011-12-14 2015-02-26 パナソニック株式会社 画像処理装置及び画像処理方法
US20130314508A1 (en) * 2012-05-25 2013-11-28 Takayuki Arima Management for super-reality entertainment
JP2015033108A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP6518115B2 (ja) * 2015-04-13 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
CN110213479B (zh) * 2019-04-30 2021-05-04 北京迈格威科技有限公司 一种视频拍摄防抖方法和装置
CN110278372B (zh) * 2019-06-26 2021-03-30 Oppo广东移动通信有限公司 防抖方法和装置、电子设备、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085552A (ja) * 2006-09-27 2008-04-10 Casio Comput Co Ltd 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2863188B2 (ja) * 1989-03-22 1999-03-03 松下電器産業株式会社 撮像装置
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
JP2001358999A (ja) 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
JP3925415B2 (ja) 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4315341B2 (ja) * 2004-08-03 2009-08-19 富士フイルム株式会社 流し撮り方法および撮影装置
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
JP4389779B2 (ja) 2004-12-27 2009-12-24 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP2006203463A (ja) * 2005-01-19 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示方法、画像撮像方法、及び画像合成方法
JP4743007B2 (ja) 2006-06-16 2011-08-10 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
JP4689687B2 (ja) 2008-01-29 2011-05-25 株式会社モルフォ 撮像方法および撮像装置
US8253812B2 (en) 2008-02-23 2012-08-28 Sanyo Electric Co., Ltd. Video camera which adopts a focal-plane electronic shutter system
JP5197064B2 (ja) 2008-02-23 2013-05-15 三洋電機株式会社 ビデオカメラ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085552A (ja) * 2006-09-27 2008-04-10 Casio Comput Co Ltd 撮像装置

Also Published As

Publication number Publication date
US8451336B2 (en) 2013-05-28
US20100182441A1 (en) 2010-07-22
CN101783885A (zh) 2010-07-21

Similar Documents

Publication Publication Date Title
JP6385212B2 (ja) 画像処理装置及び方法、撮像装置、及び画像生成装置
US7742690B2 (en) Imaging apparatus and method for processing imaging results
JP5183297B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2010166512A (ja) 撮像装置
US9723208B2 (en) Image processing apparatus, method for controlling the same, and storage medium
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JP2010273245A (ja) 撮像装置と振れ補正方法
JP2010063088A (ja) 撮像装置
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2011114823A (ja) 画像処理装置及び撮像装置
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
JP4742813B2 (ja) 画像処理装置および画像処理方法
JP5261765B2 (ja) 撮像装置及び撮像方法
JP2013165488A (ja) 画像処理装置、撮像装置、およびプログラム
US20120127330A1 (en) Image pickup device
JP2013251862A (ja) 撮像装置とその制御方法およびプログラム
JP2011155582A (ja) 撮像装置
JP5213604B2 (ja) 撮像装置
JP4969349B2 (ja) 撮像装置及び撮像方法
JP2011155420A (ja) 手ぶれ補正装置、撮像処理方法及びプログラム
JP4985716B2 (ja) 撮像装置、合焦評価領域の設定方法、及び、プログラム
JP2011030065A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130521

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130605