JP2007135056A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2007135056A
JP2007135056A JP2005327370A JP2005327370A JP2007135056A JP 2007135056 A JP2007135056 A JP 2007135056A JP 2005327370 A JP2005327370 A JP 2005327370A JP 2005327370 A JP2005327370 A JP 2005327370A JP 2007135056 A JP2007135056 A JP 2007135056A
Authority
JP
Japan
Prior art keywords
image
amount
correction amount
still image
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005327370A
Other languages
English (en)
Other versions
JP4446193B2 (ja
Inventor
Yasuhiro Kumaki
甚洋 熊木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005327370A priority Critical patent/JP4446193B2/ja
Priority to US11/557,645 priority patent/US7636106B2/en
Publication of JP2007135056A publication Critical patent/JP2007135056A/ja
Application granted granted Critical
Publication of JP4446193B2 publication Critical patent/JP4446193B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】動画像の撮影中に撮像された静止画像上の被写体の位置を、ユーザが表示画面において確認した被写体の位置により近いものとする。
【解決手段】振動検出部１１８は、加えられた振動を検出し、その振動の大きさを示す振動量を補正量算出部１１９に供給する。補正量算出部１１９は、振動量を基に、振動による影響を低減するように、撮像素子１１１の有効画素領域上の静止画像の画像データを読み出す静止画像領域をシフトさせるシフト量を算出する。領域修正部１３１は、有効画素領域上の動画像の画像データを読み出す動画像領域のシフト量と、静止画像領域のシフト量との差が、所定の閾値以上である場合、補正後の静止画像領域の中心から、補正後の動画像領域の中心までの距離が短くなるように、静止画像領域を修正する。本発明は、デジタルビデオカメラに適用することができる。
【選択図】図６

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、動画像の撮影中に静止画像を撮像する場合に用いて好適な画像処理装置および方法、並びにプログラムに関する。
携帯可能なデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置が、一般的に使用されるようになってきている。このような撮像装置においては、例えば、CCD（Charge Coupled Device）センサに代表される電荷転送型の固体撮像素子や、CMOS（Complementary Metal Oxide Semiconductor）センサに代表されるＸ‐Ｙアドレス型の固体撮像素子が撮像素子として用いられている。
撮像装置には、動画像の撮影中に手振れなどの振動が加えられたときに、その振動による影響を打ち消す機能（手振れを補正する機能）を有しているものもあり、その方法としては、加えられた振動の分だけレンズを移動させる方法と、撮像素子の有効画素領域上において、動画像のフィールドを構成する静止画像のデータを読み出す領域を、加えられた振動の分だけシフト（移動）させて、電子的に手振れを補正する方法（例えば、特許文献１参照）とがある。
レンズを移動させて振動による影響を打ち消す方法では、撮像装置には、レンズを移動させるためのアクチュエータが設けられているため、その分だけ撮像装置の大きさが大きくなり、消費電力も大きくなってしまう。そのため、振動による影響を打ち消す機能（手振れを補正する機能）を有する撮像装置においては、電子的に手振れを補正する構成とされる場合が多い。
また、近年では、動画像の撮影中に静止画像も撮像したいという要求も高まってきている。動画像を撮影すると同時に、静止画像を撮像する場合、図１に示すように、撮像素子の有効画素領域１１上において、動画像のフィールドを構成する静止画像のデータ（画像データ）を読み出す領域１２（以下、動画像領域とも称する）よりも、動画像の撮影中に撮像される静止画像のデータ（画像データ）を読み出す領域１３（以下、静止画像領域とも称する）の方が大きい領域とされることがある。
図１に示すように、動画像領域１２を有効画素領域１１よりもある程度小さい領域とすると、有効画素領域１１上において、手振れによる影響を補正するための余剰な領域を十分に設けることができる。また、動画像領域１２をある程度小さい領域として、各フィールドを構成する静止画像の画素数を少なくすることで、各フィールドの画像データのデータ量を小さくすることができるので、動画像の撮影時における処理時間を短くすることができる。これに対して、静止画像領域１３を有効画素領域１１よりもわずかに小さい領域とすると、静止画像の撮像時に、より画角が広い高解像度の静止画像を撮像することができる。
撮影される動画像を電子的に補正する場合、図２の左側に示されるように、有効画素領域１１における被写体の位置が、加えられた振動によって図中、有効画素領域１１の中央から時間の経過とともに右下に移動すると、撮像装置は加えられた振動を検出し、検出された振動の影響を打ち消すように動画像領域をシフトさせる。
図２の左側では、撮影開始時、すなわち最初のフィールドの動画像領域２１は、有効画素領域１１の中央とされており、その次のフィールドの動画像領域２２は、有効画素領域１１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域２３は、動画像領域２２よりもさらに右下にシフトされている。このように、各フィールドの動画像領域は、検出された振動の影響を打ち消すようにシフトされるので、図中、中央に示すように、各フィールドの静止画像上において、被写体の位置が静止画像上の中央となるように手振れの補正が行われ、図中、右側に示すように、動画像が再生されて表示される表示画面上において、被写体の位置は表示画面の中央となり、ユーザに対して被写体がぶれて見えることがなくなる。
これに対して、静止画像においては、動画像のように、複数のフィールドの静止画像を連続的に表示することはないので、表示画面に表示される被写体がぶれて見えることはない。そのため、動画像の撮影中に、静止画像を撮像する場合、被写体が静止画像領域１３内に位置していれば（静止画像として写っていれば）よいとされていた。すなわち、静止画像に対して手振れの補正を行うことにより得られる効果は少なく、静止画像に対する手振れの補正は、一般的には意義が少ないものとされていた。
特開２００５−１７５５８１号公報
従来、動画像の撮影中に、撮像装置に加えられた振動（手振れ）の影響を電子的に補正する場合、図３に示すように、撮影される動画像に対しては、手振れの補正が行われていたが、静止画像に対しては、手振れの補正が行われていなかった。なお、図３において、図２と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
図３の左側では、動画像の撮影開始時、すなわち動画像の最初のフィールドの動画像領域２１は、有効画素領域１１の中央とされており、その次のフィールドの動画像領域２２は、有効画素領域１１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域２３は、動画像領域２２よりもさらに右下にシフトされている。これに対して、静止画像に対しては手振れの補正はなされないので、静止画像領域１３はシフトされない。
したがって、各時刻における動画像領域の中心と、静止画像領域の中心とは一致するとは限らない。図３の中央に示すように、各フィールドの動画像領域２１乃至動画像領域２３のそれぞれにおける被写体の位置は、動画像領域２１乃至動画像領域２３の中央となるが、静止画像領域１３における被写体の位置は、静止画像が撮像される時刻により異なる。
動画像に対しては手振れの補正が行われるので、図３の右側に示すように、動画像の撮影時に撮像装置の表示画面３１に表示される被写体の位置は表示画面３１の中央となるが、各時刻における動画像領域の中心と、静止画像領域の中心とは必ずしも一致せず、図３の右下に示すように、静止画像上における被写体の位置が、静止画像の図中、右下などの中央ではない位置となってしまうことがあった。
ユーザは、撮像装置により撮影された動画像が表示される表示画面３１を見て画角を確認しながら静止画像（動画像）の撮像を行うので、ユーザには、被写体が表示画面３１の中央に写っているように見えても、実際に撮像されて得られた静止画像においては、被写体が中央に写っているとは限らず、ユーザにとって不便であった。
そこで、図４の中央に示すように、静止画像領域も動画像領域と同じだけシフトさせることによって、各時刻における静止画像領域の中心の位置と、動画像領域の中心の位置とを一致させ、各時刻において撮像された静止画像に写っている被写体の位置が、ユーザが撮像時に見ていた撮像装置の表示画面３１上における被写体の位置と同じ位置となるようにすることができる。
図４の中央では、動画像領域２１乃至動画像領域２３のそれぞれの中心と、動画像領域２１乃至動画像領域２３のそれぞれのフィールドが撮影された時刻に、同時に撮像された静止画像の静止画像領域４１乃至静止画像領域４３のそれぞれの中心とが一致するように、動画像および静止画像の手振れの補正が行われている。
したがって、図中、右側に示すように、各時刻において撮像された静止画像に写っている被写体は、ユーザが撮像時に見ていた撮像装置の表示画面３１上における被写体と同じように、静止画像の中央に位置することとなる。
しかしながら、図１に示したように、有効画素領域１１上における静止画像領域１３は、動画像領域１２よりも大きく設けられているため、静止画像領域１３を動画像領域１２と同じだけシフトさせて手振れの補正を行うと、図５に示すように、シフト後（補正後）の静止画像領域が有効画素領域１１からはみ出してしまう場合があった。
図５の左側では、動画像の最初のフィールドの動画像領域５１は、有効画素領域１１の中央とされており、その次のフィールドの動画像領域５２は、有効画素領域１１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域５３は、動画像領域５２よりもさらに右下にシフトされている。このように、各フィールドの動画像領域は、検出された振動の影響を打ち消すようにシフトされる。
また、静止画像領域も、動画像領域と同様に、検出された振動の影響を打ち消すようにシフトされる。図中、中央の左側には、手振れを補正するために動画像領域と同じだけシフトされた静止画像領域が示されている。すなわち、静止画像領域６１乃至静止画像領域６３のそれぞれは、動画像領域５１乃至動画像領域５３の動画像の撮影時刻のそれぞれと同じ時刻に撮像された静止画像の静止画像領域を表わしている。
図中、中央に示すように、静止画像領域６１および静止画像領域６２の中心と、動画像領域５１および動画像領域５２の中心とは同じ位置であり、図中、右側に示すように、静止画像領域６１および静止画像領域６２の静止画像に写っている被写体は、ユーザが撮像時に見ていた撮像装置の表示画面上における被写体と同じように、静止画像の中央に位置している。
ところが、図中、中央の下側に示すように、静止画像領域６３の中心と、動画像領域５３の中心とは同じ位置であり、動画像領域５３は、有効画素領域１１内の領域となっているが、静止画像領域６３は、有効画素領域１１からはみ出してしまっている。ここで、図中、静止画像領域６３内の斜線の部分は、有効画素領域１１からはみ出してしまっている領域を表わしている。
このように、静止画像領域６３の有効画素領域１１からはみ出した部分は、画像データのない領域であり、画像データを読み出すことはできないので、静止画像上において黒くなってしまったり、静止画像領域６３内の有効画素領域１１の端の部分が引き伸ばされた画像となってしまったりして、静止画像が不自然なものとなってしまう。
本発明は、このような状況に鑑みてなされたものであり、動画像の撮影中に静止画像を撮像する場合に、静止画像上の被写体の位置を、ユーザが撮像装置の表示画面において確認した被写体の位置により近いものとし、かつ撮像により得られる静止画像を、違和感を与えることのないより自然な画像とすることができるようにするものである。
本発明の一側面の画像処理装置には、撮像素子により第１の画像を撮像する撮像手段と、加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出手段と、前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出する算出手段と、前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更する変更手段と、前記第１の補正量に基づいて前記第２の画像を補正する補正手段とが設けられている。
前記算出手段には、算出された前記第１の補正量が、予め定められた所定の値よりも大きい場合、前記値を第１の補正量とさせるようにすることができる。
前記算出手段には、前記振動量および前記第１の補正量を基に、前記振動により生じる前記第２の画像の歪みの影響を低減するように、前記第２の画像を構成する画素の各ラインの位置を移動させる移動量を示す歪み補正量をさらに算出させ、前記補正手段には、前記第１の補正量および前記歪み補正量に基づいて、前記第２の画像を補正させるようにすることができる。
前記算出手段には、前記第２の画像を構成する画素の所定のラインの前記歪み補正量が、前記第１の補正量に基づく所定の値よりも大きい場合、前記値を前記ラインの歪み補正量とさせるようにすることができる。
本発明の一側面の画像処理方法またはプログラムは、撮像素子により第１の画像を撮像し、加えられた振動を検出し、その振動の大きさを示す振動量を出力し、前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出し、前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更し、前記第１の補正量に基づいて前記第２の画像を補正するステップを含む。
本発明の一側面においては、撮像素子により第１の画像が撮像され、加えられた振動が検出され、その振動の大きさを示す振動量が出力され、前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とが算出される。そして、前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域が変更され、前記第１の補正量に基づいて前記第２の画像が補正される。
以上のように、本発明の一側面によれば、静止画像を撮像することができる。特に、本発明の一側面によれば、動画像の撮影中に静止画像を撮像する場合に、静止画像上の被写体の位置を、ユーザが撮像装置の表示画面において確認した被写体の位置により近いものとし、かつ撮像により得られる静止画像をより自然な画像とすることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置は、撮像素子により第１の画像を撮像する撮像手段（例えば、図６の撮像素子１１１）と、加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出手段（例えば、図６の振動検出部１１８）と、前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出する算出手段（例えば、図６の補正量算出部１１９）と、前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更する変更手段（例えば、図６の領域修正部１３１）と、前記第１の補正量に基づいて前記第２の画像を補正する補正手段（例えば、図６の画像補間部１１４）とを備える。
前記算出手段（例えば、図１７のステップＳ５１の処理乃至ステップＳ５４の処理を実行する補正量算出部１１９）には、算出された前記第１の補正量が、予め定められた所定の値よりも大きい場合、前記値を第１の補正量とさせるようにすることができる。
前記算出手段（例えば、図１３のステップＳ１３の処理を実行する補正量算出部１１９）には、前記振動量および前記第１の補正量を基に、前記振動により生じる前記第２の画像の歪みの影響を低減するように、前記第２の画像を構成する画素の各ラインの位置を移動させる移動量を示す歪み補正量をさらに算出させ、前記補正手段（例えば、図１８のステップＳ８３の処理を実行する画像補間部１１４）には、前記第１の補正量および前記歪み補正量に基づいて、前記第２の画像を補正させるようにすることができる。
前記算出手段（例えば、図１３のステップＳ１６の処理を実行する補正量算出部１１９）には、前記第２の画像を構成する画素の所定のラインの前記歪み補正量が、前記第１の補正量に基づく所定の値よりも大きい場合、前記値を前記ラインの歪み補正量とさせるようにすることができる。
本発明の一側面の画像処理方法またはプログラムは、撮像素子により第１の画像を撮像し（例えば、図１３のステップＳ２０）、加えられた振動を検出し、その振動の大きさを示す振動量を出力し（例えば、図１３のステップＳ１１）、前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出し（例えば、図１３のステップＳ１２）、前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更し（例えば、図１３のステップＳ１８）、前記第１の補正量に基づいて前記第２の画像を補正する（例えば、図１８のステップＳ８３）ステップを含む。
以下、図面を参照して本発明を適用した実施の形態について説明する。
図６は、本発明を適用した画像処理装置の構成例を示すブロック図である。
画像処理装置１００は、撮像素子１１１、AFE（Analog Front End）１１２、信号処理部１１３、画像補間部１１４、ＴＧ（Timing Generator）１１５、メモリコントローラ１１６、メモリ１１７、振動検出部１１８、補正量算出部１１９、およびメモリ１２０を含むように構成される。
撮像素子１１１は、例えば、電荷転送型の固体撮像素子（CCDセンサなど）や、Ｘ‐Ｙアドレス型の固体撮像素子（CMOSセンサなど）により構成される。撮像素子１１１により撮像された被写体の画像のデータ（静止画像または、動画像のフィールドを構成する静止画像の画像データ）は、AFE１１２に供給される。
AFE１１２は、供給された画像データをデジタル信号の画像データに変換し、信号処理部１１３またはメモリ１２０に供給する。信号処理部１１３は、AFE１１２またはメモリ１２０から供給された画像データから、輝度信号と色差信号を算出し、その算出したそれぞれの信号を、画像補間部１１４に供給する。
画像補間部１１４に供給される画像データは、撮像素子１１１により撮像された被写体の画像のデータであるが、撮像素子１１１により撮像された画像の全てのデータが、画像補間部１１４に供給されるわけではなく、ＴＧ１１５からのタイミングに従って読み出された画像データのみが、画像補間部１１４に供給される。
画像補間部１１４に供給されたデータは、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。逆にメモリ１１７に記憶されたデータは、メモリコントローラ１１６の指示により読み出され、画像補間部１１４に供給される。画像補間部１１４は、供給された画像データに対して、手ぶれの補正を行うための処理などを施し、図示されていない記録媒体に出力して、画像データを記録させたり、図示されていないディスプレイなどに出力し、静止画像または動画像を表示させたりする。
なお、ここでは、画像処理装置１００に加えられる振動として、ユーザの手振れを例に挙げて説明するが、手振れ以外の振動であっても、本発明を適用することはできる。
画像補間部１１４、ＴＧ１１５、およびメモリコントローラ１１６は、振動検出部１１８により検出された振動量に応じ、補正量算出部１１９により算出された手振れ補正量に基づいた制御を行う。
振動検出部１１８は、例えば、角速度センサなどのセンサを用いた方法や、画像処理等によるセンサレスの手ぶれ検出の方法などが用いられ、動画像の撮影中に画像処理装置１００に加えられた振動の量（振動量）を検出する。例えば、振動検出部１１８が、角速度センサにより構成されていた場合、その角速度センサは、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータを補正量算出部１１９に供給する。
補正量算出部１１９は、手振れに伴う動きを補正するための手振れ補正量を算出する。例えば、補正量算出部１１９は、振動検出部１１８から供給されたデータを用いて、撮像素子１１１の有効画素領域上において、静止画像領域または動画像領域を何画素（ピクセル）移動させれば加えられた手振れによる影響を低減できるかというシフト量を手振れ補正量として算出する。
また、補正量算出部１１９は、領域修正部１３１を備えている。補正量算出部１１９の領域修正部１３１は、必要に応じて、有効画素領域から静止画像の画像データを読み出す静止画像領域を修正（変更）する。
メモリ１２０は、AFE１１２から供給された画像データを記憶する。また、メモリ１２０は、補正量算出部１１９から供給されたシフト量、修正された静止画像領域を示す領域情報などを記憶する。メモリ１２０は、記憶している画像データ、シフト量、領域情報などを、信号処理部１１３を介して画像補間部１１４に供給する。
ところで、画像処理装置１００の撮像素子１１１が、CMOSセンサなどのＸ‐Ｙアドレス型の固体撮像素子により構成されている場合、動画像の撮影中に静止画像を撮像するときにはメカシャッタを用いることができないので、フォーカルプレーンシャッタ方式（ローリングシャッタ方式）と称される露光方式により静止画像が撮像される。
フォーカルプレーンシャッタ方式においては、１ライン単位で露光が行われるので、静止画像（静止画像領域）を構成する画素のラインごとに露光期間にずれ（時間差）が生じる。そのため、静止画像の撮像中に画像処理装置１００に振動が加えられると、その振動の影響により撮像された静止画像に歪みが生じてしまう。ここで、ラインとは、静止画像（静止画像領域）を構成する複数の画素が所定の方向に並べられた画素の列をいう。
例えば、図７の左側に示すように、有効画素領域１５１における被写体の位置が、加えられた振動によって図中、有効画素領域１５１の中央から時間の経過とともに右下に移動すると、加えられた振動が検出され、検出された振動の影響を打ち消すように動画像領域がシフトされる。
図７の左側では、動画像の最初のフィールドの動画像領域１６１は、有効画素領域１５１の中央とされており、その次のフィールドの動画像領域１６２は、有効画素領域１５１の中央から右下にシフトされており、さらに、その次のフィールドの動画像領域１６３は、動画像領域１６２よりもさらに右下にシフトされている。このように、各フィールドの動画像領域は、検出された振動の影響を打ち消すようにシフトされる。
また、静止画像領域も、動画像領域と同様に、検出された振動の影響を打ち消すようにシフトされる。図中、中央の左側には、手振れを補正するために動画像領域と同じだけシフトされた静止画像領域が示されている。すなわち、静止画像領域１７１乃至静止画像領域１７３のそれぞれは、動画像領域１６１乃至動画像領域１６３の動画像の撮影時刻のそれぞれと同じ時刻に撮像された静止画像の静止画像領域を表わしている。
また、図中、中央に示すように、各時刻における有効画素領域１５１上の被写体は歪んで写っている。また、静止画像領域１７１および静止画像領域１７２の中心と、動画像領域１６１および動画像領域１６２の中心とは同じ位置となっている。
ところが、図中、中央に示すように、静止画像領域１７３の中心と、動画像領域１６３の中心とは同じ位置であり、動画像領域１６３は、有効画素領域１５１内の領域となっているが、静止画像領域１７３は、有効画素領域１５１からはみ出してしまっている。ここで、図中、静止画像領域１７３内の斜線の部分は、有効画素領域１５１からはみ出してしまっている領域を表わしている。
画像処理装置１００は、静止画像領域が有効画素領域１５１からはみ出さないように、静止画像領域のシフト量を制限する。さらに、画像処理装置１００は、フォーカルプレーンシャッタ方式により生じる被写体の歪みを補正するために、静止画像領域（動画像領域）のラインごとに、そのライン（の画像）を何画素（ピクセル）移動させれば被写体の歪みを低減できるかという歪み補正量を手振れ補正量として算出し、静止画像（動画像）の補正を行う。
ここで、歪み補正量とは、被写体の歪みを低減させるために、静止画像領域（動画像領域）の中心のラインを基準として、中心のラインに対して他のラインを移動させる相対的なシフト量をいう。シフト量および歪み補正量の詳細については後述する。
また、以下では、撮像素子１１１がＸ‐Ｙアドレス型の固体撮像素子により構成されており、画像処理装置１００が、シフト量および歪み補正量を、手振れによる影響を低減させるための手振れ補正量として算出し、静止画像（動画像）の補正を行うものとして説明を続ける。なお、撮像素子１１１が電荷転送型の固体撮像素子により構成される場合には、手振れによる被写体の歪みは生じないので、手振れ補正量としてシフト量だけが算出されて、静止画像（動画像）の補正が行われる。
次に、図８乃至図１２を参照して、動画像の撮影中に撮像された静止画像に対する手振れの補正について説明する。
まず、図８に示すように、画像処理装置１００の撮像素子１１１の有効画素領域２０１に対して、有効画素領域２０１よりもある程度小さい領域を動画像領域２０２とし、有効画素領域２０１よりもわずかに小さく、動画像領域２０２よりも大きい領域を静止画像領域２０３とする。そして、画像処理装置１００は、画像処理装置１００に加えられた振動の量（振動量）を検出して、その検出結果に基づいて、静止画像領域２０３のシフト量、および静止画像領域２０３のラインごとの歪み補正量を算出して手振れの補正を行う。
図８では、動画像領域２０２よりも静止画像領域２０３の方が大きいので、動画像領域２０２をシフト（移動）させることができる距離は、静止画像領域２０３をシフト（移動）させることができる距離よりも長くなる。
例えば、算出されたシフト量が０である場合、図９に示すように、画像処理装置１００は、静止画像領域２０３の中心をシフトさせずに、各ラインの歪み補正量に基づいて各ラインをシフトさせ、手振れによる静止画像の歪みを補正する。その結果、歪み補正量に基づいて各ラインがシフトされた静止画像領域２１１から画像データが読み出され、静止画像の画像データとされる。
また、算出されたシフト量が０でない場合、図１０に示すように、画像処理装置１００は、静止画像領域２０３（の中心）を算出されたシフト量により示される距離だけシフトさせ、さらに、歪み補正量に基づいて各ラインをシフトさせて手振れを補正する。
図１０では、点線で示される動画像領域２０２および静止画像領域２０３は、シフト前（補正前）の動画像領域および静止画像領域を表わしており、実線で示される動画像領域２２１および静止画像領域２２２は、シフト後（補正後）の動画像領域および静止画像領域を表わしている。また、図中、中央に示される矢印は、動画像領域２０２および静止画像領域２０３をシフトさせたシフト量を示しており、図１０では、動画像領域２０２のシフト量および静止画像領域２０３のシフト量は同じとされている。
さらに、算出されたシフト量に基づいて静止画像領域２０３をシフトさせると、静止像領域２０３が有効画素領域２０１からはみ出てしまう場合、画像処理装置１００は、図１１に示すように、静止画像領域２０３のシフト量を制限する。
図中、点線で示される動画像領域２０２および静止画像領域２０３は、シフト前（補正前）の動画像領域および静止画像領域を表わしており、実線で示される動画像領域２３１および静止画像領域２３２は、シフト後（補正後）の動画像領域および静止画像領域を表わしている。また、中央に示される実線の矢印は、動画像領域２０２をシフトさせたシフト量を示しており、点線の矢印は、静止画像領域２０３をシフトさせたシフト量を示している。
図１１では、静止画像領域２０３は、図中、右下の方向にシフトされており、シフト後の静止画像領域が、有効画素領域２０１内となるように、図中、下方向および右方向のシフト量が制限されている。具体的には、シフト後の静止画像領域２３２の一番下のラインが、有効画素領域２０１の一番下の位置となり、シフト後の静止画像領域２３２の一番右側が、有効画素領域２０１の一番右の位置となるように静止画像領域２０３のシフト量が制限されている。
このように、図１１の例においては、動画像領域２０２のシフト量は制限されないが、静止画像領域２０３のシフト量は制限されるので、静止画像領域２０３のシフト量は、動画像領域２０２のシフト量よりも小さくなる。
さらに、動画像領域２０２のシフト量と、静止画像領域２０３のシフト量とが大きく異なる場合には、シフト後の動画像領域の中心の位置と、静止画像領域の中心の位置とが大きく異なるため、画像処理装置１００は、シフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるように、静止画像領域を縮小する。
例えば、静止画像領域２０３のシフト量と、動画像領域２０２のシフト量との差が、予め定められた所定の閾値以上である場合、画像処理装置１００は、図１２に示すように、静止画像領域を縮小する。
図中、点線で示される動画像領域２０２および静止画像領域２０３は、シフト前（補正前）の動画像領域および静止画像領域を表わしており、実線で示される動画像領域２５１は、シフト後（補正後）の動画像領域を表わしている。また、一転鎖線で示される静止画像領域２６１は、シフト後の静止画像領域を表わし、実線で示される静止画像領域２７１は、シフト後にさらに縮小された静止画像領域を表わしている。
さらに、図中、左上の矢印は、シフト後の静止画像領域２６１が縮小される方向を示しており、中央に示される実線の矢印は、動画像領域２０２をシフトさせたシフト量を示しており、点線の矢印は、静止画像領域２０３をシフトさせたシフト量を示している。
図１２では、静止画像領域２０３は、図中、右下の方向にシフトされて、さらに、シフト後の静止画像領域２６１の中心の位置が、シフト後の動画像領域２５１の中心の位置により近い位置となるように、静止画像領域２６１が縮小されている。具体的には、シフト後の静止画像領域２６１の図中、上側の端が、下方向に移動し、左側の端が図中、右方向に移動するように静止画像領域２６１が縮小される。このとき、静止画像領域２６１の図中、下側の端および右側の端はそのままの位置とされている。
このように、シフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるように、静止画像領域を縮小させることによって、静止画像領域を有効画素領域２０１内の領域とし、撮像により得られる静止画像上の被写体の位置を、ユーザが画像処理装置１００の表示画面において確認した被写体の位置により近いものとすることができる。
ユーザが画像処理装置１００を操作して、動画像の撮影を指示すると、画像処理装置１００は、その操作に応じて動画像の撮影を開始する。すなわち、撮像素子１１１は、被写体を撮像して、これにより得られた画像データを、AFE１１２および信号処理部１１３を介して画像補間部１１４に供給する。画像補間部１１４は、信号処理部１１３から供給された画像データを、メモリコントローラ１１６を介してメモリ１１７に供給し、メモリ１１７は供給された画像データを記憶する。
また、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、動画像の手振れを補正するためのシフト量および歪み補正量を算出する。補正量算出部１１９は、算出したシフト量および歪み補正量を、メモリコントローラ１１６を介してメモリ１１７に供給する。そして、画像補間部１１４は、メモリ１１７から画像データ、シフト量、および歪み補正量を取得して、シフト量および歪み補正量に基づいて動画像領域をシフト（移動）させる。画像補間部１１４は、動画像を構成するフィールドごとの動画像領域から画像データを読み出して、図示せぬ記録媒体に供給し、これを動画像データとして記録させる。
このようにして、画像処理装置１００は、ユーザの操作に応じて、動画像を撮影する。さらに、画像処理装置１００が動画像を撮影しているときに、ユーザが画像処理装置１００を操作して、静止画像の撮像を指示すると、画像処理装置１００は、静止画像を撮像するとともに、静止画像の手振れ補正量を算出する処理である手振れ補正量の算出処理を行う。以下、図１３のフローチャートを参照して、画像処理装置１００による手振れ補正量の算出処理について説明する。
ステップＳ１１において、補正量算出部１１９は、振動検出部１１８から、振動検出部１１８において検出された振動量（のデータ）を取得する。
例えば、図１４に示すように、図中、右方向をＸ方向とし、下方向をＹ方向とすると、補正量算出部１１９は、Ｘ方向およびＹ方向の振動量を取得する。なお、図１４において、有効画素領域２０１および静止画像領域２０３は、図８における場合と同様であるため同一の符号を付してあり、繰り返しになるのでその説明は省略する。
また、図中、矢印ＸＳは、静止画像領域２０３の右端から、有効画素領域２０１の右端までの距離を示している。すなわち、ＸＳは、有効画素領域２０１上において、静止画像領域２０３をＸ方向にシフト（移動）させることができる余剰の大きさを示している。同様に、矢印ＹＳは、静止画像領域２０３の上端から、有効画素領域２０１の上端までの距離を示している。すなわち、ＹＳは、有効画素領域２０１上において、静止画像領域２０３をＹ方向にシフトさせることができる余剰の大きさを示している。以下、矢印ＸＳおよび矢印ＹＳにより示される距離を単にＸＳおよびＹＳと称する。
また、振動検出部１１８においては、Ｘ方向またはＹ方向の振動量として、例えば、図１５に示すように振動量が検出されて、補正量算出部１１９に供給される。
図１５に示した例では、振動検出部１１８により、１画面（静止画像領域２０３）が９つのラインで構成され、その１画面において、それぞれのライン毎に９つの振動量が取得される場合を示している。すなわち、ライン８のときに振動量Ｐ８が、ライン７のときに振動量Ｐ７が、ライン６のときに振動量Ｐ６が、ライン５のときに振動量Ｐ５が、ライン４のときに振動量Ｐ４が、ライン３のときに振動量Ｐ３が、ライン２のときに振動量Ｐ２が、ライン１のときに振動量Ｐ１が、ライン０のときに振動量Ｐ０が、それぞれ取得される。
なお、ここでは、説明の都合上、１画面が９ラインで構成されるとしているが、実際には９ライン以上のライン数で構成されている。また、ここでは９ライン毎に振動量が取得されるとするが、実際には、振動量を取得するサンプリング周波数と、ラインの読み出しのタイミングにはずれがあるため（露光時間などに読み出し時間は依存し、変化するために、サンプリング周波数などの一定の周期を有するタイミングとは一致しないときがあるため）、ライン毎に露光時間の中央で振動量が取得できるとは限らない。
そこで、所定のラインで取得された振動量は、そのラインを含む数ラインで共通して用いられる。または、取得された離散的な振動量を用いて補間を行い、ライン毎の振動量が生成される。
図１３のフローチャートの説明に戻り、ライン毎にＸ方向およびＹ方向の振動量が取得されると、ステップＳ１２において、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、Ｘ方向およびＹ方向のシフト量を算出する。
例えば、補正量算出部１１９は、振動検出部１１８から供給された振動量のうち、画面（静止画像領域２０３）の中心のラインのＸ方向およびＹ方向の振動量を基に、それぞれＸ方向およびＹ方向のシフト量を算出する。
シフト量とは、振動量を、振動のない状態（振動による影響が低減された状態）にするために、どれだけの補正を行えば良いのかを表す画素（ピクセル）単位の値である。静止画像領域２０３のシフト量は、静止画像領域２０３の中心のラインの露光時に検出された振動量を基に算出される。
例えば、図１５がＸ方向の振動量を示した例であるとすると、画面の中心のラインはライン４であるので、ライン４のＸ方向の振動量がＰ４ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわちこの場合、−Ｐ４ピクセルがＸ方向のシフト量として算出されるようにすれば良い。また、Ｘ方向のシフト量と同様にして、補正量算出部１１９は、振動検出部１１８から供給されたＹ方向の振動量のうち、画面の中心のラインの振動量を基に、Ｙ方向のシフト量を算出する。
ステップＳ１３において、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、Ｘ方向およびＹ方向のラインごとの歪み補正量を算出する。歪み補正量とは、被写体の歪みのない状態にするために、画面の中心のラインに対して、画面を構成する各ラインをどれだけシフトさせて補正を行えば良いかを表す画素（ピクセル）単位の値である。
例えば、図１５がＸ方向の振動量を示した例であるとして、ライン８のＸ方向の歪み補正量を算出する場合を考える。画面の中心のラインはライン４であり、ライン４のＸ方向の振動量がＰ４ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわち−Ｐ４ピクセルだけライン４をシフトさせればよい。同様に、ライン８のＸ方向の振動量がＰ８ピクセルである状態を、振動のない状態にするためには、符号の異なる絶対値、すなわち−Ｐ８ピクセルだけライン８をシフトさせればよい。したがって、被写体がＸ方向に歪みのない状態にするためには、ライン８をライン４に対して、Ｘ方向にＰ４−Ｐ８（＝（−Ｐ８）−（−Ｐ４））ピクセルだけシフトさせればよいので、補正量算出部１１９は、Ｐ４−Ｐ８をライン８のＸ方向の歪み補正量として算出する。
補正量算出部１１９は、ライン０乃至ライン７についても、ライン８における場合と同様に、Ｘ方向の歪み補正量を算出する。また、補正量算出部１１９は、Ｘ方向の歪み補正量と同様にＹ方向の歪み補正量も算出する。さらに、補正量算出部１１９は、ステップＳ１１の処理乃至ステップＳ１４の処理を行って、静止画像（静止画像領域２０３）に対するシフト量および歪み補正量を算出すると同時に、上述したように、動画像（動画像領域２０２）に対するシフト量および歪み補正量も算出する。
補正量算出部１１９は、シフト量および歪み補正量を算出すると、算出したシフト量および歪み補正量をメモリ１２０に供給する。また、補正量算出部１１９は、予め定められた静止画像領域２０３を示す領域情報を生成して、メモリ１２０に供給する。ここで、領域情報は、例えば、図１４の静止画像領域２０３のＸ方向の大きさ、Ｙ方向の大きさ、静止画像領域２０３の左上の頂点の有効画素領域２０１上の位置などの情報が含まれる情報とすることができる。
ステップＳ１４において、メモリ１２０は、補正量算出部１１９から供給された領域情報、シフト量、および歪み補正量を記憶する。
ステップＳ１５において、補正量算出部１１９は、メモリ１２０に記憶されているシフト量を参照して、シフト量の制限処理を行う。なお、シフト量の制限処理の詳細は後述するが、シフト量の制限処理において、補正量算出部１１９は、シフト後の静止画像領域が、有効画素領域２０１からはみ出さないように（有効画素領域２０１内の領域となるように）、算出されたＸ方向のシフト量およびＹ方向のシフト量を制限する。補正量算出部１１９は、シフト量を制限すると、制限されたシフト量をメモリ１２０に供給する。
なお、より詳細には、シフト後の静止画像領域が、有効画素領域２０１からはみ出さない場合には、シフト量の制限処理においてシフト量は制限されないが、以下では、シフト量の制限処理前のシフト量と、シフト量の制限処理後のシフト量とを区別するため、シフト量の制限処理後のシフト量を、制限されたシフト量と称する。
ステップＳ１６において、補正量算出部１１９は、メモリ１２０に記憶されているＸ方向およびＹ方向の歪み補正量と、制限されたＸ方向およびＹ方向のシフト量に基づいて、各ラインのＸ方向およびＹ方向の歪み補正量を制限する。
例えば、補正量算出部１１９は、静止画像領域２０３を構成する所定のラインを、ステップＳ１５において制限されたＸ方向のシフト量だけシフトさせ、さらに、そのラインをＸ方向の歪み補正量だけシフトさせた場合に、そのラインが有効画素領域２０１内にあるとき、算出されたＸ方向の歪み補正量を制限せずに、そのままＸ方向の歪み補正量として用いる。
これに対して、静止画像領域２０３を構成する所定のラインを、制限されたＸ方向のシフト量だけシフトさせ、さらに、そのラインをＸ方向の歪み補正量だけシフトさせた場合に、そのラインが有効画素領域２０１内にないとき、すなわち、ラインの端が有効画素領域２０１からはみ出すとき、そのラインが有効画素領域２０１内となるように、Ｘ方向の歪み補正量を制限する。
例えば、図１４に示した静止画像領域２０３を構成する所定のラインを、制限されたＸ方向のシフト量だけシフトさせ、さらに、Ｘ方向の歪み補正量だけシフトさせると、そのラインの図中、右端が有効画素領域２０１の右端よりも右側の位置となってしまう場合、補正量算出部１１９は、そのラインを、制限されたＸ方向のシフト量だけシフトさせ、さらに、Ｘ方向の歪み補正量だけシフトさせたときに、ラインの右端の位置が、有効画素領域２０１の右端の位置となるように、Ｘ方向の歪み補正量を制限する。
例えば、制限された静止画像領域２０３のＸ方向のシフト量をＰＸとすると、静止画像領域２０３の所定のラインのＸ方向の歪み補正量が正の値であり、ＸＳ−ＰＸの値よりも大きい場合には、そのラインは、有効画素領域２０１からはみ出てしまうので、そのラインのＸ方向の歪み補正量をＸＳ−ＰＸとして、歪み補正量を制限する。また、歪み補正量が負の値であり、歪み補正量の絶対値がＸＳ＋ＰＸの値よりも大きい場合には、そのラインは、有効画素領域２０１からはみ出てしまうので、そのラインのＸ方向の歪み補正量を−（ＸＳ＋ＰＸ）として、歪み補正量を制限する。
補正量算出部１１９は、Ｘ方向の歪み補正量を制限する場合と同様に、Ｙ方向の歪み補正量も制限する。このようにして、補正量算出部１１９は、静止画像領域２０３を構成する全てのラインについて、Ｘ方向およびＹ方向の歪み補正量を制限する。補正量算出部１１９は、歪み補正量を制限すると、制限した歪み補正量をメモリ１２０に供給する。
なお、より詳細には、歪み補正量に基づくシフト後の静止画像領域が、有効画素領域２０１からはみ出さない場合にはステップＳ１６の処理において歪み補正量は制限されないが、以下では、ステップＳ１６の処理において歪み補正量を制限する前の歪み補正量と、ステップＳ１６の処理において歪み補正量が制限された後の歪み補正量とを区別するため、ステップＳ１６の処理において歪み補正量が制限された後の歪み補正量を、制限された歪み補正量と称する。
ステップＳ１７において、補正量算出部１１９の領域修正部１３１は、補正量算出部１１９が算出した、動画像領域２０２のシフト量と、制限された静止画像領域２０３のシフト量との差が、予め定められた所定の閾値以上であるか否かを判定する。
例えば、動画像領域２０２のＸ方向およびＹ方向のシフト量を、それぞれＭＸおよびＭＹとし、制限された静止画像領域２０３のＸ方向およびＹ方向のシフト量を、それぞれＰＸおよびＰＹとし、予め定められた所定の閾値をＴｈとすると、領域修正部１３１は、式（１）に基づいて、動画像領域２０２のシフト量と、制限された静止画像領域２０３のシフト量との差が、予め定められた所定の閾値以上であるか否かを判定する。
（（ＭＸ）2＋（ＭＹ）2）1/2−（（ＰＸ）2＋（ＰＹ）2）1/2≧Ｔｈ ・・・（１）
領域修正部１３１は、ＭＸ、ＭＹ、ＰＸ、ＰＹ、およびＴｈが、式（１）の関係を満たす場合、動画像領域２０２のシフト量と、制限された静止画像領域２０３のシフト量との差が、予め定められた所定の閾値以上であると判定する。
ステップＳ１７において、予め定められた所定の閾値以上であると判定された場合、シフト後の動画像領域の中心の位置と、静止画像領域の中心の位置とが大きく異なり、静止画像上の被写体の位置が、ユーザが画像処理装置１００の表示画面において確認した被写体の位置とは大きく異なるものとなってしまうので、静止画像領域の中心の位置を修正するために、ステップＳ１８に進む。
ステップＳ１８において、領域修正部１３１は、シフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるように、静止画像領域を修正する。
例えば、領域修正部１３１は、図１６に示すように、シフト後の静止画像領域を縮小させて、静止画像領域を修正する。
図中、矢印Ｃ１１乃至矢印Ｃ１３により示される点は、それぞれ静止画像領域の中心の点（以下、それぞれ点Ｃ１１乃至点Ｃ１３とも称する）を示している。なお、図１６において、図１４における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
点Ｃ１１は、点線で表わされる補正前の静止画像領域２０３の中心を示している。また、図中、点Ｃ１１と点Ｃ１２とを結ぶ実線の矢印は、シフト後の静止画像領域が有効画素領域２０１からはみ出さないように制限された静止画像領域２０３のシフト量（シフトさせる方向および距離）を示しており、点Ｃ１２は、制限されたＸ方向およびＹ方向のシフト量だけ静止画像領域２０３がシフトされた、シフト後の静止画像領域３０１の中心を示している。
領域修正部１３１は、動画像領域２０２（図８）のシフト量と、制限された静止画像領域２０３のシフト量とが上述した式（１）の関係を満たす場合、動画像領域２０２のシフト量と、静止画像領域２０３のシフト量とが式（１）の関係を満たさなくなるように、図中、静止画像領域２０３のシフト量を示す実線の矢印を、点線の矢印に示される分だけ延長する。そして、領域修正部１３１は、点線の矢印に示される分だけ延長された位置である点Ｃ１３が、静止画像領域の中心の位置となるように、シフト後の静止画像領域３０１を縮小して、静止画像領域を修正する。
図１６では、点Ｃ１３が静止画像領域の中心となるように、静止画像領域３０１の図中、上側の辺（端）が下方向に縮小され、左側の辺（端）が右方向に縮小されて、縮小された静止画像領域３０２となっている。また、静止画像領域３０１の図中、下側の辺（端）および右側の辺（端）の位置はそのままであり、縮小前（静止画像領域３０１）と縮小後（静止画像領域３０２）とで、同じ位置とされている。
縮小された静止画像領域３０２は、補正前の静止画像領域が、制限されたシフト量（ステップＳ１５において定められたシフト量）だけシフトされた、シフト後の静止画像領域とされるので、補正前の静止画像領域は、点線で示される静止画像領域３０３となる。ここで、静止画像領域３０３の図中、左右方向の長さおよび上下方向の長さと、静止画像領域３０２の左右方向の長さおよび上下方向の長さとは同じ長さとされる。つまり、静止画像領域３０２は、静止画像領域３０３を、制限されたシフト量だけシフトさせた有効画素領域２０１上の領域となる。
したがって、図１６に示す例においては、静止画像領域３０３が制限されたシフト量だけシフトされて静止画像領域３０２とされ、さらに、シフト後の静止画像領域３０２の各ラインが歪み補正量だけシフトされた静止画像領域の画像データが、撮像された静止画像の画像データとして読み出されることになる。
領域修正部１３１は、静止画像領域を修正すると、静止画像領域３０３のＸ方向の大きさ、Ｙ方向の大きさ、静止画像領域３０３の図中、左上の頂点の有効画素領域２０１上の位置などの情報が含まれる情報を生成し、これを修正された静止画像領域の領域情報としてメモリ１２０に供給する。
このように、静止画像領域を縮小して、そのサイズ（大きさ）を修正することで、図１２を参照して説明したように、シフト量に基づくシフト後の静止画像領域の中心の位置が、シフト後の動画像領域の中心の位置により近い位置となるようにすることができる。したがって、静止画像領域から読み出された画像データに基づく静止画像を、ユーザが画像処理装置１００の表示画面において確認した画像により近いものとすることができる。
図１３のフローチャートの説明に戻り、ステップＳ１７において、予め定められた所定の閾値以上でないと判定された場合、ステップＳ１８の処理はスキップされてステップＳ１９に進む。
ステップＳ１８において静止画像領域が修正されるか、ステップＳ１７において、予め定められた所定の閾値以上でないと判定されると、ステップＳ１９において、メモリ１２０は、補正量算出部１１９から供給された修正された領域情報、シフト量、および歪み補正量を記憶する。より詳細には、メモリ１２０が記憶する領域情報は、静止画像領域が修正された場合、図１６の修正された静止画像領域３０３の領域情報とされ、静止画像領域が修正されていない場合、図１６の静止画像領域２０３の領域情報とされる。また、メモリ１２０に記憶されるシフト量および歪み補正量は、制限されたシフト量および歪み補正量とされる。
ステップＳ２０において、メモリ１２０は、AFE１１２を介して撮像素子１１１から供給された画像データを記憶して、手振れ補正量の算出処理は終了する。ここで、撮像素子１１１からメモリ１２０には、ユーザの操作に応じて撮像素子１１１により撮像され、図１６に示した有効画素領域２０１の全体から読み出された画像データが供給される。
このようにして、画像処理装置１００は、手振れによる振動の影響を低減させるためのシフト量および歪み補正量を算出して、補正後の静止画像領域が、有効画素領域２０１からはみ出ないように、シフト量および歪み補正量を制限し、さらに、必要に応じて、静止画像領域を修正する。
このように、シフト量および歪み補正量を制限することによって、補正後の静止画像領域を、常に有効画素領域２０１内の領域とすることができ、動画像の撮影中に撮像された静止画像を、違和感を与えることのない、より自然なものとすることができる。また、必要に応じて、静止画像領域（のサイズ）を修正することによって、シフト後の動画像領域の中心の位置と、シフト後の静止画像領域の中心の位置とをより近い位置とすることができ、これにより、動画像の撮影中に撮像された静止画像上の被写体の位置を、ユーザが画像処理装置１００の表示画面において確認した被写体の位置により近いものとすることができる。
次に、図１７のフローチャートを参照して、図１３のステップＳ１５の処理に対応するシフト量の制限処理について説明する。
ステップＳ５１において、補正量算出部１１９は、メモリ１２０に記憶されているシフト量を参照して、静止画像領域２０３のＸ方向のシフト量（の絶対値）が、予め定められた所定の値よりも大きいか否かを判定する。例えば、図１４の静止画像領域２０３のＸ方向のシフト量が、Ｘ方向の余剰の大きさＸＳよりも大きい場合、補正量算出部１１９は、予め定められた所定の値よりも大きいと判定する。
ステップＳ５１において、予め定められた所定の値よりも大きいと判定された場合、ステップＳ５２に進み、補正量算出部１１９は、Ｘ方向のシフト量を制限する。
例えば、図１４の静止画像領域２０３のＸ方向のシフト量（の絶対値）が、Ｘ方向の余剰の大きさＸＳよりも大きい場合、静止画像領域２０３を、Ｘ方向のシフト量だけＸ方向にシフトさせると、シフト後の静止画像領域は、有効画素領域２０１からはみ出てしまうので、Ｘ方向のシフト量の絶対値が、Ｘ方向の余剰の大きさＸＳとなるように、Ｘ方向のシフト量を制限する。したがって、Ｘ方向のシフト量が正の値であるとき、そのシフト量はＸＳとされ、Ｘ方向のシフト量が負の値であるとき、シフト量は−ＸＳとされる。
このようにシフト量を制限すると、静止画像領域２０３を、制限されたシフト量であるＸＳだけＸ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１からはみ出すようなことがなくなる。
これに対して、ステップＳ５１において、予め定められた所定の値よりも大きくないと判定された場合、静止画像領域２０３を、Ｘ方向のシフト量だけＸ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１内の領域となり、シフト量を制限する必要はないので、ステップＳ５２の処理はスキップされて、処理はステップＳ５３に進む。
ステップＳ５１において、予め定められた所定の値よりも大きくないと判定されるか、ステップＳ５２において、Ｘ方向のシフト量が制限されると、ステップＳ５３において、補正量算出部１１９は、メモリ１２０に記憶されているシフト量を参照して、静止画像領域２０３のＹ方向のシフト量（の絶対値）が、予め定められた所定の値よりも大きいか否かを判定する。例えば、図１４の静止画像領域２０３のＹ方向のシフト量が、Ｙ方向の余剰の大きさＹＳよりも大きい場合、補正量算出部１１９は、予め定められた所定の値よりも大きいと判定する。
ステップＳ５３において、予め定められた所定の値よりも大きいと判定された場合、ステップＳ５４に進み、補正量算出部１１９は、Ｙ方向のシフト量を制限し、処理は、図１３のステップＳ１６に進む。
例えば、図１４の静止画像領域２０３のＹ方向のシフト量が、Ｙ方向の余剰の大きさＹＳよりも大きい場合、静止画像領域２０３を、Ｙ方向のシフト量だけＹ方向にシフトさせると、シフト後の静止画像領域は、有効画素領域２０１からはみ出てしまうので、Ｙ方向のシフト量の絶対値が、Ｙ方向の余剰の大きさＹＳとなるように、Ｙ方向のシフト量を制限する。このようにシフト量を制限すると、静止画像領域２０３を、制限されたシフト量であるＹＳだけＹ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１からはみ出すようなことがなくなる。
これに対して、ステップＳ５３において、予め定められた所定の値よりも大きくないと判定された場合、静止画像領域２０３を、Ｙ方向のシフト量だけＹ方向にシフトさせても、シフト後の静止画像領域は、有効画素領域２０１内の領域となり、シフト量を制限する必要はないので、ステップＳ５４の処理はスキップされて、処理は、図１３のステップＳ１６に進む。
このようにして、補正量算出部１１９は、静止画像領域２０３のシフト量を制限する。このように、静止画像領域２０３のシフト量を制限することによって、補正後の静止画像領域が、常に有効画素領域２０１内の領域となるようにすることができ、動画像の撮影中に撮像された静止画像をより自然なものとすることができる。
メモリ１２０に画像データと、手振れを補正するためのシフト量、歪み補正量、および領域情報とが記憶されると、画像補間部１１４は、これらをメモリ１２０から読み出して静止画像の画像データを記録させる処理である、手振れ補正処理を行う。
この手振れ補正処理は、既に記憶されている画像データの所定の領域を静止画像の画像データとして記録させる処理であり、特にリアルタイム性は要求されないので、いつ行われるようにしてもよい。例えば、メモリ１２０に画像データ、シフト量、歪み補正量、および領域情報が記憶されると直ちに手振れ補正処理が行われるようにしてもよく、動画像の撮影が終了してから手振れ補正処理が行われるようにしてもよい。
以下、図１８のフローチャートを参照して、画像補間部１１４による手振れ補正処理について説明する。
ステップＳ８１において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている画像データを取得する。メモリ１２０から読み出された画像データは、信号処理部１１３において、輝度信号と色差信号とからなる画像データに変換されて画像補間部１１４に供給される。画像補間部１１４に供給された画像データは、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
ステップＳ８２において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている修正された領域情報、制限されたシフト量、および制限された歪み補正量を取得する。取得された領域情報、シフト量、および歪み補正量も、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
ステップＳ８３において、画像補間部１１４は、メモリ１１７に記憶された領域情報、シフト量、および歪み補正量に基づいて、画像データの読み出し位置を決定する。例えば、メモリ１２０から取得した画像データが、図１６の有効画素領域２０１の全体の画像データである場合、画像補間部１１４は、メモリ１２０から取得した領域情報、シフト量、および歪み補正量に基づいて、画像データの読み出し位置を決定する。例えば、領域情報により示される静止画像領域３０３を、メモリ１２０から取得したシフト量だけシフトさせる。そして、画像補間部１１４は、さらに、シフトされた静止画像領域３０２を構成する各ラインが、そのラインの歪み補正量だけシフトされた位置を各ラインの読み出し位置とする。
ステップＳ８４において、画像補間部１１４は、メモリ１２０から取得した画像データのうち、決定された読み出し位置のデータ（画像データ）を読み出す。画像補間部１１４は、読み出した画像データに、必要に応じて画像サイズの変換処理などの処理を施し、図示せぬ記録媒体に供給する。
例えば、決定された読み出し位置（シフト量および歪み補正量によるシフト後の静止画像領域）が、図１２に示した静止画像領域２７１である場合、画像補間部１１４は、静止画像領域２７１の画像データを読み出して図示せぬ記録媒体に供給する。
ステップＳ８５において、画像補間部１１４は、記録媒体を制御して、記録媒体に供給した画像データを、動画像の撮影中に撮像された静止画像の画像データとして記録させて、手振れ補正処理は終了する。なお、読み出された画像データを、記録媒体に供給せずに、図示せぬディスプレイに供給して、静止画像を表示させるようにしてもよい。
このようにして、画像補間部１１４は、メモリ１２０から画像データ、領域情報、シフト量、および歪み補正量を取得して、取得した領域情報、シフト量、および歪み補正量に基づいて画像データを読み出して、記録媒体に記録させる。
このように、領域情報、シフト量、および歪み補正量に基づいて画像データを読み出すことで、手振れによる振動の影響がラインごとに低減された静止画像の画像データを記録させることができる。これにより、手振れによる影響が補正された静止画像をユーザに提供することができる。
ところで、以上においては、ユーザが画像処理装置１００を操作して、動画像の撮影を行うと、撮影された動画像に対して手振れの補正が行われると説明したが、ユーザが画像処理装置１００を操作することによって、動画像の撮影時に、動画像に対して手振れの補正を行わせるか否かを選択することができるようにしてもよい。
また、ユーザが画像処理装置１００を操作して、動画像の撮影時に、動画像に対する手振れの補正を行わない場合においても、動画像の撮影中に撮像された静止画像に対して手振れの補正を行わせるようにすることができる。
以下、画像処理装置１００が、動画像に対して手振れの補正を行わず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正を行う場合について説明する。
例えば、図１９Ａに示すように、画像処理装置１００の撮像素子１１１の有効画素領域３３１に対して、有効画素領域３３１よりもある程度小さい領域を動画像領域３３２とし、有効画素領域３３１よりもわずかに小さい領域を静止画像領域３３３とする。
画像処理装置１００は、動画像に対しては手振れの補正を行わないので、図１９Ｂに示すように、動画像領域３３２のシフト量および歪み補正量は算出されずに、動画像領域３３２の画像データが、動画像の各フィールドの画像データとして読み出される。
これに対して、画像処理装置１００は、静止画像に対しては手振れの補正を行うので、画像処理装置１００に加えられた振動の量（振動量）を検出して、その検出結果に基づいて、静止画像領域３３３のラインごとの歪み補正量を算出して手振れの補正を行う。
図１９Ｂの例では、シフト量に基づく補正は行われずに、静止画像領域３３３のラインごとの歪み補正量に基づく補正だけが行われている。すなわち、画像処理装置１００は、シフト量に基づいて、静止画像領域３３３をシフトさせずに、算出されたラインごとの歪み補正量に基づいて、静止画像領域３３３を構成する各ラインをシフトさせる。これにより、静止画像領域３３３の中心の位置をシフトさせずに、静止画像の歪みが補正される。図１９Ｂでは、静止画像領域３３３の歪み補正量に基づくシフト後の領域は、静止画像領域３４１となる。
このように、歪み補正量に基づいて、静止画像領域３３３の各ラインをシフトさせることによって、動画像領域３３２の中心の位置と、シフト後の静止画像領域３４１の中心の位置とを一致させたまま、手振れにより生じる静止画像の歪みを補正することができる。
また、図２０Ａに示すように、有効画素領域３５１上の動画像領域３５２と静止画像領域３５３とを同じ領域としてもよい。なお、図２０Ａでは、有効画素領域３５１上における動画像領域３５２と、静止画像領域３５３とを見やすくするため、動画像領域３５２および静止画像領域３５３の位置は、わずかにずれされて図示されている。
動画像領域３５２と静止画像領域３５３とが同じ領域である場合にも、図１９における場合と同様に、画像処理装置１００は、動画像に対しては手振れの補正を行わないので、図２０Ｂに示すように、動画像領域３５２のシフト量および歪み補正量は算出されずに、動画像領域３５２の画像データが、動画像の各フィールドの画像データとして読み出される。
これに対して、画像処理装置１００は、静止画像に対しては手振れの補正を行うので、画像処理装置１００に加えられた振動の量（振動量）を検出して、その検出結果に基づいて、静止画像領域３５３のラインごとの歪み補正量を算出して手振れの補正を行う。
図２０Ｂの例では、シフト量に基づく補正は行われずに、静止画像領域３５３のラインごとの歪み補正量に基づく補正だけが行われている。すなわち、画像処理装置１００は、シフト量に基づいて、静止画像領域３５３をシフトさせずに、算出されたラインごとの歪み補正量に基づいて、静止画像領域３５３を構成する各ラインをシフトさせる。これにより、静止画像領域３５３の中心の位置をシフトさせずに、静止画像の歪みが補正される。図２０Ｂでは、静止画像領域３５３の歪み補正量に基づくシフト後の領域は、静止画像領域３６１となる。
このように、歪み補正量に基づいて、静止画像領域３５３の各ラインをシフトさせることによって、動画像領域３５２の中心の位置と、シフト後の静止画像領域３６１の中心の位置とを一致させたまま、手振れにより生じる静止画像の歪みを補正することができる。
次に、図２１のフローチャートを参照して、動画像に対して手振れの補正が行われず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正が行われる場合に、画像処理装置１００により行われる手振れ補正量の算出処理について説明する。
ステップＳ１１１において、補正量算出部１１９は、振動検出部１１８から、振動検出部１１８において検出された振動量（のデータ）を取得する。例えば、補正量算出部１１９は、図１５を参照して説明したように、静止画像領域を構成するラインごとの振動量を取得する。
ステップＳ１１２において、補正量算出部１１９は、振動検出部１１８から供給された振動量を基に、ラインごとの歪み補正量を算出する。例えば、補正量算出部１１９は、図１３のステップＳ１３の処理と同様の処理を行い、図１９Ａの静止画像領域３３３を構成する各ラインの、図中、左右方向および上下方向の歪み補正量を算出する。
補正量算出部１１９は、歪み補正量を算出すると、算出した歪み補正量をメモリ１２０に供給する。また、補正量算出部１１９は、予め定められた静止画像領域を示す領域情報を生成して、メモリ１２０に供給する。
ステップＳ１１３において、メモリ１２０は、補正量算出部１１９から供給された領域情報および歪み補正量を記憶する。
ステップＳ１１４において、メモリ１２０は、AFE１１２を介して撮像素子１１１から供給された画像データを記憶して、手振れ補正量の算出処理は終了する。ここで、撮像素子１１１から供給された画像データは、例えば、図１９Ａの有効画素領域３３１の全体から読み出された画像データとされる。
このようにして、画像処理装置１００は、手振れによる振動の影響を低減させるための歪み補正量を算出する。
このように、シフト量を算出せずに、歪み補正量だけを算出することにより、動画像に対して手振れの補正が行われず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正が行われる場合においても、動画像領域の中心の位置と、シフト後の静止画像領域の中心の位置とを一致させたまま、手振れにより生じる静止画像の歪みを補正することができる。
また、図１３の手振れ補正量の算出処理と、図２１の手振れ補正量の算出処理とを比較すると、図２１における手振れ補正量の算出処理においては、静止画像領域のシフト量は算出されない。また、図２１の手振れ補正量の算出処理においては、図１３のステップＳ１７の処理に対応する処理が行われないが、これは、動画像領域のシフト量および静止画像領域のシフト量が常に０であるから、常に動画像領域のシフト量と、静止画像領域のシフト量との差が閾値以上ではないと判定されるものとして、その判定の処理が省略され、静止画像領域（のサイズ）が修正されないものと考えることができる。
次に、図２２のフローチャートを参照して、動画像に対して手振れの補正が行われず、動画像の撮影中に撮像された静止画像に対してのみ手振れの補正が行われる場合に、画像処理装置１００により行われる手振れ補正処理について説明する。
ステップＳ１４１において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている画像データを取得する。メモリ１２０から読み出された画像データは、信号処理部１１３において、輝度信号と色差信号とからなる画像データに変換されて画像補間部１１４に供給される。画像補間部１１４に供給された画像データは、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
ステップＳ１４２において、画像補間部１１４は、信号処理部１１３を介して、メモリ１２０に記憶されている領域情報および歪み補正量を取得する。取得された領域情報および歪み補正量も、一旦、メモリコントローラ１１６の制御の基、メモリ１１７に供給される。
その後、ステップＳ１４３の処理乃至ステップＳ１４５の処理が行われて、静止画像の画像データが読み出され、記録媒体に記録されるが、ステップＳ１４３の処理乃至ステップＳ１４５の処理のそれぞれは、図１８のステップＳ８３の処理乃至ステップＳ８５の処理のそれぞれと同様であるため、その説明は省略する。なお、ステップＳ１４３において、画像補間部１１４は、メモリ１２０から取得した領域情報および歪み補正量に基づいて、静止画像の画像データの読み出し位置を決定する。
このようにして、画像補間部１１４は、メモリ１２０から画像データ、領域情報、および歪み補正量を取得して、取得した領域情報および歪み補正量に基づいて静止画像の画像データを読み出して、記録媒体に記録させる。
このように、領域情報および歪み補正量に基づいて画像データを読み出すことで、手振れによる振動の影響がラインごとに低減された静止画像の画像データを記録させることができる。これにより、手振れによる影響が補正された静止画像をユーザに提供することができる。
以上のように、本発明によれば、画像処理装置１００に加えられた振動量を検出して、シフト量および歪み補正量を算出し、算出されたシフト量および歪み補正量を制限するとともに、必要に応じて、静止画像領域の中心の位置が、動画像領域の中心の位置により近い位置となるように、静止画像領域を修正するようにしたので、動画像の撮影中に静止画像を撮像する場合に、静止画像上の被写体の位置を、ユーザが撮像装置の表示画面において確認した被写体の位置により近いものとし、かつ撮像により得られる静止画像をより自然な画像とすることができる。
なお、AFE１１２からメモリ１２０に画像データが供給されると説明したが、信号処理部１１３において、輝度信号と色差信号とからなる画像データに変換された画像データを、メモリ１２０に供給して記憶させるようにしてもよい。また、メモリ１２０を設けずに、図６のメモリ１２０に供給させる画像データ、領域情報、シフト量、および歪み補正量をメモリ１１７に記憶させるようにしてもよい。
さらに、補正量算出部１１９において算出された、領域情報、シフト量、および歪み補正量がＴＧ１１５に供給されて、ＴＧ１１５が撮像素子１１１を制御して、撮像素子１１１に、有効画素領域から、領域情報、シフト量、および歪み補正量に基づく、手振れの影響が低減されたシフト後の静止画像領域の画像データを読み出させて、AFE１１２に供給させるようにしてもよい。この場合、画像補間部１１４において行われていた手振れを補正するための処理が、撮像素子１１１において行われることになる。
図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ４０１のCPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、または記録部４１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４１１、ROM４１２、およびRAM４１３は、バス４１４により相互に接続されている。
CPU４１１にはまた、バス４１４を介して入出力インターフェース４１５が接続されている。入出力インターフェース４１５には、キーボード、マウス、マイクロホンなどよりなる入力部４１６、ディスプレイ、スピーカなどよりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。
入出力インターフェース４１５に接続されている記録部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記録する。通信部４１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部４１９を介してプログラムを取得し、記録部４１８に記録してもよい。
入出力インターフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部４１８に転送され、記録される。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４３１、または、プログラムが一時的もしくは永続的に格納されるROM４１２や、記録部４１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来の有効画素領域上における動画像領域と静止画像領域との関係を示す図である。 従来の動画像の手振れの補正について説明するための図である。 従来の静止画像の撮像について説明するための図である。 従来の静止画像の手振れの補正について説明するための図である。 従来の静止画像の手振れの補正について説明するための図である。 本発明を適用した画像処理装置の構成例を示すブロック図である。 フォーカルプレーンシャッタ方式により生じる被写体の歪みを説明するための図である。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 手振れ補正量の算出処理を説明するフローチャートである。 静止画像領域を説明するための図である。 振動検出部において検出される振動量を説明するための図である。 縮小された静止画像領域を説明するための図である。 シフト量の制限処理を説明するフローチャートである。 手振れ補正処理を説明するフローチャートである。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 動画像撮影中に撮像された静止画像の補正について説明するための図である。 手振れ補正量の算出処理を説明するフローチャートである。 手振れ補正処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１１１ 撮像素子， １１４ 画像補間部， １１７ メモリ， １１８ 振動検出部， １１９ 補正量算出部， １２０ メモリ， １３１ 領域修正部， ４１１ CPU， ４１２ ROM， ４１３ RAM， ４１８ 記録部， ４３１ リムーバブルメディア

Claims (7)

  1. 撮像素子により第１の画像を撮像する撮像手段と、
    加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出手段と、
    前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出する算出手段と、
    前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更する変更手段と、
    前記第１の補正量に基づいて前記第２の画像を補正する補正手段と
    を備える画像処理装置。
  2. 前記算出手段は、算出された前記第１の補正量が、予め定められた所定の値よりも大きい場合、前記値を第１の補正量とする
    請求項１に記載の画像処理装置。
  3. 前記算出手段は、前記振動量および前記第１の補正量を基に、前記振動により生じる前記第２の画像の歪みの影響を低減するように、前記第２の画像を構成する画素の各ラインの位置を移動させる移動量を示す歪み補正量をさらに算出し、
    前記補正手段は、前記第１の補正量および前記歪み補正量に基づいて、前記第２の画像を補正する
    請求項１に記載の画像処理装置。
  4. 前記算出手段は、前記第２の画像を構成する画素の所定のラインの前記歪み補正量が、前記第１の補正量に基づく所定の値よりも大きい場合、前記値を前記ラインの歪み補正量とする
    請求項３に記載の画像処理装置。
  5. 前記第３の画像は、動画像の１つのフィールドを構成する静止画像とされ、前記第２の画像は、前記動画像の撮影中に撮像された静止画像とされる
    請求項１に記載の画像処理装置。
  6. 撮像素子により第１の画像を撮像し、
    加えられた振動を検出し、その振動の大きさを示す振動量を出力し、
    前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出し、
    前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更し、
    前記第１の補正量に基づいて前記第２の画像を補正する
    ステップを含む画像処理方法。
  7. 撮像素子により第１の画像を撮像する撮像ステップと、
    加えられた振動を検出し、その振動の大きさを示す振動量を出力する検出ステップと、
    前記振動量から、前記第１の画像から抽出されて出力される第２の画像への前記振動による影響を低減するように、前記第１の画像における前記第２の画像の位置を移動させる移動量を示す第１の補正量と、前記第１の画像から抽出されて出力される第３の画像への前記振動による影響を低減するように、前記第１の画像における前記第３の画像の位置を移動させる移動量を示す第２の補正量とを算出する算出ステップと、
    前記第１の補正量と、前記第２の補正量との差が、所定の閾値以上である場合、前記第１の補正量に基づく補正後の前記第２の画像の中心から、前記第２の補正量に基づく補正後の前記第３の画像の中心までの距離が短くなるように、前記第２の画像の領域を変更する変更ステップと、
    前記第１の補正量に基づいて前記第２の画像を補正する補正ステップと
    をコンピュータに実行させるプログラム。
JP2005327370A 2005-11-11 2005-11-11 画像処理装置および方法、並びにプログラム Expired - Fee Related JP4446193B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005327370A JP4446193B2 (ja) 2005-11-11 2005-11-11 画像処理装置および方法、並びにプログラム
US11/557,645 US7636106B2 (en) 2005-11-11 2006-11-08 Image processing apparatus and method, and program used therewith

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005327370A JP4446193B2 (ja) 2005-11-11 2005-11-11 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007135056A true JP2007135056A (ja) 2007-05-31
JP4446193B2 JP4446193B2 (ja) 2010-04-07

Family

ID=38053066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005327370A Expired - Fee Related JP4446193B2 (ja) 2005-11-11 2005-11-11 画像処理装置および方法、並びにプログラム

Country Status (2)

Country Link
US (1) US7636106B2 (ja)
JP (1) JP4446193B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124528A (ja) * 2007-11-16 2009-06-04 Casio Hitachi Mobile Communications Co Ltd 撮像装置及びプログラム
JP2009200981A (ja) * 2008-02-23 2009-09-03 Sanyo Electric Co Ltd ビデオカメラ
JP2009284051A (ja) * 2008-05-20 2009-12-03 Canon Inc 撮像装置
JP2011030065A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd 撮像装置
JP2011114649A (ja) * 2009-11-27 2011-06-09 Sanyo Electric Co Ltd 撮像装置
US8253812B2 (en) 2008-02-23 2012-08-28 Sanyo Electric Co., Ltd. Video camera which adopts a focal-plane electronic shutter system
JP2014064143A (ja) * 2012-09-20 2014-04-10 Canon Inc 画像処理装置及びそれを備えた撮像装置、並びに画像処理装置の制御方法
JP2014150443A (ja) * 2013-02-01 2014-08-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2016058876A (ja) * 2014-09-09 2016-04-21 キヤノン株式会社 撮像装置及びその制御方法、及び撮像システム
JP2016122132A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体
JP2016197929A (ja) * 2016-08-29 2016-11-24 キヤノン株式会社 撮像装置及びその制御方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087115A1 (en) * 2007-10-02 2009-04-02 Ping Wah Wong Correction for geometric distortion in images in pipelined hardware
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array
JP5020894B2 (ja) * 2008-06-10 2012-09-05 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP4760947B2 (ja) * 2008-08-05 2011-08-31 カシオ計算機株式会社 画像処理装置、プログラム
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP2011114407A (ja) * 2009-11-24 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム及び記録媒体
CN102118556B (zh) * 2009-12-31 2012-12-19 敦南科技股份有限公司 图像感测装置即时调整图像撷取频率的方法
US8787635B2 (en) * 2010-05-03 2014-07-22 Siemens Aktiengesellschaft Optimization of multiple candidates in medical device or feature tracking
JP2011257503A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
JP5548552B2 (ja) * 2010-08-03 2014-07-16 キヤノン株式会社 撮像装置
US8964044B2 (en) * 2010-12-20 2015-02-24 Samsung Electronics Co., Ltd Image processing apparatus and image processing method
JP5790188B2 (ja) * 2011-06-16 2015-10-07 リコーイメージング株式会社 天体自動追尾撮影方法及び天体自動追尾撮影装置
JP5868061B2 (ja) * 2011-08-04 2016-02-24 キヤノン株式会社 撮像装置
JP5911298B2 (ja) 2011-12-27 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
KR101578600B1 (ko) * 2013-03-22 2015-12-17 가시오게산키 가부시키가이샤 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102114248B1 (ko) 2013-09-13 2020-05-22 삼성전자 주식회사 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
JP6320037B2 (ja) * 2013-12-27 2018-05-09 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6355454B2 (ja) 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6995490B2 (ja) * 2017-04-14 2022-01-14 キヤノン株式会社 映像再生装置とその制御方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01305689A (ja) * 1988-06-03 1989-12-08 Hitachi Ltd 画像信号処理回路
JPH0687581B2 (ja) 1988-12-01 1994-11-02 川重岐阜エンジニアリング株式会社 ビデオカメラにおける画像安定化装置
US5060074A (en) * 1989-10-18 1991-10-22 Hitachi, Ltd. Video imaging apparatus
US5650819A (en) * 1993-09-30 1997-07-22 Canon Kabushiki Kaisha Image pickup apparatus
JPH114379A (ja) 1997-06-12 1999-01-06 Matsushita Electric Ind Co Ltd 画像信号処理装置
JPH11326978A (ja) * 1998-05-08 1999-11-26 Olympus Optical Co Ltd ブレ補正カメラ
JP4378804B2 (ja) * 1999-09-10 2009-12-09 ソニー株式会社 撮像装置
JP2002142179A (ja) 2000-11-02 2002-05-17 Canon Inc 情報記録装置及びその制御方法
JP3897993B2 (ja) 2001-05-30 2007-03-28 松下電器産業株式会社 撮像装置、画像補正方法、プログラム、及び記録媒体
JP3867680B2 (ja) * 2003-04-01 2007-01-10 ソニー株式会社 撮像装置および手振れ補正方法
JP3829843B2 (ja) 2003-12-08 2006-10-04 ソニー株式会社 画像処理装置
JP4427551B2 (ja) * 2003-12-23 2010-03-10 エヌエックスピー ビー ヴィ ビデオデータを安定させるための方法及びシステム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124528A (ja) * 2007-11-16 2009-06-04 Casio Hitachi Mobile Communications Co Ltd 撮像装置及びプログラム
JP2009200981A (ja) * 2008-02-23 2009-09-03 Sanyo Electric Co Ltd ビデオカメラ
US8253812B2 (en) 2008-02-23 2012-08-28 Sanyo Electric Co., Ltd. Video camera which adopts a focal-plane electronic shutter system
JP2009284051A (ja) * 2008-05-20 2009-12-03 Canon Inc 撮像装置
JP2011030065A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd 撮像装置
JP2011114649A (ja) * 2009-11-27 2011-06-09 Sanyo Electric Co Ltd 撮像装置
JP2014064143A (ja) * 2012-09-20 2014-04-10 Canon Inc 画像処理装置及びそれを備えた撮像装置、並びに画像処理装置の制御方法
JP2014150443A (ja) * 2013-02-01 2014-08-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2016058876A (ja) * 2014-09-09 2016-04-21 キヤノン株式会社 撮像装置及びその制御方法、及び撮像システム
JP2016122132A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体
JP2016197929A (ja) * 2016-08-29 2016-11-24 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US7636106B2 (en) 2009-12-22
JP4446193B2 (ja) 2010-04-07
US20070115364A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
JP4446193B2 (ja) 画像処理装置および方法、並びにプログラム
JP3925415B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP4254969B2 (ja) 撮像装置
JP5226600B2 (ja) 画像変形装置およびその動作制御方法
KR101231494B1 (ko) 화상 처리 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
JP5764740B2 (ja) 撮像装置
KR101109532B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JP2006179966A (ja) 動画撮像装置及び動画撮像方法
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2008028500A (ja) 画像処理装置、方法、およびプログラム
JP2012231262A (ja) 撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体
JP5105844B2 (ja) 撮像装置及び方法
JP5149861B2 (ja) 中間画像生成装置およびその動作制御方法
JP5267279B2 (ja) 画像合成装置及びプログラム
JP2007214620A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4499686B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP3925560B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP3925559B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5332668B2 (ja) 撮像装置および被写体検出プログラム
JP2008235958A (ja) 撮像装置
JP5696525B2 (ja) 撮像装置、撮像方法及びプログラム
JP4449777B2 (ja) 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム
JP2007243333A (ja) 手ブレ補正方法、手ブレ補正装置、および撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees