JP2022008011A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮像画像におけるボケ形状を、直感的な動作で任意に制御可能な撮像装置を提供する。【解決手段】撮像装置は撮像素子に対してレンズをシフトさせるシフト機構部を備え、ユーザは設定面（ｘ－ｙ平面）内で撮像装置を移動させながら被写体３０１，３０２を撮影する。撮像装置は被写体までの距離と、撮像装置の位置を計測し、計測された被写体の距離情報、および撮像装置の位置情報に基づいてシフト機構部によるレンズのシフト量を演算する。演算されたシフト量にしたがって駆動されるレンズを通して異なる撮像位置での画像３０７，３０８が取得される。撮像装置は画像３０７，３０８を加算することにより、被写体３０２のボケ形状が制御された合成画像３０９を生成して出力する。【選択図】図３

Description

本発明は、撮像画像に係る画質制御の自由度を向上させるための撮像装置の構造と動作に関する。

デジタルカメラや携帯型通信機器の普及に伴い、画像の撮影が幅広く行われている。画像を個人的に楽しむだけでなく、電磁的媒体を通して広く画像を公開する手段もよく利用され、他者に画像を見せる機会が増えている。そのため、高画質で個性的な画質の画像への欲求が高まっている。

画像の特性を示す重要なパラメータのひとつにボケがある。個性的なボケの付加方法として、レンズの前に所望の形状の開口を設ける方法がある。この方法でボケ形状を変えるためには開口形状の変更が必要であり、予め用意された開口のパターンのボケ形状のみが実現可能である。また、画像処理による画像へのボケの付加方法では、ボケフィルタをかける画像領域と量に関して推定処理が行われるが、条件によっては処理エラーが発生し、光学的に不自然な画像となる可能性があった。

特許文献１に開示された撮像装置は、撮像素子の画素へ入射する光束に対して撮影レンズの特定の瞳領域に制限する瞳分割素子としてマイクロレンズアレイを備える。ユーザ操作で選択された形状情報を取得して画素データの重み付けを制御することで、撮影時に特殊な方法を用いることなくボケ形状の変更処理を行うことができる。

特開２０１６－２２００１６号公報

従来の方法では、撮像画像の特性を変化させるための画質制御の自由度に制約がある。例えば、形状情報に係るパターンの分割領域がｍ画素×ｎ画素の領域である場合を想定する。この場合、画像のサイズ（ピクセル数）は元の撮像素子の画素数の１／（ｍ×ｎ）となってしまう。つまり、所望の形状が得られるように分割数を増やすと解像度が低下し、解像度を重視すれば精細な形状を指定できなくなるというトレードオフの関係である。粗いパターンでは形状作成の自由度が著しく制限されるので、ユーザが所望のボケ形状を指定することは困難である。

予め用意されたパターンの中からボケ形状を選ぶという方法では、ユーザは限られた選択肢の中からパターンを選ばなくてはいけない。また、所望のパターンをブロック形状として事前のユーザ登録を必要とする場合には操作が煩雑化し、直感的な指示操作が困難である。また、画像に付与可能なボケ量はレンズの瞳の大きさによって制限されるため、制御可能なボケ量の範囲も狭かった。
本発明の目的は、撮像画像におけるボケ形状を、直感的な動作で任意に制御可能な撮像装置を提供することである。

本発明の実施形態の撮像装置は、レンズを介して被写体を撮像する撮像素子と、前記撮像素子上で被写体像を移動させることが可能な移動手段と、撮像装置の位置変化に応じて前記移動手段による前記被写体像の移動量を変化させつつ複数の画像を取得し、前記複数の画像を合成した画像を出力する制御を行う制御手段と、を備える。

本発明によれば、撮像画像におけるボケ形状を、直感的な動作で任意に制御可能な撮像装置を提供することができる。

ボケ量と瞳径の説明図である。 本発明に係る光学系と比較例の光学系を対比させた説明図である。 ボケの大きさと向きの説明図である。 第１実施例の撮像装置を模式的に示す正面図である。 第１実施例の撮像装置の構成例を示すブロック図である。 第１実施例における動作を説明するフローチャートである。 複数の画像に対する重みづけの説明図である。 レンズのシフト量の説明図である。 レンズのイメージサークルの大きさの説明図である。 撮像装置の位置とレンズのシフト量との関係の説明図である。 撮像装置の位置と撮像素子のシフト量との関係の説明図である。 第２実施例の説明図である。 第２実施例における動作を説明するフローチャートである。 第２実施例における別の動作を説明するフローチャートである。 第３実施例における被写体像の位置変化を示す図である。 第３実施例における動作を説明するフローチャートである。 第４実施例の撮像装置を模式的に示す図である。 第４実施例における撮像装置の移動操作の説明図である。 第４実施例における表示例の説明図である。 第５実施例の説明図である。 第５実施例における動作を説明するフローチャートである。

以下に、本発明の好ましい実施形態を図面に基づいて詳細に説明する。実施形態では、撮像画像に係る画質制御の自由度の向上に寄与する技術について詳説する。本発明の実施例を説明する前に、光学系の特性とボケ量との関係について説明する。初期状態で大きなボケ量が得られない光学系を備えた機器であっても何らかの追加機構によって光学系の特性を変化させることができ、大きなボケが得られるならば、追加機構の動作次第でボケ量を任意に選ぶことができるからである。

図１はボケ量と瞳径の説明図である。図１（Ａ）は瞳径の小さいレンズ１０３を示し、図１（Ｂ）は瞳径の大きなレンズ１０２を示す。図１には被写体１０１、レンズ１０３またはレンズ１０２、撮像素子１０４の光学的な位置関係を模式的に示している。被写体１０１からの光線、許容錯乱円１０５および各焦点深度１０６，１０７を示す。

ボケの大きな画像を取得可能なレンズとは、Fナンバーが小さいレンズ、つまり瞳径の大きなレンズである。図１（Ａ）、図１（Ｂ）に示す被写体１０１の位置から発した光は、瞳の各部分領域を通過して撮像素子１０４の近傍の結像面で再度交わる。瞳径の大きなレンズ１０２からの光線は、瞳径の小さいレンズ１０３からの光線と比較して、瞳の各部分領域を透過した光が撮像素子１０４上の結像面で交わる際の角度が大きい。許容錯乱円１０５を一定とした場合、瞳径の大きいレンズ１０２の許容錯乱円内の範囲の長さに対応する焦点深度１０６は、瞳径の小さなレンズ１０３の焦点深度１０７より短くなる。つまり、合焦している被写体１０１からの距離が同じでも、瞳径が大きいとボケ量は大きくなる。

図２は光学系の概念図であり、図２（Ａ）に示す本発明に係る光学系と、図２（Ｂ）に示す比較例の光学系とを対比して説明する。図２（Ａ）は被写体２０１、瞳径の小さいレンズ２０２および２０３、イメージサークル２０４、撮像素子２０５を示す。瞳２１０はレンズ２０２および２０３を含めた仮想的な瞳である。また図２（Ｂ）は被写体２０１、瞳径の大きいレンズ２０６、イメージサークル２０９、撮像素子２０５を示す。瞳部分領域２０７、２０８はレンズ２０６の瞳の一部分である。

図２（Ｂ）に示す瞳径の大きなレンズ２０６は、瞳部分領域（２０７，２０８参照）の集合体と考えられる。この場合、各瞳部分領域によってそれぞれ撮像素子２０５上に結像される像が光学的に重なり合った状態にあるといえる。

一方、図２（Ａ）に示すレンズ２０２，２０３の瞳径は、レンズ２０６に比べて小さい。この場合に、焦点を合わせる被写体２０１とレンズ２０２，２０３の位置が同一直線上になるように各レンズと撮像素子２０５の位置関係を保ちつつカメラを移動させる動作が行われる。このときにカメラにより取得された複数の画像を重ね合わせることで、仮想的な瞳２１０での撮影と光学的に同等の関係で撮影することができる。つまり、小口径のレンズ２０２または２０３で普通に撮影された画像は、被写界深度が深いのでボケが小さい。しかし、取得された複数の画像を重ね合わせて、大口径のレンズ２０６で撮影した場合と同等の被写界深度での撮像画像を取得することができる。

図３を参照して、複数の画像の重ね合わせによってボケ量を大きくする過程について、画像の画角（撮影画角）によって説明する。図３（Ａ）は異なる被写体３０１、３０２の位置と、レンズ位置３０３、３０４と、撮像素子の位置３０５、３０６との関係を示す。被写体３０１は焦点を合わせた被写体を示し、被写体３０２は被写体３０１の背後にあって、焦点が外れた被写体を示している。図３（Ａ）の紙面に垂直な軸方向をｙ方向とし、紙面内にて互いに直交する２軸の方向をｘ方向およびｚ方向と定義する。ｘ軸に関してその正方向を図３の上方向とし、ｚ方向を撮像光学系の光軸に平行な方向とする。

図３（Ａ）において、レンズ位置３０３と撮像素子の位置３０５は、被写体に対してカメラが右側（ｘ座標値が増加する側）に移動した状態でのレンズ位置と撮像素子の位置をそれぞれ示す。また、レンズ位置３０４と撮像素子の位置３０６は被写体に対してカメラが左側（ｘ座標値が減少する側）に移動した状態でのレンズ位置と撮像素子の位置をそれぞれ示す。

図３（Ｂ）は画像例を示す模式図である。画像３０７はレンズ位置３０３および撮像素子の位置３０５で撮像された画像を示す。画像３０８はレンズ位置３０４および撮像素子の位置３０６で撮像された画像を示す。画像３０９は画像３０７と画像３０８とを重ね合わせた合成画像を示す。

レンズ位置３０３および撮像素子の位置３０５の場合、被写体３０１と被写体３０２との位置関係から、画像３０７にて被写体３０１の画像と被写体３０２の画像との間隔は相対的に大きい。一方、レンズ位置３０４および撮像素子の位置３０６の場合には、画像３０８にて被写体３０１の画像と被写体３０２の画像との間隔は相対的に小さい。レンズと撮像素子との位置関係は、カメラから焦点を合わせる被写体３０１までの距離に応じて決定される。そのため、画像内での被写体３０１の位置は変わらないが、画像内での被写体３０２の位置は変化する。つまり、合成された画像３０９内にて被写体３０１の位置に変化はないが、被写体３０２の画像は位置が異なる画像として重ね合わされるのでボケが発生する。

図３から分かるように、カメラを横方向（ｘ方向）に動かすことで、横方向のボケが発生し、その移動量が大きいほどボケ量が大きくなる。同様に、カメラを縦方向（ｙ方向）に動かすことで縦方向のボケが発生し、その移動量が大きいほどボケ量が大きくなる。つまり、カメラの移動軌跡とボケ形状とが相似の関係になる。本発明の実施形態のカメラを用いてユーザが撮影を行う際には、ユーザが所望のボケの形状をイメージして、その形状に対応するカメラの移動を行うことで、その形状のボケが付加された画像が得られる。したがって、従来のボケ付加方法に比べてボケ形状の自由度を飛躍的に増大させ、かつカメラ移動に基づく直感的な制御を実現可能である。

［第１実施例］
図４を参照して、画像のボケ形状を制御するための撮像装置の構成について説明する。撮像装置５００は、カメラ筐体部５０１に配置されたレンズ駆動ユニット５０２によってレンズ部５０３の移動および回転が可能な構成である。撮像装置５００は所定の面内で様々な方向へ移動されるため、レンズ部５０３は様々な方向へシフト可能な構成にする必要がある。図４の紙面内にて左右方向をｘ方向とし、上下方向をｙ方向と定義する。図４の紙面に垂直な方向をｚ方向とし、ｚ方向は撮像装置５００の撮像光学系の光軸に平行な方向である。

撮像装置の例として、ｘ方向およびｙ方向へのレンズシフト機構を有する装置がある。例えば電磁駆動部（電磁コイル、マグネット）によりレンズを２次元平面（ｘ－ｙ平面）内の任意方向に駆動する機構が用いられる。また、図４に示す撮像装置５００は、カメラ筐体部５０１上でレンズ駆動ユニット５０２によりレンズ部３の移動と回転が可能な構造である。レンズ駆動ユニット５０２の回転中心軸を基準として、動径方向をｒ方向とし、回転方向をθ方向と定義する。

レンズ部５０３はレンズ駆動ユニット５０２にてｒ方向（放射方向）に移動可能であって、θ方向に回転可能である。つまり、レンズ部５０３をｒ方向へ移動させ、かつθ方向へ回転させることによって、任意の位置にレンズ部５０３をシフトさせることが可能である。この構成によれば、レンズ部５０３の１次元方向への移動機構を設けて回転させるだけで済むので、撮像装置の小型化や低コスト化を実現できる。

カメラ筐体部５０１およびレンズ部５０３の大きさには制限があるため、シフト量には限界が生じる。本実施例では、撮像装置５００から被写体までの距離（被写体距離）情報と撮像装置５００の位置情報に基づいてシフト量が決定される。シフト量の限界値以上に対応する位置への撮像装置の移動が生じた場合、被写体距離と、撮像装置の位置と、シフト量との関係が崩れてしまう。この場合、ボケ形状を制御するという所期の機能の実現に適さない画像が取得される可能性がある。そこで、ユーザが撮影時に撮像装置を移動させている途中で、シフト量が限界値に到達した際、そのことをユーザに報知する手段を講じることが好ましい。音、光、振動等を利用した報知用デバイスによって、ユーザが撮像装置をそれ以上大きく動かしても、ボケ形状の制御に寄与しないことを報知することができる。

図５は撮像装置５００の構成例を示すブロック図である。まずカメラ筐体部５０１の構成を説明する。被写体からの光は、レンズ部５０３の撮像光学系３を介して、撮像素子６の撮像面上に結像する。

撮像素子６の表面にはマイクロレンズが格子状に配置されている。多数のマイクロレンズはマイクロレンズアレイ２０を構成している。撮像光学系３を駆動して焦点位置を移動させつつ、各マイクロレンズに対応する光電変換部による信号を取得し、各焦点位置でのコントラストの比較を行うことによって被写体の距離に関連する情報（距離情報）が得られる。

本実施例ではコントラスト検出方式に基づく被写体距離の計測例を示すが、撮像面での位相差検出方式や撮像用とは別個の位相差検出用センサを用いる方式やＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式等によって被写体の距離情報を取得することができる。

また撮像素子６の出力からは、焦点調節用の評価量や露光量を表す信号が得られるので、これらの信号に基づいて撮像光学系３のＡＦ制御およびＡＥ（自動露出）制御が可能である。

画像処理部７は、その内部にＡ（アナログ）／Ｄ（デジタル）変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成可能である。また画像処理部７は取得された複数の画像の加算処理を行い、合成画像を生成してメモリ部８に出力する。

メモリ部８は記憶部と、画像データ等の記憶に必要な処理回路を備える。メモリ部８は予め定められた方法で画像、動画、音声等のデータの圧縮処理や伸長処理を行う。メモリ部８に記憶された画像データは読み出されて、表示部９または記録再生部１０へ出力される。表示部９はＬＣＤ（液晶表示装置）等を備え、システム制御部５の制御指令にしたがって画像表示を行う。また、表示部９は画面上に所定のメッセージを表示してユーザに報知する。

記録再生部１０は、システム制御部５の制御指令にしたがって画像データ等を所定の記録媒体に記録し、または記録媒体からデータを読出して再生する処理を行う。所定の記録媒体は、例えばカメラ本体部に装着して使用可能な半導体メモリデバイス等である。

システム制御部５はＣＰＵ（中央演算処理装置）を備え、撮像システムの各構成部を制御する中枢部である。システム制御部５は撮像の際のタイミング信号等を生成して各部へ出力し、また、操作指示信号に応動して撮像系、画像処理系、記録再生系の各構成部をそれぞれ制御する。システム制御部５は画像処理部７によって処理された画像データを表示または記録する処理や、出力デバイスを用いて外部装置への送信する処理等を行う。

操作検出部１１は、操作スイッチやタッチパネル等を用いて行われるユーザの操作を検出し、操作指示信号をシステム制御部５に出力する。例えば、操作検出部１１はユーザの撮影操作指示を検出してシステム制御部５に通知する。システム制御部５は、撮像素子６の駆動、画像処理部７の動作、メモリ部８による圧縮処理等を制御し、表示部９の画面に画像や情報を表示する制御を行う。

位置姿勢検出部１２は角速度センサや加速度センサ等を備え、撮像装置５００の位置および姿勢を検出して検出信号をシステム制御部５に出力する。システム制御部５は検出信号に基づき、公知の方法で撮像装置５００の位置情報や移動量、姿勢情報を取得する。センサデバイスによって物理的な方法で位置や姿勢を検出する方法に限定されない。例えば、撮像装置が撮影者側の動きを検出する撮像部２１を別途備え、撮像部２１が捉える撮影者の位置の変化から撮像装置の位置の変化を推定する方法でもよい。より具体的には、撮像装置の撮影者側に、主の撮像系とは別の副撮像系を設け、副撮像系を含む撮像部２１から出力される撮影者の人体の画像の向きや移動量からシステム制御部５により撮像装置５００の位置を推定することができる。また、センサデバイスの物理的情報による推定方法と、副撮像系による推定方法とを組み合わせてもよい。

発光部１３は被写体への照明用光源を備え、システム制御部５からの制御信号により発光量が制御される。システム制御部５は必要に応じて発光部１３の光源から被写体に向けて照明光を照射する制御を行う。光源の発光制御の詳細については後述の実施例で説明する。

次にレンズ駆動ユニット５０２の構成を説明する。レンズ駆動ユニット５０２は、駆動部１４と位置検出部１５を備える。レンズ部５０３の撮像光学系３はレンズ群や絞り等の光学部材からなり、図５には光軸４を１点鎖線で示している。

駆動部１４は、システム制御部５からの制御信号にしたがってレンズ部５０３を図４のｒ方向、θ方向にそれぞれ駆動する。駆動部１４はｒ方向への駆動機構部とθ方向への駆動機構部により、レンズ部５０３のシフト動作を行う。各駆動機構部については特定の構成に限定されず、各種の機構を採用可能である。位置検出部１５はレンズ部５０３の位置（図４：ｒ，θ）を検出し、位置検出信号を駆動部１４に出力する。駆動部１４は位置検出信号と駆動目標信号との偏差を減少させるフィードバック駆動を行う。

図６を参照して、撮像装置５００の動作を説明する。図６に示す処理は、システム制御部５の備えるＣＰＵが所定のプログラムを実行することにより実現される。まずＳ４０１で構図が決定され、次にＳ４０２で原点が登録される。例えばシステム制御部５は撮像を開始するときのユーザ操作にしたがって、明示的に撮像装置５００の原点を登録する処理を実行する。あるいは、次のＳ４０３にて被写体距離の測定動作時のカメラ位置を原点として自動的に登録する処理が実行される。

Ｓ４０３でシステム制御部５は被写体距離の測定処理を行い、撮像装置５００から被写体までの距離情報を取得する。Ｓ４０４で撮像装置５００が移動した後、Ｓ４０５に進んで撮像装置５００の移動量が計測される。移動量の計測はシステム制御部５が位置姿勢検出部１２の検出信号を用いて行う。

Ｓ４０６でシステム制御部５は、被写体距離と、撮像装置の移動量に基づいてレンズ部５０３のシフト量を算出する。シフト量はレンズ駆動ユニット５０２における図４のｒ方向の移動量およびθ方向の回転量に対応する量である。Ｓ４０７でシステム制御部５は算出したシフト量にしたがい、駆動部１４によりレンズ部５０３の駆動制御を行う。そしてＳ４０８で画像処理部７は撮像された画像を取得する。

Ｓ４０９においてシステム制御部５は、所定時間（閾値時間）が経過したかどうかを判断する。所定時間は、求めるボケの大きさやカメラを動かす速さ等の条件によって設定される。所定時間が長いほど、ボケを制御するためにカメラを動かす時間を長くとることができ、所望のボケ形状を得ることが容易になる。一方で、被写体ブレの可能性は大きくなる。逆に所定時間が短い場合、被写体のブレは起きにくいが、同じ大きさのボケ量を得るためには、よりカメラを速く動かす必要がある。所定時間が経過したと判断された場合、Ｓ４１０の処理に進み、所定時間の経過前であると判断された場合にはＳ４０４へ戻って処理を継続する。

Ｓ４１０でシステム制御部５はＳ４０８にて取得された複数枚の画像の加算処理を実行する。加算処理では、相対的に暗く撮影された画像の信号を単純加算してもよく（加算により輝度が上がる）、あるいは適正露出で撮影された画像の信号を加算平均してもよい。また画像のＳ／Ｎ（信号対ノイズ）比を考慮して、適正露出より若干暗い画像の信号を加算し、加算枚数以下の数で出力を除算してもよい。Ｓ４１１でシステム制御部５は、Ｓ４１０で加算された画像信号の出力（表示、記録、外部出力等）処理を行ってから、一連の処理を終了する。

ところで、柔らかいボケ形状の実現のために、アポタイゼーションフィルタを内蔵するレンズがある。これは、瞳の周辺部分を透過した光に関して、その光量を減少させることで、瞳の各位置を通った光に対し、中心に近いほど大きく重みづけして光学的に重ね合わせていることになる。

図７は、このような重みづけを行うための、撮像装置の原点からの距離と、画像の重みづけ量との関係を表した模式図である。異なる撮像位置として、原点近傍６０１と位置６０２，６０３での撮像例を図７の上側に示し、撮像位置と重みづけ量との関係を表すグラフを図７の下側に示している。

複数の画像を重ね合わせる際、原点近傍６０１で撮像された画像に対する重みづけ量は相対的に大きく、原点から離れた位置６０２，６０３で撮像された画像に対する重みづけ量は相対的に小さくして加算処理が行われる。これによってアポタイゼーションフィルタを内蔵した構成と同等の効果が得られる。また、加算される複数の画像の重みづけ量が等しい状態でも、撮像装置を動かす際に中央付近に滞在する時間を相対的に長くすることで、前記と同等の効果が得られる。

複数の画像の加算処理については、撮像素子６から出力された撮像画像信号を撮像装置内部の画像処理部７が加算する方法と、撮像素子６の内部のメモリ部で加算する方法がある。また撮像素子６の画素部を構成する光電変換部（フォトダイオード）上で加算する方法がある。撮像素子内のメモリ部で撮像画像信号を加算する方法では、画像処理、記録、保存にかかる時間を短縮できるので、撮影間隔を狭くすることができる。また光電変換部上で信号を加算する方法（電子または正孔の電荷蓄積）では、撮影間隔が連続的になり、より滑らかな画像を取得できる。

加算処理の対象とする画像に対して所定の判定条件を設定することができる。例えば、被写体が人物である場合、顔識別技術を利用して、一時的に眼をつぶった被写体の画像を認識して加算対象から除外する処理が行われる。判定条件を満たす複数の画像のみ加算処理を行うことで所望の画像を取得することができる。

撮像装置を移動しつつ撮影動作が行われて、取得された複数の画像に対する単純加算を行うだけで、所望のボケ形状に制御された画像が得られる。しかしながら、撮像装置の移動量の計測誤差や、レンズ部のシフト動作での誤差が発生した場合、単純加算を行っただけでは、焦点を合わせた被写体の像にもわずかにボケが発生する可能性がある。複数の画像を加算する際には、被写体を認識して、ずれを低減させるべく画像をシフトさせた上で加算することで、所望の画像を取得することができる。

図８を参照して、レンズのシフト量とボケ量との関係を具体的に説明する。図８は、被写体７０１、レンズ７０２、撮像素子７０３の光学的な位置関係を表す模式図である。図示の簡略化のため、光学系を１枚のレンズ７０２とし，レンズ枠を光学系の瞳として表現する。瞳７０４はレンズ７０２を動かしたときに得られる仮想的な瞳である。撮像装置の原点において、レンズ７０２は撮像素子７０３に対してシフトしていない状態、すなわち、レンズ７０２の光軸と撮像素子７０３の開口画素の中心とがずれていない状態とする。

各パラメータを以下のように定義する。
・元レンズの焦点距離：f
・元レンズのFナンバー：F0 →元レンズの開口径：A0=f / F0
・仮想瞳のFナンバー：F →仮想レンズの開口径：A=f / F
・被写体距離：d
・必要レンズシフト量：Smax

図８に示す三角形７０５は、被写体７０１と、撮像装置の原点におけるレンズ７０２の中心と、撮像装置が移動して、撮像素子７０３の位置でのレンズ７０２の中心の各位置を３頂点とする三角形を表す。撮像装置の原点におけるレンズ７０２の中心は、光軸に平行な直線に対する、レンズ７０２の中心からの垂線の足に相当する。また三角形７０６は、レンズ７０２の中心と、シフト前の撮像素子７０３の中心と、シフト後の撮像素子７０３の中心の各位置を３頂点とする三角形を表す。シフト前の撮像素子７０３の中心は、レンズ７０２の中心を通って光軸に平行な直線に対する、シフト後の撮像素子７０３の中心からの垂線の足に相当する。

三角形７０５と三角形７０６は相似関係にあるので、下記式（１），（２）が成り立つ。

式（２）より、必要レンズシフト量Smaxは、元のレンズの焦点距離が大きいほど、被写体距離が小さいほど、仮想瞳のFナンバーが小さい（大口径である）ほど、元のレンズのFナンバーが大きい（小口径である）ほど大きくなることが分かる。元のレンズが小口径ほど、同じ仮想瞳を得るのに、より大きいレンズシフト量を必要とする。その理由は、仮想瞳の大きさは、元のレンズの瞳径と、撮像装置の移動による仮想的な瞳径の拡大の合算だからである。

カメラ筐体部の必要移動量、すなわちレンズのシフト量が必要レンズシフト量Smaxであるときの撮像素子７０３の原点からの移動量をSbmaxと表記する。移動量Sbmaxは、図８にて、レンズ中心の移動量にシフト量を加えた長さに相当するので、下記式（３）が得られる。

具体例として、f=40mm, F0=5.6, F=1.0, d=500mmを式（２）に代入すると、Smax=1.3mmとなる。式（３）から、Sbmax=（40/1-40/5.6）/2+1.3=17.7mmである。つまり、f=40mm, F0=5.6のレンズを備えたカメラを、半径が17.7mmの円の範囲内（レンズ中心の動く範囲は(40/1-40/5.6)/2 =16.4mm）で動かした場合に、F1.0相当のボケを得ることができる。

図９を参照して、レンズに必要なイメージサークル径について説明する。元のイメージサークルは撮像素子の対角長を直径とした円とする。シフト後のイメージサークルは、図９にて正負の方向（上下方向）にレンズが最大シフト量で移動する場合の撮像素子の領域をカバーできる円とする。各パラメータの定義は図８と同じである。

必要なイメージサークルの直径をDimと表記し、長方形の撮像素子７０３の対角長をwと表記する。Dimは下記式（４）から求められる。

撮像素子７０３の対角長wを7.7mmとすると、f=40mm, F0=5.6, F=1.0, d=500mmの場合式（４）より、Dim=1.3×2+7.7=10.3mmとなる。必要なイメージサークルの直径は、元のイメージサークル直径（7.7mm）よりも34%の増加となる。
なお、上記の説明において、被写体距離を、光学系の主点から被写体までの距離としている。撮像素子から被写体までの距離は、上記被写体距離に光学系の焦点距離を加えた長さとなる。
本発明の実施形態では、変化する撮像素子の位置と被写体距離から、レンズのシフト量を変化させる。撮像装置の位置とレンズのシフト量との関係を図１０に示す。図１０に示される三角形１８０５と三角形１８０６との相似から、下記式（５）の関係がある。

レンズシフト量S₁は、撮像装置の移動量Sb₁、被写体距離d、および焦点距離fから、下記式（６）の関係になる。

前記式（３）における撮像装置の移動量Sbmaxは、所望のF値相当のボケを得るための、撮像装置の必要な移動量を表しており、所望のF値と光学系のF値と焦点距離と被写体距離によって一意に決まる、移動位置の最大値を表している。
式（６）における撮像装置の移動量S_b1は、前記式（３）で得られた必要な移動量の範囲内において、撮像装置を移動させながら撮影している際の、時々刻々と変化する撮像装置の位置S_b1(t)を表している。

以上の説明では本発明を適用した実施例として、撮像素子が撮像装置の筐体に固定され、光学系が撮像装置の筐体に対して移動する、レンズシフト型カメラの例を示した。光学系が撮像装置の筐体に固定され、撮像素子が移動する、センサシフト型カメラに本発明を適用する場合であっても、被写体、光学系、撮像素子の位置関係は同等に説明できる。この場合の配置を、図１１に示す。
図１１に示される三角形１９０５と三角形１９０６との相似から、下記式（７）の関係がある。

撮像素子のシフト量S₂は、撮像装置の移動量S_b2、被写体距離d、および焦点距離fから、下記式（８）の関係になる。

この場合には像ブレ補正光学系の駆動機構部と同様の電磁駆動部（マグネットおよびコイル）を利用して設定面内で撮像素子の移動制御を行うことが可能である。また、撮像素子のシフトを行う像ブレ補正用の機構部をボケ形状の制御に用い、レンズのシフトを行う像ブレ補正光学系を、より高周波である手振れの補正に用いることが可能である。あるいは逆に、レンズのシフトを行う像ブレ補正光学系をボケ形状の制御に用い、撮像素子のシフトを行う像ブレ補正用の機構部を手振れの補正に用いることが可能である。尚、角速度センサ等の検出結果に基づく像ブレ補正の制御は公知であるので、その詳細な説明を省略する。

本実施例では、被写体の距離情報と撮像装置の位置情報に応じてレンズまたは撮像素子をシフトさせる駆動部を備え、複数の異なる撮像位置にて取得される各画像を加算して出力する。本実施例によれば、ユーザが撮像装置を移動させるという直感的な操作を行うことで、所望のボケ形状の制御が可能な撮像装置を提供することができる。

［第２実施例］
図１２を参照して、本発明の第２実施例を説明する。本実施例では第１実施例との相違点である、クロップ領域の移動制御に基づく複数の画像の取得処理について説明する。クロップ領域は撮像範囲内に含まれる部分領域であり、クロップ撮影では設定されたクロップ領域内の画像を抽出する処理が行われる。クロップ領域の移動制御が前記撮像素子のシフト制御に対応する。なお、本実施例にて第１実施例と同様の事項については既に使用した符号や記号を流用することによって、それらの詳細な説明を省略する。このような説明の省略方法は後述の実施例でも同じである。

図１２は、本実施例にて図２（Ａ）に相当する図であり、撮像素子９０５以外については図２（Ａ）と同様である。本実施例では、レンズのシフト動作に代えて、被写体距離と撮像装置の位置に応じて撮像素子９０５のクロップ領域（９０６、９０７参照）を移動させることで、第１実施例と同等の画像を取得することができる。この場合、クロップ領域の移動量は撮像素子のシフト量に対応し、レンズの焦点距離や撮像装置の位置情報、被写体の距離情報から算出可能である。

図１３を参照して、本実施例の動作について説明する。図１３のＳ１００１からＳ１００５までの処理、Ｓ１００８からＳ１０１１までの処理は、図６のＳ４０１からＳ４０５までの処理、Ｓ４０８からＳ４１１までの処理と同様である。相違点であるＳ１００６、Ｓ１００７の処理を説明する。

Ｓ１００５からＳ１００６へ進み、システム制御部５は被写体距離と撮像装置の移動量から撮像素子９０５のクロップ領域を算出する。Ｓ１００７でシステム制御部５はクロップ領域の移動制御を行う。この制御によって、レンズや撮像素子のシフト制御を行う必要がなくなるので、撮像装置の構成を簡素化できる。

図１４は、本実施例における別の動作を説明するフローチャートである。Ｓ１１０１からＳ１１０３までの処理は、図６のＳ４０１からＳ４０３までの処理と同様である。Ｓ１１０４で撮像装置が移動した後、Ｓ１１０５で撮像装置の移動量が計測される。次にＳ１１０６で画像が取得される。

Ｓ１１０７でシステム制御部５は、所定時間（閾値時間）が経過したか否かを判断する。所定時間が経過したと判断された場合、Ｓ１１０８の処理に進み、所定時間が経過していないと判断された場合にはＳ１１０４へ戻って処理を継続する。

Ｓ１１０８でシステム制御部５は、取得された複数の画像をずらして加算する処理を実行する。次にＳ１１０９でシステム制御部５は画像処理部７に対し、加算された複数の画像のオーバーラップ領域をクロップ領域に設定して、Ｓ１１１０でクロップ領域の画像を出力する処理を行って動作を終了する。

図１４の動作過程では、撮影時にクロップ領域の算出は行われず、撮像素子の全領域（有効撮像領域）で撮像が行われ、複数の画像を加算した後にクロップ処理が行われる。クロップ領域の設定位置については、撮像装置の移動量だけで判断されるのでなく、焦点の合った被写体の位置が重なるように複数の画像を加算した場合の、画像がオーバーラップする領域となる画像の画角からも判断することができる。そうすることで、撮像装置の位置計測の誤差を、画像を加算する際の位置調整によって吸収して低減させることができる。撮像素子の全領域で被写体の撮影を行う場合でも、システム制御部５はクロップ処理される予定の領域を、構図決定時に表示部の画面に示してもよく、クロップされる領域のみを表示してもよい。ユーザはクロップ処理される予定の領域を表示画面上で認識することで、より正確に構図の決定が可能である。

本実施例によれば、レンズや撮像素子の物理的なシフト機構部が不要であるため、撮像装置の小型化やコスト削減を実現できる。また動作追従性を向上させつつ、任意のボケ形状を得ることができる。

［第３実施例］
図１５および図１６を参照して、本発明の第３実施例について説明する。第１実施例では、撮像装置の位置と被写体距離に応じて、式（６）または式（８）の関係から、レンズや撮像素子のシフト量が算出される。式（６）または式（８）から得られるシフト量は、撮像装置の位置が変化した場合の、被写体像の撮像素子上での位置変化を相殺するレンズと撮像素子の配置に対応している。本実施例においては、撮像装置が取得する撮影画像自身がもつ情報から、被写体像の位置変化を相殺するシフト量を算出して、シフト動作を行いつつ連続画像の撮影が行われる。このように求めたシフト量は、結果的に、第１実施例にて撮像装置の位置と被写体の距離に応じて算出されるシフト量と一致することとなる。

図１５は本実施例の撮影画角の関係を示す模式図である。図１５（Ａ）は初期状態を示し、シフト動作なしの場合を図１５（Ｂ）に示し、シフト動作ありの場合を図１５（Ｃ）に示す。主被写体２００１および背景被写体２００２の撮影シーンの例を示す。

図１５（Ａ）に示す初期状態では、撮影画角２００３内において、焦点を合わせる主被写体２００１を撮影者が登録する指示を撮像装置に行うか、または主被写体２００１を撮像装置が認識する。主被写体２００１の認識方法として、オートフォーカスや露出の精度向上のために用いられる、種々の被写体検知技術を使用することができる。また、主被写体２００１を撮像装置が認識したことを撮影者に告知する処理が行われる。例えば、主被写体２００１の認識状態を示す枠２００４が、図５の表示部９により表示される。

図１５（Ｂ）の状態は、レンズまたは撮像素子のシフト動作なしに撮像装置の位置を撮影者から見て右側（ｘ座標値が増加する側）に移動させた場合を示す。撮像装置の移動に伴って、撮影画角２００３内において主被写体２００１の像は左に移動している。

図１５（Ｃ）の状態に示すように、本実施例においては、図１５（Ａ）に示す初期状態の後に撮像装置の移動に伴って主被写体２００１の像の位置が変化した場合、レンズまたは撮像素子のシフト動作が行われる。つまり、主被写体２００１の像の移動量からレンズまたは撮像素子のシフト量が算出され、主被写体２００１の位置変化を打ち消して図１５（Ｃ）の画角となるようにレンズまたは撮像素子をシフトさせる制御が行われる。図１５（Ａ）の初期状態と、図１５（Ｃ）の状態との間で撮像装置の位置は変化しているが、撮像素子上での主被写体２００１の像の座標は変化しない。主被写体とは距離の異なる背景被写体２００２の像については、図１５（Ａ）の初期状態と、図１５（Ｃ）の状態との間で撮像素子上での像の座標が異なる。

本実施例にてシフト量を求める方法に関しては、以前に取得されたフレームの主被写体の位置から差分を算出する方法がある。また複数のフレームの主被写体の移動速度から、将来の位置を予測して撮影画角内での主被写体の位置が一定となるように制御する方法がある。撮像素子のシフトを用いる場合、主被写体の位置変化を打ち消すための撮像素子のシフト量は、主被写体像の移動量そのものである。

図１６は、本実施例の動作を説明するフローチャートである。Ｓ２１０１において構図が決定される。Ｓ２１０２では、撮影者の指示による主被写体の登録、または撮像装置による主被写体の認識処理が行われる。Ｓ２１０３において焦点合わせが行われ、被写体の距離測定処理が実行される。なお、Ｓ２１０２とＳ２１０３の処理はどちらが先でも構わないし、同時であってもよい。

Ｓ２１０４において、撮影者によって撮像装置が移動される。Ｓ２１０５にてシステム制御部５は主被写体像の移動量を計測する。Ｓ２１０６にてシステム制御部５は計測した主被写体像の移動量からシフト量を算出する。Ｓ２１０７にてレンズまたは撮像素子のシフト動作が行われる。

Ｓ２１０８にて画像処理部７は撮像された画像を取得する。Ｓ２１０９にてシステム制御部５は所定時間が経過したかどうかを判断する。Ｓ２１０９にて所定時間が経過したと判断された場合、Ｓ２１１０に処理を進める。所定時間が経過していないと判断された場合にはＳ２１０４に移行し、Ｓ２１０４からＳ２１０８の処理が、所定時間に到達するまで繰り返し実行される。

Ｓ２１１０にてシステム制御部５は複数枚の画像を加算する処理を実行する。Ｓ２１１１にてシステム制御部５はＳ２１１０で加算された画像（加算画像）の信号を出力する処理を行ってから一連の処理を終了する。

本実施例では、撮像装置の位置や被写体距離を正確に計測する必要はなく、撮影画角内における主被写体を登録または認識し、主被写体像の撮影画角内での位置の変化または速度によりシフト量を算出することができる。つまり、撮影画像の情報から被写体像の位置変化を相殺するシフト量を算出することにより、第１実施例と同様の効果を得ることができる。また本実施例では、第１実施例でのシフト量の算出に影響を与える、被写体距離によってレンズの繰り出し量に伴う変化、すなわち、式（６）または式（８）の焦点距離fの値や被写体距離dを、被写体距離によって修正することが不要となる。

［第４実施例］
図１７から図１９を参照して、本発明の第４実施例を説明する。図１７は本実施例の撮像装置１２００の構成を示す模式図である。図１７の紙面に垂直な方向をｙ方向とし、紙面内にて互いに直交する２方向をｘ方向およびｚ方向と定義する。ｚ方向は撮像装置１２００の撮像光学系の光軸に平行な方向である。

撮像装置１２００はレンズ１２０１、鏡筒１２０２、カメラ筐体部１２０３、バネ１２０４および１２０５、錘１２０６、アーム１２０７、撮像素子１２０９を備える。アーム１２０７は、その一部が鏡筒１２０２に取り付けられ、他の一部に錘１２０６が設置されている。

レンズ１２０１は鏡筒１２０２と一体化されており、バネ１２０４，１２０５を介してカメラ筐体部１２０３に接続されている。バネ１２０４と１２０５は鏡筒１２０２を付勢する弾性部材である。レンズ１２０１はバネ１２０４，１２０５の弾性力に抗する方向に移動可能である。鏡筒１２０２と錘１２０６はアーム１２０７を介して接続されており、回転軸１２０８を中心軸としてアーム１２０７が回転可能な構造となっている。

図１８は、撮影者が撮像装置１２００をｘ－ｙ平面内の円軌道で動かしている状態の説明図である。図１８（Ａ）は撮影者が撮像装置１２００で撮影している姿を上から見た場合の図である。図１８（Ａ）の紙面に直交する方向がｙ方向であり、紙面内で直交する２方向がｘ方向およびｚ方向である。図１８（Ｂ）は撮影者と撮像装置１２００を後側から見た場合の図である。図１８（Ｂ）の紙面に直交する方向がｚ方向であり、紙面内で直交する２方向がｘ方向およびｙ方向である。カメラ筐体部１２０３の中心が描く円軌道の中心を基準（原点）として、動径方向をｒ方向、円周方向をθ方向と定義する。カメラ筐体部１２０３が図１８（Ｂ）の位置にある状態で、その内部を上から見たときの図が図１７に相当する。

以下では撮影者がカメラ筐体部１２０３を半径ｒの円軌道に沿って角速度ωで移動させている状況を想定して撮像装置１２００の動作を説明する。各パラメータを次のように定義する。
・m1：レンズ１２０１と鏡筒１２０２との複合系の質量。
・m2：錘の質量。
・l1：アーム１２０７の回転軸１２０８から、レンズ１２０１と鏡筒１２０２との複合系の重心が左右に移動可能な面までの距離。
・l2：アーム１２０７の回転軸１２０８から、錘１２０６の重心までの距離。

所望のシフト動作を可能とするために、下記式（９）に示す条件が成り立つ構造としておく。

なお、アームのうち、回転軸からレンズ１２０１と鏡筒１２０２との複合系までの部分は、レンズのシフトによってピント位置が変動することを防ぐため、伸縮できる構造となっており、シフト量Sの変化に伴って長さが

となるような構造とする。

図１７の構造にて、ｘ－ｙ平面内の半径ｒの円軌道に沿って一定の角速度ωで撮像装置１２００を動かした場合、レンズ１２０１と鏡筒１２０２との複合系および錘１２０６それぞれに、遠心力F1，F2が加わる。F1はレンズ１２０１と鏡筒１２０２との複合系に加わる遠心力であり、F2は錘１２０６に加わる遠心力である。遠心力F1，F2の大きさは、シフトによる半径の増減を加味して、下記式（１０）、（１１）で表される。

バネ１２０４とバネ１２０５との複合系による、バネ定数をkと表記し、これらのバネが鏡筒１２０２に加えている力をF3と表記する。F3は下記式（１２）で表される。

図１７では２つのバネ１２０４，１２０５を使用した例を示すが、バネの数はいくつでもよく、直列接続や並列接続、さらにそれらの組み合わせが可能である。複数のバネを合成したバネ定数kの値が分かっていればよい。

回転軸１２０８を中心とするモーメントのつりあいから、下記式（１３）が成り立つ。

式（１３）に式（１０）、（１１）、（１２）を代入して下記式（１４）が得られる。

ωについて整理すると、下記式（１５）、（１６）のようになる。

ただし、Sは所望のFナンバーをFとした場合の、式（２）のSmaxに相当する。

ｒはカメラ筐体部１２０３の回転中心（原点）からの位置に相応する回転半径であるので、式（３）のSbmaxが相当する。よって、下記式（１７）が得られる。

元のレンズのF値と焦点距離は既知であるので、所望のF値相当の値と被写体までの距離が決まれば、式（１７）から回転半径ｒが求まる。つまり、この回転半径ｒで、かつ式（１６）から求まる角速度ωで撮像装置１２００を円軌道に沿って回転させることにより、所望のF値相当のボケが得られる。なお、撮像装置が回転半径ｒ、かつ角速度ωで、という一定の条件下で動いている場合には、SはSmax相当となるが、撮像装置を回転させる初期状態や終末状態において、ｒやωが過渡状態にある場合には、SがSmaxよりも小さな値となる場合がある。この条件で撮影された画像も加算することは、回転運動で生じるリング状の仮想的な瞳の中心部分を埋めることとなり、より柔らかいボケ形状の実現に寄与する。

図１７では説明の便宜上、ｙ方向から見た２次元面内の構造を示しているので、錘１２０６やアーム１２０７がレンズ１２０１から撮像素子１２０９に向かう光路中に描かれている。そのため、これらの部材の影が生じるように見えるが、実際には影が生じないように各部材が３次元的に配置された構成とすることができる。

システム制御部５は、被写体距離の計測後に、式（１７）から求めた回転半径ｒの値を表示部９の画面に表示する処理を行い、撮像装置１２００を動かす範囲を撮影者に通知する。また図１９に示す例のように、システム制御部５は、式（１４）から求めた角速度ωを、カメラ筐体部１２０３の背面に設けられた表示装置１２１０の画面にてアニメーションで表示する処理を行う。ユーザは表示映像を見ることで、より正確な操作が可能になる。

本実施例によれば、撮像装置に対して加速度を受けたときの力によってレンズを所望の量だけシフトさせることができる。レンズを介して撮像素子により撮像された複数の画像の加算処理が行われて加算画像が出力される。レンズシフトのためのアクチュエータを省略することで構成の簡素化、軽量化を実現できる。またカメラ位置に対するシフトの応答性を高め、消費電力を削減しつつ、任意のボケ形状を得ることができる。

［第５実施例］
次に本発明の第５実施例を説明する。低照度の条件下で光量を補うために、補助光を発光する光源を備える撮像装置において、光源の位置は筐体サイズによる制限がある。つまり、撮像光学系の光軸から離れた位置に光源を設置することはできない。また、光源の面積についても筐体サイズによる制限を受けるので、所定値以上に大きくすることはできない。そのため、撮像装置が備える光源から発光された光による影は、被写体の近傍に鋭いエッジをもって発生する場合があり、大変に見苦しい画像になる。このことは、撮影者に補助光の使用を躊躇させる原因ともなり得る。

被写体の影を被写体から遠ざけるためには、光源の位置を光軸から離せばよく、また影のエッジを滑らかにするためには、光源の面積を大きくすればよい。本実施例では、ボケ形状を制御するために、撮像装置を被写体に正対する面（ｘ－ｙ平面と定義する）内で動かして撮影動作が行われる。撮像装置の動かし方と光源の発光のさせ方との組み合わせにより、レンズ近傍に面積の小さい光源が設置されている場合でも等価的な光源形状を自在に変化させることができる。

図２０を参照して、本実施例における撮影動作を説明する。図２０（ａ）～（ｄ）は、ｘ－ｙ平面にて原点に対するカメラの位置と、発光部１３が有する光源の発光パターンの説明図である。図２０（Ａ）～（Ｄ）は、図２０（ａ）～（ｄ）それぞれに対応した光源配置で得られる被写体の影の説明図である。白抜きの星印は光源が発光している状態を表し、黒塗りの星印は光源が消灯している状態を表している。

撮像装置が原点に位置するとき、光軸の位置もほぼ原点にあるとする。図２０（ａ）は、光源を備える撮像装置が原点にある場合の、光源の発光位置を表現している。光源は、光軸からカメラ筐体部上での光源の設置場所まで離れた位置Δｒだけオフセットした位置で光を照射する。この配置では、光軸から光源までの距離が近く、光源の面積も小さい。そのため、図２０（Ａ）のように被写体には見苦しい影１５１１が生じる。

本実施例の撮像装置を用いる場合、図２０（ｂ）にて網掛けを付して示す円１５０１の範囲で撮影者は撮像装置を動かす。光源の移動範囲は円１５０２で示す範囲となる。図２０（ｂ）のように、撮像装置の移動範囲の最外周の円１５０２上だけで光源を発光させると、被写体は、あたかもリング状の光源によって照射された状態となるので、図２０（Ｂ）のように被写体には影がほとんど生じない。

図２０（ｃ）は、撮像装置が原点から大きく移動した一部の位置で光源を発光させた場合を示す。この場合、被写体は、あたかも撮像装置の原点から離れた点光源によって照射された状態となるので、図２０（Ｃ）のように被写体から離れた影１５１２が生じる。また図２０（ｄ）は、撮像装置が特定の領域（例えばｘ－ｙ平面の第Ｉ象限）内において移動したときの位置で光源を発光させた場合を示す。この場合、被写体は、あたかも撮像装置の原点から離れた面光源によって照射された状態となるので、図２０（Ｄ）のように被写体から離れたエッジの滑らかな影１５１３が生じる。

被写体の影の形状を所望の形状に制御するためには、以下の方法がある。
・原点からの位置に応じた発光パターンを事前に選択し、その位置に撮像装置が来た時に光源の明るさを制御する方法。
・事前に、ユーザが撮像装置を動かしつつ、ボタン等で入力操作を行うことによって、光源をどの位置でどれくらいの量で発光させるかを登録しておき、撮像装置が登録された位置に来た時に光源の明るさを制御する方法。

図２１は本実施例の動作過程を説明するフローチャートである。まず、Ｓ１６０１でシステム制御部５は光源の発光パターンの登録処理を実行する。次のＳ１６０２で構図が決定された後、Ｓ１６０３でシステム制御部５は原点の登録処理を実行する。ユーザ操作により明示的に原点を登録する処理を行ってもよいし、Ｓ１６０４での被写体距離の測定動作時のカメラ位置が原点として自動的に登録される処理としてもよい。

次にＳ１６０４でシステム制御部５は被写体距離の測定を行う。Ｓ１６０５で撮像装置が移動した後、Ｓ１６０６でシステム制御部５は撮像装置の移動量を計測する。Ｓ１６０７でシステム制御部５は被写体距離と撮像装置の移動量に基づいてレンズシフト量を算出する。Ｓ１６０８でシステム制御部５は、算出したレンズシフト量にしたがって、レンズのシフト動作の制御を行う。Ｓ１６０９でシステム制御部５は、登録済みの発光パターンと撮像装置の移動量から光源の発光量を算出する。算出された発光量にしたがってＳ１６１０で光源が発光する。なお、Ｓ１６０９、Ｓ１６１０の処理については、Ｓ１６０７、Ｓ１６０８と順番を入れ替えてもよいし、また同時期に行ってもよい。

Ｓ１６１０の次にＳ１６１１で画像が取得される。Ｓ１６１２でシステム制御部５は、所定時間が経過したかどうかを判断する。所定時間が経過したと判断された場合、Ｓ１６１３に進み、また所定時間が経過してないと判断された場合には、Ｓ１６０５に戻って処理を継続する。Ｓ１６１３でシステム制御部５は、取得された複数の画像の加算処理を実行し、Ｓ１６１４で加算された画像の出力処理を行ってから、一連の処理を終了する。

Ｓ１６０６での撮像装置の移動量の計測においては、レンズシフト量を決定する際の分解能と同等の分解能を用いて行ってもよい。あるいは、光源制御に用いる移動量の計測の分解能と、レンズシフト量の決定する際の移動量の計測の分解能とが異なってもよい。また、撮像装置の移動量を、登録された主被写体像の撮像面での移動量と焦点距離の関係から求めてもよい。

本実施例によれば、被写体への照明用光源を有する撮像装置をｘ－ｙ平面内で動かして、ボケ形状のみならず、被写体に生じる影の形状を自在に制御することができる。

前記の各実施例によれば、ユーザが行うカメラ移動操作によって、任意のボケ形状の撮像画像を取得可能であり、画質制御の自由度の向上に寄与する。以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、各実施例に示された構成の組み合わせや、種々の変形および変更が可能である。

１０４，２０５，３０５，３０６，７０３，９０５，１２０９：撮像素子
３０３，３０４，５０３，７０２，１２０１：レンズ
５０１，１２０３：カメラ筐体部
５０２：レンズ駆動ユニット
１２０２：鏡筒
１２０４，１２０５：バネ
１２０６：錘
１２０７：アーム
２００１：主被写体

Claims (37)

1. レンズを介して被写体を撮像する撮像素子と、
   前記撮像素子上で被写体像を移動させることが可能な移動手段と、
   撮像装置の位置変化に応じて前記移動手段による前記被写体像の移動量を変化させつつ複数の画像を取得し、前記複数の画像を合成した画像を出力する制御を行う制御手段と、を備える
   ことを特徴とする撮像装置。
2. 前記移動手段は前記レンズを駆動する駆動手段であり、
   前記移動手段により、前記撮像素子に対する前記レンズのシフトが行われる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記移動手段は前記撮像素子を駆動する駆動手段であり、
   前記駆動手段により、前記レンズに対する前記撮像素子のシフトが行われる
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記移動手段は、前記撮像素子によって画像を取得する領域を移動させる
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記複数の画像のオーバーラップ領域を演算して取得される画像を出力する制御を、前記移動手段による前記領域の移動に対応させて行う
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記被写体までの距離情報を取得する第１の取得手段と、
   撮像装置の位置情報を取得する第２の取得手段と、
   前記距離情報および位置情報から前記被写体像の移動量を算出する算出手段と、を備え、
   前記移動手段は、設定された面内で前記撮像素子の撮像領域を移動させることが可能である
   ことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
7. 前記算出手段は、前記被写体と前記レンズの主点と前記撮像素子の画像を取得する領域が同一直線上の位置関係となるように前記撮像領域の移動量を算出する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記算出手段は、設定された面内で前記撮像素子の撮像領域を前記レンズのシフトによって移動させるためのシフト量を算出する際、前記レンズの焦点距離と前記位置情報との積を、前記距離情報と前記レンズの焦点距離との和で除算して算出する
   ことを特徴とする請求項６に記載の撮像装置。
9. 前記算出手段は、設定された面内で前記撮像素子の撮像領域を前記撮像素子のシフトによって移動させるためのシフト量を算出する際、前記レンズの焦点距離と前記位置情報との積を、前記距離情報で除算して算出する
   ことを特徴とする請求項６に記載の撮像装置。
10. 前記被写体までの距離情報を取得する第１の取得手段と、
    撮像装置の位置情報を取得する第２の取得手段と、
    前記被写体像の移動量を算出する算出手段、を備え、
    前記算出手段は、前記撮像素子により画像を取得する領域を演算し、または、前記画像のオーバーラップ領域を演算する場合、前記レンズの焦点距離と前記位置情報との積を前記距離情報で除算して前記領域の移動量を算出する
    ことを特徴とする請求項４または請求項５に記載の撮像装置。
11. 前記被写体像の移動量を算出する算出手段、を備え、
    前記制御手段は、撮影画角内における特定の被写体を主被写体として登録または認識し、
    前記算出手段は、前記主被写体の像の撮影画角内での位置の変化または速度により前記移動量を算出する
    ことを特徴とする請求項１に記載の撮像装置。
12. 前記制御手段は前記位置情報の原点を登録する処理を行い、登録された前記原点に基づく前記位置情報と前記距離情報から前記移動量を算出する
    ことを特徴とする請求項６または請求項７に記載の撮像装置。
13. 前記制御手段は前記位置情報の原点を登録する処理を行い、登録された前記原点に基づく前記位置情報と前記距離情報から、前記画像を取得する領域を演算する
    ことを特徴とする請求項９に記載の撮像装置。
14. 前記制御手段は、前記距離情報が取得されるときの前記撮像装置の位置、または撮像を開始するときの前記撮像装置の位置を原点として登録する処理を行う
    ことを特徴とする請求項１２または請求項１３に記載の撮像装置。
15. レンズを介して被写体を撮像する撮像素子と、
    撮像装置が受けた加速度によって生じた力により前記レンズを前記撮像素子に対してシフトさせる機構部と、
    異なる撮像位置で前記撮像素子により撮像された複数の画像を合成した画像を出力する制御を行う制御手段と、を備える
    ことを特徴とする撮像装置。
16. 前記機構部は、前記レンズを有する鏡筒、前記鏡筒を付勢する弾性部材、錘、およびアームを備え、
    前記鏡筒と前記錘は前記アームを介して接続されており、前記アームは前記鏡筒と前記錘との間に位置する回転軸を中心として回転可能である
    ことを特徴とする請求項１５に記載の撮像装置。
17. 前記制御手段は、前記撮像素子が有するメモリ部で前記複数の画像を加算した画像、または前記撮像素子の画素部を構成する光電変換部で加算した画像を出力する制御を行う
    ことを特徴とする請求項１から１６のいずれか１項に記載の撮像装置。
18. 前記移動手段は、前記レンズまたは撮像素子を、第１の方向に移動させる駆動と、前記第１の方向に直交する第２の方向に回転させる駆動を行う
    ことを特徴とする請求項２または請求項３に記載の撮像装置。
19. 前記制御手段は、前記撮像装置の位置または移動量が限界値に到達したことを報知する処理を行う
    ことを特徴とする請求項１から１８のいずれか１項に記載の撮像装置。
20. 前記制御手段は、前記原点からの撮像装置の距離に対応する重みづけにより前記複数の画像を加算した画像を出力する制御を行う
    ことを特徴とする請求項１２から１４のいずれか１項に記載の撮像装置。
21. 前記制御手段は、設定された条件を満たす前記複数の画像を合成した画像を出力する制御を行う
    ことを特徴とする、請求項１から２０のいずれか１項に記載の撮像装置。
22. 前記被写体に光を照射する光源を備え、
    前記制御手段は、撮像装置の位置情報により前記光源の発光量を制御する
    ことを特徴とする請求項１から２１のいずれか１項に記載の撮像装置。
23. 前記制御手段は、前記撮像装置の位置情報を、撮像された画像内での被写体の移動によって推定する
    ことを特徴とする請求項２２に記載の撮像装置。
24. 前記制御手段は、原点からの前記撮像装置の位置に対応する発光パターンにしたがって、当該位置に基づく前記発光量を算出する
    ことを特徴とする請求項２２または請求項２３に記載の撮像装置。
25. 前記制御手段は、前記撮像装置の位置および該位置に対応する前記光源の発光量を登録する処理を行い、前記撮像装置の位置が登録された位置であるときに前記光源の発光量を制御する
    ことを特徴とする請求項２２または請求項２３に記載の撮像装置。
26. 前記制御手段は、撮像装置の受けた振動に対して、撮像素子を移動させることにより画像の移動を相殺する制御を行う
    ことを特徴とする請求項２に記載の撮像装置。
27. 前記制御手段は、撮像装置の受けた振動に対して、撮像光学系を構成するレンズを移動させることにより画像の移動を相殺する制御を行う
    ことを特徴とする請求項３に記載の撮像装置。
28. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    前記撮像素子により被写体を撮像する工程と、
    前記撮像素子上で被写体像を移動させる工程と、
    撮像装置の位置変化に応じて前記被写体像の移動量を変化させつつ複数の画像を取得し、前記複数の画像を合成した画像を出力する工程と、を備える
    ことを特徴とする撮像装置の制御方法。
29. レンズを介して被写体を撮像する撮像素子と、設定された面内で前記レンズを前記撮像素子に対してシフトさせ、または前記撮像素子を前記レンズに対してシフトさせる駆動手段を備える撮像装置にて実行される制御方法であって、
    前記被写体までの距離情報を取得する第１の取得工程と、
    撮像装置の位置情報を取得する第２の取得工程と、
    前記距離情報および位置情報から前記レンズまたは撮像素子のシフト量を撮像位置ごとに算出する算出工程と、
    前記シフト量で前記駆動手段を制御して異なる撮像位置で前記撮像素子が撮像した複数の画像を合成した画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
30. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    前記被写体までの距離情報を取得する第１の取得工程と、
    前記撮像装置の位置情報を取得する第２の取得工程と、
    前記距離情報および位置情報から前記撮像素子により画像を取得する領域を撮像位置ごとに演算し、異なる撮像位置での前記領域から取得される複数の画像を合成した画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
31. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    前記被写体までの距離情報を取得する第１の取得工程と、
    撮像装置の位置情報を取得する第２の取得工程と、
    異なる撮像位置で前記撮像素子により撮像された複数の画像を取得し、前記距離情報および位置情報から前記複数の画像のオーバーラップ領域を演算して取得される画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
32. レンズを介して被写体を撮像する撮像素子と、設定された面内で前記レンズを前記撮像素子に対してシフトさせ、または前記撮像素子を前記レンズに対してシフトさせる駆動手段を備える撮像装置にて実行される制御方法であって、
    撮影画角内における特定の被写体を主被写体として登録または認識する工程と、
    前記主被写体の撮像面での像の移動量を取得する取得工程と、
    前記レンズまたは撮像素子のシフト量を撮像位置ごとに算出する算出工程と、
    前記シフト量で前記駆動手段を制御して異なる撮像位置で前記撮像素子が撮像した複数の画像を合成した画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
33. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    撮影画角内における特定の被写体を主被写体として登録または認識する工程と、
    主被写体の撮像面での像の移動量を取得する取得工程と、
    前記移動量から前記撮像素子により画像を取得する領域を撮像位置ごとに演算し、異なる撮像位置での前記領域から取得される複数の画像を合成した画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
34. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    撮影画角内における特定の被写体を主被写体として登録または認識する工程と、
    主被写体の撮像面での像の移動量を取得する取得工程と、
    異なる撮像位置で前記撮像素子により撮像された複数の画像を取得し、前記移動量から前記複数の画像のオーバーラップ領域を演算して取得される画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
35. レンズを介して被写体を撮像する撮像素子と、
    撮像装置が受けた加速度によって生じた力により前記レンズを前記撮像素子に対してシフトさせる機構部と、
    異なる撮像位置で前記撮像素子により撮像された複数の画像を合成した画像を出力する制御を行う制御手段と、を備える撮像装置にて実行される制御方法であって、
    異なる撮像位置で前記撮像素子により撮像された複数の画像を取得する工程と、
    前記制御手段により、前記複数の画像を合成した画像を出力する工程と、を有する
    ことを特徴とする撮像装置の制御方法。
36. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    レンズを介して被写体を撮像する工程と、
    前記撮像素子のシフトを行う機構部を用いて前記撮像素子上で被写体像を移動させる工程と、
    前記レンズのシフトを行う光学系を用いて像ブレ補正を行う工程と、
    撮像装置の位置変化に応じて前記被写体像の移動量を変化させつつ複数の画像を取得し、前記複数の画像を合成した画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
37. 被写体を撮像する撮像素子を備える撮像装置にて実行される制御方法であって、
    レンズを介して被写体を撮像する工程と、
    前記レンズのシフトを行う光学系を用いて前記撮像素子上で被写体像を移動させる工程と、
    前記撮像素子のシフトを行う機構部を用いて像ブレ補正を行う工程と、
    撮像装置の位置変化に応じて前記被写体像の移動量を変化させつつ複数の画像を取得し、前記複数の画像を合成した画像を出力する制御を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
    
    

Images