JP2023131181A - 撮影装置及び撮影方法 - Google Patents
撮影装置及び撮影方法 Download PDFInfo
- Publication number
- JP2023131181A JP2023131181A JP2022035755A JP2022035755A JP2023131181A JP 2023131181 A JP2023131181 A JP 2023131181A JP 2022035755 A JP2022035755 A JP 2022035755A JP 2022035755 A JP2022035755 A JP 2022035755A JP 2023131181 A JP2023131181 A JP 2023131181A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- photographing
- images
- image
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 8
- 238000005096 rolling process Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 21
- 239000000203 mixture Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる撮影装置及び撮影方法を得る。【解決手段】撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る2次元の撮像素子と、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成する画像合成部と、を有することを特徴とする撮影装置。2次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るステップと、画像合成部により、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成するステップと、を有することを特徴とする撮影方法。【選択図】図9
Description
本発明は、撮影装置及び撮影方法に関する。
従来から、スリット画像(スリット写真)と呼ばれる、被写体の動きに合わせてフィルムを動かして撮影を行う技法が知られている。スリット画像は、撮影装置に対して相対移動する被写体を連続的に捉えた複数の線状画像を繋ぎ合わせることで得られるものである。
また、特許文献1には、ラインセンサカメラと画像記録部と操作器とビデオモニタとを有する着順およびタイム判定装置が記載されている。ラインセンサカメラは、判定基準線を挟んで両方向から撮像するように複数が配置される。画像記録部は、複数のラインセンサカメラから入力される複数の映像信号を記録し、複数の映像信号を走査変換し、合成した1つの映像信号あるいは個々の映像信号として読み出し出力する。操作器は、画像記録部における少なくとも信号の記録および読み出しの選択を操作する。ビデオモニタは、画像記録部から入力された複数の映像信号を合成し1つの映像信号とした画像あるいは複数の映像信号の個々の映像信号の画像を表示する。
しかしながら、フィルムカメラでスリット画像を得る場合には、専用のスリットカメラを用いて、被写体に同期してフィルムを動かして撮影しなければならないため、特別かつ大掛かりな装置が必要であり、高コスト化にも繋がってしまう。特許文献1の着順およびタイム判定装置は、フィルムカメラからデジタルカメラに代替わりした後のスリット画像の撮影技術であるが、やはり、複数のラインセンサカメラをはじめとする特別かつ大掛かりな装置が必要であり、高コスト化にも繋がってしまう。
本発明は、以上の問題意識に基づいてなされたものであり、簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる撮影装置及び撮影方法を得ることを目的とする。
本実施形態の撮影装置は、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る2次元の撮像素子と、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成する画像合成部と、を有することを特徴とする。
本実施形態の撮影方法は、2次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るステップと、画像合成部により、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成するステップと、を有することを特徴とする。
本発明によれば、簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる撮影装置及び撮影方法を得ることができる。
<デジタルカメラの全体構成>
図1は、本実施形態のデジタルカメラ(撮影装置)10の全体構成の一例を示すブロック図である。
図1は、本実施形態のデジタルカメラ(撮影装置)10の全体構成の一例を示すブロック図である。
図1に示すように、デジタルカメラ10は、そのカメラボディ20に着脱自在に装着された撮影レンズ11を備えており、撮影レンズ11は、被写体側(図の左側)から順に、撮影光学系としての撮影レンズ群L及び絞り13を備え、カメラボディ20は、シャッタ15及び2次元の撮像素子(エリアセンサ、イメージセンサ)17を備えている。撮影レンズ群Lから入射し、絞り13及び開放されたシャッタ15を通った被写体光束による被写体像が、撮像素子17の受光面に形成され、露光される。撮像素子17の受光面に形成された被写体像は、マトリックス状に配置された多数の画素によって、電気的な画素信号に変換され、画像信号としてCPU(Central Processing Unit)21に出力される。CPU21は、DSP(Digital Signal Processor)と読み替えられてもよい。
CPU21は、画像信号に所定の処理を施して、これを表示部材23に表示し、着脱可能なメモリカード25に書き込む。CPU21は、電源スイッチ、レリーズスイッチ、ダイヤルスイッチなどの操作部材27、絞り13とシャッタ15を駆動制御する絞り/シャッタ駆動回路31、撮像素子駆動機構(撮像素子駆動部)40を介して撮像素子17を駆動する撮像素子駆動回路(撮像素子駆動部)33、及びカメラ機能に関する各種プログラムが書き込まれたメモリ35と接続されている。
撮影レンズ11は、絞り13の開口径(絞り値)情報、撮影レンズ群Lの解像力(MTF)情報を記憶したメモリ19を搭載していて、これらの情報がCPU21に読み込まれる。撮影レンズ群Lは、通常、絞り13を光軸方向に挟んで複数のレンズ群を有する(図1では単レンズとして簡略化して描いている)。
また、撮像素子17は、撮影レンズ11の光軸Zと直交するX軸方向とY軸方向(直交二方向)に移動可能に撮像素子駆動機構(撮像素子駆動部)40に搭載されている。CPU21は、像振れ防止動作(手振れ防止動作、防振動作)時に、図示しない角速度センサによりデジタルカメラ10の振れを検出して、撮像素子17に対して被写体像が相対移動しないように撮像素子振動回路33を介して撮像素子駆動機構40の可動ステージ(撮像素子17)を像振れ防止動作(手振れ防止動作、防振動作)させる。
CPU21は、絞り/シャッタ駆動回路31や撮像素子駆動回路33を駆動制御する駆動制御部21Aと、撮像素子17による撮影画像(例えば複数の画像)に対して後述する「スリット画像撮影モード」での所定の画像合成処理を施す画像合成部21Bとを有している。画像合成部21Bの機能については後に詳細に説明する。
<通常の写真、パノラマ写真、スリット写真の違い>
図2は、通常の写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左右方向に延びる3両編成の電車を被写体として撮影する場合を示している。図2に示すように、通常の写真の場合、被写体である電車を一度に捉えて全体を撮影する。
図2は、通常の写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左右方向に延びる3両編成の電車を被写体として撮影する場合を示している。図2に示すように、通常の写真の場合、被写体である電車を一度に捉えて全体を撮影する。
図3A、図3B、図3Cは、パノラマ写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左右方向に延びる3両編成の電車を被写体として撮影する場合を示している。パノラマ写真を撮影する場合、静止している被写体(電車)に対してカメラ(撮像素子)を動かして順次露光していき、小間切れになった画像を繋ぎ合わせて1つの画像にする。パノラマ写真では、基本的に、動いている被写体(走行中の電車)は撮影できない。パノラマ写真では、カメラをパンして撮影・合成するので、パースペクティブにより周辺部が小さくなってしまう。
図4A、図4B、図4Cは、スリット写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左方向から右方向に向かって走行する3両編成の電車を被写体として撮影する場合を示している。スリット写真を撮影する場合、動体である被写体(電車)に合わせてフィルム又は撮像素子を動かして順次露光していく。すると、動いている被写体(電車)は止まって写り、静止している被写体(建物や風景)は流れて写る。露光は、フィルムの直前に置かれたスリットによって一部の範囲が露光されるようになっている。デジタルカメラの場合、ラインセンサを使ってスリットの代わりに撮影することもある。スリット写真では、スリットの幅又は1次元の撮像素子の幅の画像(線状画像)を連続して撮影してこれらを隙間なく繋ぎ合わせることで、2次元の画像を合成・生成している。スキャナと同じ原理により、1次元の線状画像を2次元のスリット画像に変換している。このとき、動いている被写体と1次元の線状画像を取得するタイミングを合わせることで、動いているものが止まっている画像として取得される。
複数の画像を撮影して繋いで1枚の写真を作る代表例としてパノラマ写真が存在する。パノラマ写真も複数回撮影すること、カメラに対して相対的に位置が変わっているもの(パノラマ写真の場合には動いている被写体ではなく、地上に対して静止している又はそれに近いものを対象にしているが、カメラとの関係であれば位置が変わる)のずれ量を補正して合成していくという点では、スリット写真と共通する。しかし、スリット写真では、動く被写体に対してレンズが正対したまま複数回撮影して合成する点が異なっている(スリット写真ではカメラと被写体が常に正対しているのに対して、パノラマ写真では被写体に対してレンズが正対しない)。
パースペクティブにより、遠くのものは小さく、近くのものは大きく写るため、カメラを動かして撮影するパノラマ写真のような撮影方法の場合は、光軸中心から被写体までの距離が遠くなったり近くなったりすることで合成する結果、図3Cのように周辺に行くほど小さく合成されてしまうことになる。ここから画像処理によって歪みを補正することも可能であるが、もともと小さく撮影されているため解像が低く粗い画像になってしまう。
一方、スリット写真では、被写体(この場合動いている被写体)に対して正対(動いている方向に対して垂直)から常に撮影することで、光軸上で被写体までの距離が一定であることと、通常のレンズの射影方式(y=f・tanθ)であれば同一距離の面上にある被写体が同じサイズに写るため、合成した際にきれいに合成でき且つ歪みを生じにくいというメリットがある。このように、スリット写真は、被写体に正対して真横から同じ倍率で歪みなくかつぶれなく撮影した写真として定義される。
<本実施形態のスリット画像撮影モード>
本実施形態の撮影装置及び撮影方法は、上述したスリット写真のメリットを活かしつつ、特別かつ大掛かりな装置を不要として低コスト化を図った簡易な構成あるいは方法で、撮影装置に対して相対移動する被写体を好適に撮影することができる撮影モードを具備している。本明細書では、この撮影モードを「スリット画像撮影モード」と呼ぶ。撮影者は、表示部材23を見ながら操作部材27を操作することで、数ある撮影モードの中からスリット画像撮影モードを選択・設定することができる。
本実施形態の撮影装置及び撮影方法は、上述したスリット写真のメリットを活かしつつ、特別かつ大掛かりな装置を不要として低コスト化を図った簡易な構成あるいは方法で、撮影装置に対して相対移動する被写体を好適に撮影することができる撮影モードを具備している。本明細書では、この撮影モードを「スリット画像撮影モード」と呼ぶ。撮影者は、表示部材23を見ながら操作部材27を操作することで、数ある撮影モードの中からスリット画像撮影モードを選択・設定することができる。
スリット画像撮影モードでは、2次元の撮像素子17により、デジタルカメラ(撮影装置)10に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る。そして、CPU21の画像合成部21Bにより、デジタルカメラ(撮影装置)10に対して相対移動する被写体が重なるようにずらしながら複数の画像を合成する。つまり、撮像素子(エリアセンサ)17にて連続して撮影された複数の画像を、動いているものを重ね合わせるように合成する。これにより、動いているものを止めて、止まっているものをぼかして合成することで、スリット写真のメリットを活かした合成画像を得ることができる(スリット写真のような効果を得ることができる)。
図5は、本実施形態のスリット画像撮影モードにおける撮影概念の一例を示す図である。図5では、デジタルカメラ(撮影装置)10が固定されており、デジタルカメラ10に対して移動する被写体(図中の左方向から右方向に向かって走行する3両編成の電車)を撮影する場合を例示する。図5に示すように、スリット画像撮影モードでは、2次元の撮像素子17によって2次元の画像としての複数(ここでは5つ)の画像が取得される。これらの複数の画像は、図4Bに示したような従来のスリット画像の元となる線状画像よりも幅を持った(図中の左右方向に広い)ものである。また、複数の画像のうち、隣接する撮影時間間隔の画像は、被写体の重なり合う部分を有し、これらの重なり合う部分を、動いている被写体(走行する電車)が一致するようなずらし量として合成する。重なり合う部分の合成処理に際しては、当該重なり合う部分を単純に合成する方法のほか、当該重なり合う部分の平均をとる方法が考えられる。このようにして、デジタルカメラ(撮影装置)10に対して相対移動する被写体(走行する電車)が重なるようにずらしながら複数の画像を合成すると、動いているもの(電車)が静止して、静止しているもの(建物や風景)をぼかした高品質な画像(スリット画像)が得られる。
スリット画像撮影モードでは、撮影条件として、以下の(1)-(4)の少なくとも1つ又は全部を設定する。(1)-(4)に加えて、明るさ(絞り開度)やシャッタスピードを撮影条件として設定してもよい。
(1)デジタルカメラ(撮影装置)10から被写体までの距離
(2)デジタルカメラ(撮影装置)10と被写体の相対移動速度
(3)撮像素子17による被写体の撮影時間間隔
(4)撮影レンズ群(撮影光学系)Lの焦点距離
(1)デジタルカメラ(撮影装置)10から被写体までの距離
(2)デジタルカメラ(撮影装置)10と被写体の相対移動速度
(3)撮像素子17による被写体の撮影時間間隔
(4)撮影レンズ群(撮影光学系)Lの焦点距離
撮影条件の設定に際しては、撮影者が、表示部材23を見ながら操作部材27を操作してマニュアルで設定してもよいし、所定の撮影条件に基づいてデジタルカメラ10のCPU21の側で自動設定してもよい(撮影後に自動で処理してもよい)。
図6A-図6Dは、本実施形態のスリット画像撮影モードにおける撮影条件の設定の一例を示す図である。図6Aは、被写体までの距離と被写体の速度が分かる場合を例示しており、これらを撮影者がマニュアルで入力している(焦点距離:300mm、被写体までの距離:30m、被写体の速度:80km/h)。図6Bは、被写体までの距離と被写体の速度が分からない場合を例示しており、これらを自動で設定している(焦点距離:300mm、被写体までの距離:自動、被写体の速度:自動)。図6Cでは、被写体までの距離と被写体の速度が分からないのでこれらを自動で設定する一方、撮影時間間隔だけを撮影者がマニュアルで入力している(焦点距離:300mm、被写体までの距離:自動、被写体の速度:自動、撮影間隔:10fps)。図6Dでは、被写体までの距離と撮影時間間隔が分かるので撮影者がマニュアルで入力する一方、被写体の速度が分からないので所定の最大速度が仮入力されている(焦点距離:300mm、被写体までの距離:50m、被写体の速度:Max80km/h、撮影間隔:6fps)。なお、図6Dとは逆に、被写体の速度が分かるが被写体までの距離が分からない場合でも、撮影時間間隔を入力すれば、スリット画像撮影モードの実行が可能である。
図7は、本実施形態のスリット画像撮影モードにおける撮影処理の一例を示すフローチャートである。
ステップST1では、撮影条件を設定する。例えば、図6A-図6Dのように、焦点距離、被写体までの距離、被写体の速度、撮影間隔を設定する。ステップST2では、撮影を開始するか否か(例えばシャッタレリーズボタンが押されたか否か)を判定する。例えばシャッタレリーズボタンが押されない場合は、シャッタレリーズボタンが押されるのを待ち(ステップST2:No)、シャッタレリーズボタンが押された場合は(ステップST2:Yes)、ステップST3に進む。ステップST3では、指定条件で撮影を行う(指定条件の例示・詳細については後述する)。ステップST4では、撮影を終了するか否か(例えばシャッタレリーズボタンが開放されたか否か)を判定する。例えばシャッタレリーズボタンが開放されない場合は、シャッタレリーズボタンが開放されるまで所定の撮影時間間隔での撮影を繰り返し(ステップST4:No、ステップST3)、シャッタレリーズボタンが開放された場合は(ステップST4:Yes)、ステップST5に進む。ステップST3、ステップST4のループを繰り返すことで、撮像素子17により、デジタルカメラ10に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像が得られる。ステップST5では、撮像素子17により得られた複数の画像を指定条件で合成する(指定条件の例示・詳細については後述する)。ステップST6では、ステップST5における合成画像を保存して、処理を終了する。
図8は、本実施形態のスリット画像撮影モードにおける合成処理の一例を示すフローチャートである。
ステップST11では、撮像素子17が所定の撮影時間間隔にて撮影した複数の画像を合成対象として、合成対象である複数の画像のうちの隣接する画像を指定量だけ移動させる。ステップST12では、ステップST11で指定量だけ移動させた隣接する画像の重なっている部分を合成する。ステップST13では、複数の画像の全ての合成が終了したか否かを判定する。複数の画像の全ての合成が終了していない場合には(ステップST13:No)、ステップST11に戻り、複数の画像の全ての合成が終了した場合には(ステップST13:Yes)、処理を終了する。このようにして、CPU21の画像合成部21Bにより、デジタルカメラ10に対して相対移動する被写体が重なるようにずらしながら複数の画像を合成する。つまり、撮像素子17にて連続して撮影された複数の画像を、動いているものを重ね合わせるように合成する。これにより、動いているものを止めて、止まっているものをぼかして合成することで、スリット写真のメリットを活かした合成画像を得ることができる(スリット写真のような効果を得ることができる)。
CPU21の画像合成部21Bは、撮像素子17による複数の画像を合成する際に、撮像素子17の像面における被写体像の移動量と等しくなるように複数の画像をずらしながら合成する。CPU21の画像合成部21Bは、撮像素子17による複数の画像を合成する際に、隣接する撮影時間間隔の画像の静止部分を除いた移動量と等しくなるように複数の画像をずらしながら合成する。撮像素子17による撮影時間隔は、少なくとも隣接する撮影時間間隔の画像に被写体が含まれるように設定される。
撮像素子17による撮影時間隔は、撮像素子17の幅又は高さ/(撮影装置と被写体の相対移動速度×(主面距離/主面距離から被写体までの距離))より短くなるように設定される。「撮像素子17の幅又は高さ」は、「撮像素子17の有効範囲」と読み替えてもよい。さらに、CPU21の画像合成部21Bは、撮影装置と被写体の相対移動速度×(主面距離/主面距離から被写体までの距離)×撮影時間間隔と等しくなるようなずらし量で、撮像素子17による複数の画像を合成する。
図9A-図9Dは、本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第1の図である。図9Aに示すように、撮像素子17の有効範囲は24mm=0.024mとなっている。また、被写体の移動速度は80km/h=22.2m/sとなっている。また、被写体までの距離は50mとなっている。また、主面距離は300mm=0.3mとなっている。また、主面距離から被写体までの距離は、50m-0.3m=49.7mとなっている。
撮像素子17による撮影時間隔を決定する場合、露光間隔t=t2-t1としたとき、t2-t1<撮像素子17の有効範囲/(被写体の移動速度×(主面距離/主面距離から被写体までの距離))を満足することが必要となる。当該条件の右式は、0.024/(22.2×(0.3/49.7))=0.179となるため、撮影時間間隔(露光間隔t=t2-t1)は、0.179秒未満となるように設定することが必要となる。撮影時間間隔(露光間隔t)を0.12秒に設定すれば、像の移動量dは、d=被写体の移動速度×(主面距離/主面距離から被写体までの距離)×撮影時間間隔となり、22.2×(0.3/49.7)×0.12=0.0161m、つまり、16.1mmと算出される。このように算出した像の移動量dに基づいて、時間t1、t2の画像1、2をずらして(位置合わせして)合成を行う。具体的に、画像1、2の重なり合う部分を単純に合成するか、あるいは、画像1、2の重なり合う部分の平均をとることができる。また、画像1、2の重なり合わない部分は、当該部分をそのまま使用することができる。同様の合成を3枚目以降の画像(時間t3の画像3、時間t4の画像4、時間t5の画像5・・・)についても行っていく。
図10A、図10Bは、本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第2の図である。図10Aに示すように、撮影時に被写体の移動速度、被写体までの距離、主面距離から被写体までの距離の全部又は一部が分からない場合が存在する。この場合、t2-t1<撮像素子17の有効範囲/(被写体の移動速度×(主面距離/主面距離から被写体までの距離))に基づいて撮影時間隔を高精度に設定することができない。そこで、被写体の移動速度、被写体までの距離を大まかに予測して、その予測値を考慮しても十分に短い撮影時間間隔を設定することが好ましい。具体的には、撮影時間隔を、少なくとも隣接する撮影時間間隔の画像に被写体の同じ部分が含まれるように設定することができる。このようにすれば、撮像素子17の像面における被写体像の移動量と等しくなるように複数の画像をずらしながら合成することができ、且つ/又は、隣接する撮影時間間隔の画像の静止部分を除いた移動量と等しくなるように複数の画像をずらしながら合成することができる。また、合成時の画像のずらし量が算出できない場合、図10Bに示すように、時間的に互いに隣り合う2枚の画像又はその組み合わせを使って、静止している部分と動いている部分を検出して、移動している被写体部分を推測して、そのずれ量から、合成時の画像のずらし量を算出してもよい。
図11A-図11Eは、本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第3の図である。撮影時に被写体の移動速度、被写体までの距離、主面距離から被写体までの距離の全部又は一部が分からない場合には、撮影時間間隔を十分に短く設定して複数の画像を撮影し、その複数の画像から被写体の移動量を算出する。被写体が移動している場所を選択・特定するため、時間的に隣り合う2枚の画像(図11Aの時間t1で撮影した画像1、図11Bの時間t2で撮影した画像2)について、差分画像(差の絶対値)(図11Cの|t1-t2|における画像)をとる。この差分画像(差の絶対値)をとることで、画像1、2の静止している部分と移動している部分を検出することができる。静止している部分は小さな数値が検出され、移動している部分(被写体の移動・変化がある部分)は大きな数値が検出される。図11Dに示すように、上記の大きな数値が検出された部分に移動を検出するエリアを定め、当該エリアにおける被写体の移動量を算出する。図11Eでは、画像1、2の差分画像、移動検出エリアの一致する部分の移動量dが算出されている。この検出・演算方法としては、例えば、SAD(Sum of Absolute Difference)の他、任意の動体検出技術を適用することができる。また、検出精度を上げるため、時間的に隣り合う画像のみでなく、それ以上離れているものや複数の結果をまとめて使うことも考えられる(例えば、時間t1の画像1と時間t3の画像3を使用してもよいし、時間t1の画像1と時間t2の画像2と時間t3の画像3を使用してもよい)。
図12は、本実施形態のスリット画像撮影モードにおける撮影処理の変形例を示すフローチャートである。
ステップST21では、撮影条件の設定値に不明なものがあることを検出する。例えば、被写体の移動速度、被写体までの距離、主面距離から被写体までの距離の全部又は一部が分からないことを検出する。ステップST22では、撮影を開始するか否か(例えばシャッタレリーズボタンが押されたか否か)を判定する。例えばシャッタレリーズボタンが押されない場合は、シャッタレリーズボタンが押されるのを待ち(ステップST22:No)、シャッタレリーズボタンが押された場合は(ステップST22:Yes)、ステップST23に進む。ステップST23では、最速の条件で撮影を行う。つまり、撮影条件の設定値に不明なものがあっても確実にスリット画像撮影を実行可能な撮影時間間隔を設定して撮影を行う。ステップST24では、撮影を終了するか否か(例えばシャッタレリーズボタンが開放されたか否か)を判定する。例えばシャッタレリーズボタンが開放されない場合は、シャッタレリーズボタンが開放されるまで所定の撮影時間間隔での撮影を繰り返し(ステップST24:No、ステップST23)、シャッタレリーズボタンが開放された場合は(ステップST24:Yes)、ステップST25に進む。ステップST23、ステップST24のループを繰り返すことで、撮像素子17により、デジタルカメラ10に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像が得られる。ステップST25では、複数の画像から移動している被写体の領域を求める(図11C)。ステップST26では、移動量の算出エリアを決定する(図11D)。ステップST27では、算出エリア内の移動量を求める(図11E)。ステップST28では、ステップST27で決定した移動量でずらしながら複数の画像を合成していき、スリット画像撮影が完了する。ステップST29では、ステップST28における合成画像を保存して、処理を終了する。
撮像素子17は、その露光方式をローリングシャッタ方式とすることができる。ローリングシャッタは、固体撮像素子の露光手法の一つで、行または列毎に読出しを行いながら露光する手法であり、画面内の位置により露光のタイミングが異なる。
図13は、ローリングシャッタ方式の撮像素子の走査の一例を示す図である。図13の例では、撮像素子の像面の最も上の行を左端の列から右端の列に向かって走査し、その後、撮像素子の像面の上から2番目の行を左端の列から右端の列に向かって走査し、この走査を撮像素子の像面の最も下の行まで繰り返すことで走査・読出しが終了する。図13では、走査開始時の露光、読出し位置をt=0で表しており、走査開始からn秒後の露光、読出し位置をt=nで表している。
図14A-図14Cは、複数の画像における被写体の移動方向とローリングシャッタの露光走査方向による歪みの違いの一例を説明する図である。図14A-図14Cのいずれにおいても、被写体の移動方向が左方向から右方向となっている(電車が左方向から右方向に走行している)。図14Aにおけるローリングシャッタの露光走査方向は、図13で説明したものと同じである。図14Bにおけるローリングシャッタの露光走査方向は、撮像素子の像面の最も右の列を上端の行から下端の行に向かって走査し、その後、撮像素子の像面の右から2番目の列を上端の行から下端の行に向かって走査し、この走査を撮像素子の像面の最も左の列まで繰り返すことで走査・読出しが終了する。図14Cにおけるローリングシャッタの露光走査方向は、撮像素子の像面の最も左の列を下端の行から上端の行に向かって走査し、その後、撮像素子の像面の左から2番目の列を下端の行から上端の行に向かって走査し、この走査を撮像素子の像面の最も右の列まで繰り返すことで走査・読出しが終了する。
ローリングシャッタ方式では、画面内の位置により露光のタイミングが異なるので、被写体が動いている場合、露光のタイミングのずれによって被写体の形が歪んでしまう(多少の歪みは避けられない)。
但し、図14Aのように、露光走査方向と被写体の移動方向が平行になる場合は、移動している被写体が上下差により斜めに変形してしまうため、被写体の歪みが大きくなってしまう(円が斜めの楕円に変形してしまう)。これに対して、図14B、図14Cのように、露光走査方向と被写体の移動方向が直交している場合は、歪みの方向が被写体の動きの方向に一致して被写体の伸び縮みになるため、被写体の歪みが小さくて済む(円が縦長又は横長の楕円に変形するだけで済む)。また、歪みの補正が一方向への圧縮または伸張により実現できるので、補正も簡単になる。
そこで、本実施形態では、撮像素子の露光方式がローリングシャッタ方式である場合、撮影装置と被写体の相対移動方向がローリングシャッタの走査方向と直交するように、撮像素子が複数の画像を得るとともに、画像合成部が複数の画像を合成する。ローリングシャッタの走査方向は製造時に決まっているため、撮影装置と被写体の相対移動方向がローリングシャッタの走査方向と直交するように、撮影装置の構図(縦構図、横構図)を合わせる必要がある。例えば、撮影装置と被写体の相対移動方向を検知したときに、当該検知方向とローリングシャッタの走査方向が直交する構図(縦構図、横構図)を撮影者に知らせるとともに、当該構図に合わせるように撮影者に促すような機構を撮影装置に設けることができる。この機構は、スリット画像撮影モードのときにのみ動作して、音声や表示によって撮影者に最適な構図を知らせることができる。
このように、本実施形態の撮影装置及び撮影方法では、2次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るとともに、画像合成部により、撮影装置に対して相対移動する被写体が重なるようにずらしながら複数の画像を合成する。これにより、簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる。すなわち、スリット写真のメリットを活かした合成画像を得ることができる(スリット写真のような効果を得ることができる)。
本発明は上記の実施の形態及び変形例に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらに、技術の進歩又は派生する別技術によって、技術的思想を別の仕方で実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。
以上の実施形態では、撮影装置(デジタルカメラ)が固定されており、撮影装置に対して移動する被写体(例えば電車)を撮影する場合を例示して説明した。しかし、撮影装置は、自身に対して相対移動する被写体を撮影するものであればよく、撮影装置の側が電車、車、ケーブルカー等の移動体に設置されており、そこから建物や風景等の固定側の被写体を撮影してもよい。
10 デジタルカメラ(撮影装置)
11 撮影レンズ
L 撮影レンズ群(撮影光学系)
13 絞り
15 シャッタ
17 2次元の撮像素子(エリアセンサ、イメージセンサ)
19 メモリ
20 カメラボディ
21 CPU(Central Processing Unit)
21A 駆動制御部
21B 画像合成部
23 表示部材
25 メモリカード
27 操作部材(撮影モード設定部、撮影条件設定部)
31 絞り/シャッタ駆動回路
33 撮像素子駆動回路(撮像素子駆動部)
35 メモリ
40 撮像素子駆動機構(撮像素子駆動部)
11 撮影レンズ
L 撮影レンズ群(撮影光学系)
13 絞り
15 シャッタ
17 2次元の撮像素子(エリアセンサ、イメージセンサ)
19 メモリ
20 カメラボディ
21 CPU(Central Processing Unit)
21A 駆動制御部
21B 画像合成部
23 表示部材
25 メモリカード
27 操作部材(撮影モード設定部、撮影条件設定部)
31 絞り/シャッタ駆動回路
33 撮像素子駆動回路(撮像素子駆動部)
35 メモリ
40 撮像素子駆動機構(撮像素子駆動部)
Claims (10)
- 撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る2次元の撮像素子と、
前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成する画像合成部と、
を有することを特徴とする撮影装置。 - 前記撮影装置が固定されており、前記撮影装置に対して移動する前記被写体を撮影する、
ことを特徴とする請求項1に記載の撮影装置。 - 前記画像合成部は、前記撮像素子の像面における被写体像の移動量と等しくなるように前記複数の画像をずらしながら合成する、
ことを特徴とする請求項1又は請求項2に記載の撮影装置。 - 前記画像合成部は、隣接する撮影時間間隔の画像の静止部分を除いた移動量と等しくなるように前記複数の画像をずらしながら合成する、
ことを特徴とする請求項1から請求項3のいずれかに記載の撮影装置。 - 前記画像合成部は、前記撮影装置と前記被写体の相対移動速度×(主面距離/主面距離から前記被写体までの距離)×前記撮影時間間隔と等しくなるようなずらし量で前記複数の画像を合成する、
ことを特徴とする請求項1から請求項4のいずれかに記載の撮影装置。 - 前記撮影時間間隔は、少なくとも隣接する撮影時間間隔の画像に前記被写体が含まれるように設定される、
ことを特徴とする請求項1から請求項5のいずれかに記載の撮影装置。 - 前記撮影時間間隔は、前記撮像素子の幅又は高さ/(前記撮影装置と前記被写体の相対移動速度×(主面距離/主面距離から前記被写体までの距離))より短くなるように設定される、
ことを特徴とする請求項1から請求項6のいずれかに記載の撮影装置。 - 前記撮像素子の露光方式がローリングシャッタ方式である場合、前記撮影装置と前記被写体の相対移動方向が前記ローリングシャッタの走査方向と直交するように、前記撮像素子が前記複数の画像を得るとともに、前記画像合成部が前記複数の画像を合成する、
ことを特徴とする請求項1から請求項7のいずれかに記載の撮影装置。 - 前記撮影装置から前記被写体までの距離と、前記撮影装置と前記被写体の相対移動速度と、前記撮影時間間隔と、撮影光学系の焦点距離とを撮影条件として設定する撮影条件設定部をさらに有する、
ことを特徴とする請求項1から請求項8のいずれかに記載の撮影装置。 - 2次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るステップと、
画像合成部により、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成するステップと、
を有することを特徴とする撮影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022035755A JP2023131181A (ja) | 2022-03-09 | 2022-03-09 | 撮影装置及び撮影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022035755A JP2023131181A (ja) | 2022-03-09 | 2022-03-09 | 撮影装置及び撮影方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023131181A true JP2023131181A (ja) | 2023-09-22 |
Family
ID=88064890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022035755A Pending JP2023131181A (ja) | 2022-03-09 | 2022-03-09 | 撮影装置及び撮影方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023131181A (ja) |
-
2022
- 2022-03-09 JP JP2022035755A patent/JP2023131181A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5865941B2 (ja) | 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム | |
JP4522207B2 (ja) | カメラシステム、カメラ本体及び交換レンズ | |
KR100871639B1 (ko) | 카메라 및 카메라의 화상처리방법 | |
JP4401949B2 (ja) | 動画撮像装置及び動画撮像方法 | |
TW201043014A (en) | Image capturing apparatus, image processing method and storage medium | |
JP6752681B2 (ja) | 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体 | |
JP2010034739A (ja) | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット | |
JP4533252B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP2005079841A (ja) | 撮像装置及び方法 | |
JP2008277896A (ja) | 撮像装置および撮像方法 | |
JP2006246354A (ja) | 撮影装置及び撮影プログラム | |
JP2010136058A (ja) | 電子カメラおよび画像処理プログラム | |
JPH09322055A (ja) | 電子カメラシステム | |
JP4898151B2 (ja) | 撮像装置及び撮像方法 | |
JP4747673B2 (ja) | 電子カメラおよび画像処理プログラム | |
JP6606838B2 (ja) | 撮像装置および撮像方法 | |
JP2007214620A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2023131181A (ja) | 撮影装置及び撮影方法 | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP4471364B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3105515B2 (ja) | 電子カメラ | |
JP3109808B2 (ja) | 電子カメラ装置 | |
JP5962974B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2023131182A (ja) | 撮影装置及び撮影方法 | |
JP2020160773A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |