JP2020034759A - 撮像装置及びその制御方法、並びにプログラム - Google Patents

撮像装置及びその制御方法、並びにプログラム Download PDF

Info

Publication number
JP2020034759A
JP2020034759A JP2018161686A JP2018161686A JP2020034759A JP 2020034759 A JP2020034759 A JP 2020034759A JP 2018161686 A JP2018161686 A JP 2018161686A JP 2018161686 A JP2018161686 A JP 2018161686A JP 2020034759 A JP2020034759 A JP 2020034759A
Authority
JP
Japan
Prior art keywords
angle
shooting
view
imaging
panning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018161686A
Other languages
English (en)
Other versions
JP7309333B2 (ja
JP2020034759A5 (ja
Inventor
勇輔 川合
Yusuke Kawai
勇輔 川合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018161686A priority Critical patent/JP7309333B2/ja
Priority to US16/548,935 priority patent/US11189008B2/en
Publication of JP2020034759A publication Critical patent/JP2020034759A/ja
Publication of JP2020034759A5 publication Critical patent/JP2020034759A5/ja
Application granted granted Critical
Publication of JP7309333B2 publication Critical patent/JP7309333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/073
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/20Linear translation of a whole image or part thereof, e.g. panning
    • G06T5/73
    • G06T5/80
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Abstract

【課題】星空パノラマ撮影において無駄な撮影をなくすことができる撮像装置及びその制御方法、並びにプログラムを提供する。【解決手段】長秒露光による静止画撮影とパンニングを繰り返すことで取得した複数の画像を合成し星空パノラマ画像を生成する撮像装置は、星空パノラマ撮影における開始点502から終了点503までの角度を示すパノラマ撮影画角501を設定した後、パノラマ撮影画角501及び撮影レンズ103の焦点距離に基づき、星空パノラマ撮影における撮影条件を算出し、表示部28の通知表示部601にユーザによる変更可能に表示する。パノラマ撮影画角501と通知表示部601で表示される撮影条件に応じて、幾何変形処理による変更後の合成有効画角を算出し、表示部28に合成有効画角をその高さが示す斜線領域602をスルー画像に重畳して表示する。【選択図】図3

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、星空パノラマ撮影を行う撮像装置及びその制御方法、並びにプログラムに関する。
従来より、静止画撮影と撮像装置のパンニングを交互に繰り返すことで取得した複数の静止画を合成するスティッチパノラマ撮影の静止画撮影時の露光時間を長くし、長秒露光撮影とすることにより星空パノラマ撮影が可能となることが知られている。
一方、星空パノラマ撮影では、上述のように長秒露光撮影を複数回行う必要があり、撮影開始から終了までに非常に時間がかかるため、無駄な撮影をなくし撮影時間を短くすることが求められる。
特許文献1では、スティッチパノラマ撮影での無駄な撮影をなくすべく、撮像した画像枚数の過不足が無いようにユーザの補助を行う方法を開示している。具体的には、ズームにより変更される撮像画角を用いて、撮影者を中心とした任意の角度を複数の画像でそれぞれ重複部分を持ちながら撮影するために必要な枚数を算出する。その後、撮影モードに移行し、撮像した画像枚数とその算出された必要な枚数を比較することにより、ユーザに対して撮影の進行度合いを通知する。
また、スティッチパノラマ撮影では、合成される複数の静止画の画像間の重複領域を狭くするほど無駄な撮影を減らすことができることも知られている。
特開2005−303594号公報
しかしながら、複数の静止画の画像間の重複領域を狭くすると、画像間の位置合わせと合成を精度良く行うための幾何変形処理が必要になり、幾何変形処理により合成に使用可能なパンニング方向と垂直の画角が狭くなるという問題がある。以下、上記画角を合成有効画角という。
特許文献1の方法では、この問題が考慮されていないため、この方法を用いて星空パノラマ撮影を行うと合成有効画角がユーザが所望する画角より狭い場合、星空パノラマ撮影の全てが無駄な撮影となってしまう。
本発明では、以上の課題を鑑み、星空パノラマ撮影において無駄な撮影をなくすことができる撮像装置及びその制御方法、並びにプログラムを提供することを目的とする。
本発明の請求項1に係る撮像装置は、長秒露光による静止画撮影とパンニングを繰り返すことで取得した複数の画像を合成し星空パノラマ画像を生成する撮像装置であって、前記星空パノラマ撮影における開始点から終了点までの角度を示す前記パンニングの方向の第1の画角を設定する設定手段と、前記第1の画角及び撮影レンズの焦点距離に基づき、前記星空パノラマ撮影における撮影条件を算出する算出手段と、前記撮影条件をユーザによる変更可能に表示する第1の表示手段と、前記合成の際に前記複数の画像に対し、前記撮影レンズの焦点距離に応じて前記パンニングの方向と垂直な方向の画角を示す第2の画角を変更する幾何変形処理を行う幾何変形処理手段と、前記設定された第1の画角及び前記第1の表示手段により表示される撮影条件に応じて、前記幾何変形処理手段で変更された後の前記第2の画角を算出する算出手段と、前記変更の前後の前記第2の画角を表示する第2の表示手段とを備えることを特徴とする。
本発明によれば、星空パノラマ撮影において無駄な撮影をなくすことができる。
本発明の実施形態に係る撮像装置としてのデジタルカメラの背面外観を示す図である。 図1のデジタルカメラのハードウェア構成を示すブロック図である。 図2におけるシステム制御部により実行される、本発明の実施形態に係る星空パノラマ撮影モードでの撮影処理の手順を示すフローチャートである。 システム制御部により実行される、図3のステップS301のパノラマ撮影画角設定処理の手順を示すフローチャートである。 図3のステップS301のパノラマ撮影画角設定処理で設定されるパノラマ撮影画角を説明するための図である。 図3のステップS303で算出・表示される撮影条件と図3のステップS305で算出・表示される合成有効画角の表示方法を示す図である。 図3のステップS308,S309で表示されるパンニング量の表示例を示す図である。 図2における検出部の検出結果から算出されるデジタルカメラの本体の角度と位置の座標系を示す図である。
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図1は、本発明の実施形態に係る撮像装置としてのデジタルカメラ100の背面外観を示す図である。
図1において、デジタルカメラ100は、その背面に、表示部28、モード切替スイッチ60、シャッターボタン61、操作部70、コネクタ112、記録媒体スロット201、及び蓋202を備える。
表示部28は、画像や各種情報を表示する表示部である。
モード切替スイッチ60は、各種モードを切り替えるためのスイッチである。詳細は図2を用いて後述する。
シャッターボタン61は、撮影指示を行うためのボタンである。詳細は図2を用いて後述する。
操作部70は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。具体的には、操作部70には、回転操作可能な操作部材であるコントローラホイール73や、電源オン、電源オフを切り替える電源スイッチ72等が含まれる。詳細は図2を用いて後述する。
コネクタ112は、接続ケーブル111とデジタルカメラ100とのコネクタである。
記録媒体スロット201は、その蓋202の開放時に、メモリカードやハードディスク等の記録媒体であり、半導体メモリや磁気ディスク等から構成される記録媒体200を格納する。記録媒体スロット201に格納された記録媒体200は、デジタルカメラ100との通信が可能となる。
図2は、図1のデジタルカメラ100のハードウェア構成を示すブロック図である。
図2において、デジタルカメラ100は、図1の構成の他、シャッター101、撮影レンズ103、撮像部22、A/D変換器23、バリア102、画像処理部24、メモリ制御部15、システム制御部50、メモリ32、及びD/A変換器13を備える。デジタルカメラ100は、さらに不揮発性メモリ56、システムメモリ52、システムタイマー53、電源制御部31、電源部30、記録媒体I/F18、及び検出部80を備える。
シャッター101は、フォーカルプレーンシャッタである。これにより撮影時の露光時間を制御することができる。
撮影レンズ103は、ズームレンズ、フォーカスレンズを含むレンズ群である。
撮像部22は、光学像を電気信号に変換(撮像)して画像データを出力するCCDやCMOS素子等で構成される撮像素子である。
A/D変換器23は、撮像部22から出力される画像データを、アナログデータからデジタルデータに変換する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。
バリア102は、デジタルカメラ100の、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、シャッター101、撮像部22を含む撮像系を覆うことにより撮像系の汚れや破損を防止する。
画像処理部24は、A/D変換器23やメモリ制御部15からの画像データに対し所定の画素補間、顔検出、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像部22で撮像された画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理が行われる。画像処理部24では更に、撮像部22で撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。また、画像処理部24では、静止画撮影とパンニングを繰り返すことで取得した複数の画像を合成して、広角な合成画像(パノラマ画像)を生成するスティッチパノラマ撮影を行う。このスティッチパノラマ撮影処理の際、本実施形態では図3で後述するように、画像処理部24は、取得した複数の画像に対し、上記合成の際に撮影レンズ103の焦点距離に応じて前記パンニングの方向と垂直な方向の画角を変更する幾何変形処理を行う。
メモリ32は、撮像部22から出力され、A/D変換器23によりデジタルデータに変換された画像データを格納すると共に、表示部28に表示する画像表示用のデータを格納する。すなわちメモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログデータに変換して表示部28に供給する。こうして、メモリ32に書き込まれた画像表示用のデータはD/A変換器13を介して表示部28により表示される。
表示部28は、LCD等の表示器を備え、D/A変換器13から供給されるアナログデータに応じた表示を行う。A/D変換器23でA/D変換されメモリ32に格納された撮像部22からの画像データは、D/A変換器13がD/A変換して表示部28に逐次転送する。これにより、表示部28は電子ビューファインダとして機能し、スルー画像表示を行える。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、図3、図4で後述する各種フローチャートを実行するためのプログラムを含む。
システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、図3、図4で後述する各処理を実現する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。
システムメモリ52は、RAMにより構成され、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、シャッターボタン61、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードには、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、星空パノラマ撮影モードを含むパノラマ撮影モード、カスタムモード等が含まれる。モード切替スイッチ60で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、ユーザにより半押しされたたときに撮影準備指示があったことを示すSW1信号を発生させ、システム制御部50に送信する。システム制御部50は、SW1信号を受信したときに、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の動作を開始する。また、シャッターボタン61は、全押しされたときに撮影指示があったことを示すSW2信号を発生する。システム制御部50は、SW2信号を受信したときに、撮像部22からの画像データの出力から記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。SW2信号を検知して撮影開始する際、設定に応じてシャッター101を動作させるか否かを切り替えても良い。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
コントローラホイール73は、操作部70に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール73を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部50はデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラホイール73が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール73は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール73自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材で、コントローラホイール73自体は回転せず、コントローラホイール73上でのユーザの指の回転動作などを検出する、いわゆる、タッチホイールであってもよい。
電源制御部31は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電源部30の装着の有無、種類、電池残量等の検出を行う。また、電源制御部31は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、記録媒体200とのインターフェースである。
検出部80は、ジャイロセンサや加速度センサ等のセンサから構成される。システム制御部50は、検出部80の検出結果からデジタルカメラ100の本体の角度と移動量を算出する。例えば、検出部80の検出結果が角速度の場合、システム制御部50は、検出結果を時間で積分することで角度を算出し、さらに算出された角度を時間で積分して位置を算出する。検出部80を構成するセンサの出力が安定せず、検出結果の角速度にオフセットが加算された状態で出力されることがあるため、高域通過フィルタを適応し、オフセットを除去した値を検出部80の検出結果として使用する。
図8は、図2における検出部80の検出結果から算出されるデジタルカメラ100の本体の角度と位置の座標系を示す図である。
システム制御部50は、図2における検出部80の検出結果からデジタルカメラ100の本体の角度(α、β、γ)と位置(X、Y、Z)をそれぞれ3軸で算出する。また、システム制御部50はその角度と位置を、基準値からの相対値として算出する。例えば、システム制御部50は電源スイッチ72により電源オンとなった後の最初の撮影に同期した検出部80の検出結果を基準値として、角度(0°、0°、0°)と位置(0、0、0)とする。基準値を算出した後は、システム制御部50は、基準値からの相対値としてデジタルカメラ100の角度と位置を算出する。
以上図2においてはデジタルカメラ100に撮影レンズ103、検出部80が一体化された装置となっているが、これらがデジタルカメラ100の本体に対して着脱・交換可能な構成としてもよい。
次に本実施形態に係る星空パノラマ撮影モードの概要を説明する。
星空パノラマ撮影モードとは、通常のスティッチパノラマ撮影よりも静止画撮影時の露光時間を長くした長秒露光撮影とパンニングを繰り返し、取得した複数の静止画を合成する星空パノラマ撮影を行うモードである。また、このモードはモード切替スイッチ60によりユーザが切り替え可能なモードである。このように、星空パノラマ撮影モードでは長秒露光撮影を行うため、図1及び図2において不図示の三脚にデジタルカメラ100を設定した状態で実行される。
図3は、システム制御部50により実行される、本発明の実施形態に係る星空パノラマ撮影モードでの撮影処理の手順を示すフローチャートである。モード切替スイッチ60で、星空パノラマ撮影モードが選択された場合に図3の処理が実行される。
システム制御部50は、パノラマ撮影画角設定処理を行う(ステップS301)。パノラマ撮影画角設定処理とは、図5で例示される、パノラマ撮影における開始点502から終了点503までの角度を示すパノラマ撮影画角501を設定する処理である。この処理は、ユーザがパノラマ撮影画角501自体を選択することにより設定してもよいし、開始点502と終了点503をユーザが選択することで設定してもよい。後者の場合の詳細を図4を用いて後述する。
図4は、システム制御部50により実行される図3のステップS301のパノラマ撮影画角設定処理の手順を示すフローチャートである。前述の通り、本処理では、パノラマ撮影画角501は、ユーザが開始点502と終了点503を選択することにより設定される。
まず、システム制御部50は、パノラマ撮影における開始点502を決めるためのプリ撮影を行うかどうかを判定する(ステップS401)。開始点502を決めるためのプリ撮影を行うと判定された場合はステップS402の処理に移り、プリ撮影を行わないと判定された場合はステップS404の処理に移る。
ステップS402では、撮影開始画角の画像をプリ撮影により取得する。このプリ撮影で取得した画像は、図3のステップS317で合成される1枚目の画像として使用してもよい。この場合、後述する図3のステップS311で実行される1枚目の画像の取得のための撮影は省略される。
続いて、ステップS403ではステップS402でプリ撮影された画像がユーザの所望する画角の画像であるか否かを判定する。この判定の具体的な方法は特に限定されない。例えば、ユーザが操作部70に対して所定の操作をしたか否かを検出することにより行ってもよい。また、ステップS402での画像の取得時から所定時間が経過するまでの間にデジタルカメラ100が動かされたか否かを検出することにより行ってもよい。
ステップS403の判定の結果、ユーザの所望する画角の画像であると判定した場合はステップS404の処理に移り、そうでない場合にはステップS402に戻る。
ステップS404ではステップS402でプリ撮影された画像の左端をパノラマ撮影における開始点502として設定し記憶する。尚、ステップS401でプリ撮影を行わないと判定されて直接ステップS404の処理に移った場合、操作部70を用いたユーザの指示に従ってシステム制御部50がパノラマ撮影における開始点502を設定し記憶する。
続いて、システム制御部50は、デジタルカメラ100の移動量の取得を開始する(ステップS405)。
続いて、パノラマ撮影における終了点503を決めるためのプリ撮影を行うかどうかを判定する(ステップS406)。終了点503を決めるためのプリ撮影を行うと判定された場合はステップS407の処理に移り、プリ撮影を行わないと判定された場合はステップS409の処理に移る。
ステップS407では撮影終了画角の画像をプリ撮影により取得する。このプリ撮影で取得した画像は、図3のステップS317で合成される最後の画像として使用してもよい。この場合、後述する図3のステップS311で実行される最終枚の画像の取得のための撮影は省略される。
続いて、ステップS408ではステップS407でプリ撮影された画像がユーザが所望する画角の画像であるか否かを判定する。この判定はステップS403における判定と同様の方法により行われる。
ステップS408の判定の結果、ユーザの所望する画角の画像であると判定した場合はステップS409の処理に移り、そうでない場合にはステップS405に戻る。
ステップS409ではステップS407でプリ撮影された画像の右端をパノラマ撮影における終了点503として設定し記憶する。また、ステップS405〜S409で取得したデジタルカメラ100の移動量をパノラマ撮影画角501として決定する。その後、本処理を終了する。尚、ステップS406でプリ撮影を行わないと判定されて直接ステップS409の処理に移った場合、操作部70を用いたユーザの指示に従ってシステム制御部50がパノラマ撮影における終了点503を設定し記憶する。
図3に戻り、図4,5を用いて説明したステップS301のパノラマ撮影画角設定処理が終了すると、ステップS302の処理に移る。
ステップS302では、システム制御部50が一枚の撮影で得られる画角を撮影レンズ103の焦点距離から計算する。
撮像部22の幅をw[mm]、撮影レンズ103の焦点距離をf[mm]とすると、画角θ[°]は以下の式1で表される。
ステップS303では、ステップS301で設定されたパノラマ撮影画角を満たすための最低撮影枚数と最短撮影時間を算出し、図6に例示するように表示部28の通知表示部601に表示する。尚、最低撮影枚数とは、撮影される隣接する画像間の重複領域を限りなく狭くした場合の撮影枚数であり、ステップS301で設定されたパノラマ撮影画角501をステップS302で計算された画角で除算することで得られる。また最短撮影時間は、星空パノラマ撮影モードにおける1枚の画像を撮影する際の露光時間と最低撮影枚数を乗算することで得られる。尚、本撮影とは別に黒引き撮影を行う場合、表示部28に表示する最短撮影時間に黒引き撮影の時間を含めてもよい。また、ステップS303では、最低撮影枚数と最短撮影時間が算出され、その両方が表示部28に表示されたが、その表示位置・表示方法は図6に例示される方法でなくてもよい。例えば、通知表示部601に最低撮影枚数と最短撮影時間の一方のみを表示するようにしてもよい。
続いて、ステップS304ではシステム制御部50はユーザにより通知表示部601に表示される撮影枚数及びまたは撮影時間(撮影条件)が選択されたか否かを判定する。具体的には、システム制御部50はステップS303で通知表示部601が表示されてから所定時間が経過するまでの間、ユーザによる通知表示部601のタッチを検出しなかった場合、かかる選択がされたと判定する。尚、本実施形態では、表示部28の通知表示部601の撮影枚数及びまたは撮影時間は、ユーザのタッチにより変更可能に表示されている。また、この変更があった場合、システム制御部50は変更後の撮影枚数及びまたは撮影時間がユーザにより選択されたと判定する。
続いて、ステップS305ではシステム制御部50が通知表示部601に表示される撮影枚数及びまたは撮影時間に応じて、表示部28に合成有効画角をその高さが示す斜線領域602をスルー画像に重畳して表示する。合成有効画角は、パノラマ合成時に使用可能なパンニング方向と垂直の画角のことであり、パノラマ合成における位置合わせと合成の精度向上のため、撮影レンズ103の焦点距離に応じた幾何変形処理で画像が変形されることにより変更される。すなわち、ステップS305ではかかる変更前後のパンニング方向と垂直の画角がユーザによる視認可能に表示部28に表示される。
式2に示すように合成有効画角を表す高さh’[pix]は算出される。ここで、φ[°]は、ステップS301で設定されたパノラマ撮影画角501をステップS304で選択された撮影枚数で除算した時の1枚撮影当たりの角度(画角)である。また、h[pix]は撮像される高さ方向の画素数である。
表示部28の高さ方向の画素数を式2のhに当てはめれば表示部28における斜線領域602の高さが求まる。
続いて、ステップS306ではシステム制御部50が撮影開始指示の取得を行う。ユーザは、ステップS305で表示された合成有効画角を示す斜線領域602が所望するものであることを確認できた場合、操作部70の操作により撮影開始指示を行う。
続いて、ステップS307ではシステム制御部50はステップS306で撮影開始指示があったかどうかの判定を行う。撮影開始指示があったと判定された場合はステップS308の処理に移る。撮影開始指示がないと判定された場合はステップS304の処理に戻る。
続いて、ステップS308では次の撮影に移るまでに必要なパンニング量を算出し、図7に示すようにバー701として表示する。ここで、必要なパンニング量とは、パノラマ撮影において、デジタルカメラ100の本体の位置がステップS308における位置から後述するステップS311において実行される次の静止画撮影時の位置までパンニングがされた際の移動量を示す。尚、ステップS307からステップS308に処理に移った時点でのデジタルカメラ100の撮影範囲が撮影開始画角である、すなわち1枚目の撮影の位置である場合はステップS308で算出される必要なパンニング量は0と算出される。この場合、図7に示すようなバー701は表示されない。
続いて、ステップS309では、検出部80がデジタルカメラ100の本体の移動量を取得し、図7に示す矢印702として表示する。ここで取得される移動量とは、デジタルカメラ100の本体の位置がステップS308における位置から現在の位置までの移動量を指す。これによりユーザはステップS308で表示された必要なパンニング量を示すバー701とステップS309で表示された移動量を示す矢印702を確認しながら次の撮影時の位置まで本体をパンニングさせることができる。
続いて、ステップS310ではステップS308で算出した必要パンニング量からステップS309で取得した移動量を引いた残りの必要パンニング量を算出し、これが0になったかどうかを判定する。ここで、図7のバー701の右端に矢印702の先端が到達したときが残りのパンニング量が0になった時である。残りの必要パンニング量が0になったと判定された場合はステップS311の処理に移る。残りの必要パンニング量が0でないと判定された場合はステップS309に戻り移動量の取得と表示を続ける。尚、残りの必要パンニング量が0になったと判定された後も誤って引き続きユーザがパンニングを行った場合、「逆方向にパンニングしてください」という通知を図7の画面に表示するようにしてもよい。
尚、ステップS308〜S310では、必要なパンニング量の算出及びデジタルカメラ100の本体の移動量の取得が行われ、これらを示すバー701及び矢印702が表示部28に表示される。しかしながら、その表示位置・表示方法は図7に例示される方法でなくてもよい。すなわち、次の撮影に移るまでに必要なパンニング量までデジタルカメラ100の本体をパンニングができたか否かを、ユーザが表示部28の表示により確認できればよい。例えば、ステップS308で算出された必要なパンニング量に対するステップS310で算出された残りの必要パンニング量の割合をパーセンテージ表示で表示するようにしてもよい。
続いて、ステップS311では、「撮影可能です。パンニングを停止し撮影ボタンを押してください」という通知を図7の画面を表示する。この通知の後、ユーザがシャッターボタン61を全押しした場合、撮影指示があったと判定し(ステップS312でYES)、ステップS313に進む。
続いて、ステップS313では、撮影を開始する。この撮影は、長秒露光撮影であるため、「現在撮影中です。」という通知を図7の画面に表示する。これによりこの撮影中ユーザが誤ってデジタルカメラ100を動かしてしまうことを防ぐことができる。
続いて、ステップS313で開始した撮影が終了したと判定した場合(ステップS314でYES)、ステップS315に進む。
続いて、ステップS315ではシステム制御部50がステップS313で開始した撮影終了に伴い、残りの撮影枚数及びまたは撮影時間を更新する。この際、通知表示部601の表示も更新される。
続いて、ステップS316ではシステム制御部50が直前に終了した撮影が2枚目以降の撮影かどうかの判定を行う。2枚目以降の撮影と判定された場合は、ステップS317の処理に移る。2枚目以降の撮影でない、つまり1枚目の撮影であると判定された場合は次の撮影を開始すべくステップS308の処理に移る。
続いて、ステップS317ではシステム制御部50が2枚の画像の合成を行う。1度目の合成処理では1枚目及び2枚目の撮影により取得した画像を合成する。2度目以降の合成処理では、前回のステップS317における合成処理で合成された合成画像と直前に撮影された画像を合成する。
続いて、ステップS318ではシステム制御部50が必要撮影枚数に到達したかの判定を行う。必要撮影枚数に到達したと判定された場合は本処理を終了する。必要撮影枚数に到達していないと判定された場合は次の撮影を開始すべくステップS308の処理に戻る。
本実施形態では、ユーザにより選択された撮影枚数及びまたは撮影時間に応じて、合成有効画角をその高さで示す斜線領域602をステップS305において表示する。しかし、ユーザが合成有効画角自体を変更できるようにしてもよい。この場合はユーザにより変更された合成有効画角に応じた撮影枚数及びまたは撮影時間を算出すると共に、その算出後の撮影枚数及びまたは撮影時間を表示部28の通知表示部601に表示する。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
22 撮像部
24 画像処理部
28 表示部
50 システム制御部
53 システムタイマー
60 モード切替スイッチ
61 シャッターボタン
70 操作部
80 検出部
100 デジタルカメラ
101 シャッター

Claims (9)

  1. 長秒露光による静止画撮影とパンニングを繰り返すことで取得した複数の画像を合成する星空パノラマ撮影を行う撮像装置であって、
    前記星空パノラマ撮影における開始点から終了点までの角度を示す前記パンニングの方向の第1の画角を設定する設定手段と、
    前記第1の画角及び撮影レンズの焦点距離に基づき、前記星空パノラマ撮影における撮影条件を算出する算出手段と、
    前記撮影条件をユーザによる変更可能に表示する第1の表示手段と、
    前記合成の際に前記複数の画像に対し、前記撮影レンズの焦点距離に応じて前記パンニングの方向と垂直な方向の画角を示す第2の画角を変更する幾何変形処理を行う幾何変形処理手段と、
    前記設定された第1の画角及び前記第1の表示手段により表示される撮影条件に応じて、前記幾何変形処理手段で変更された後の前記第2の画角を算出する算出手段と、
    前記変更の前後の前記第2の画角を表示する第2の表示手段とを備えることを特徴とする撮像装置。
  2. 前記設定手段は、ユーザにより設定された画角を前記第1の画角として設定することを特徴とする請求項1記載の撮像装置。
  3. 前記第1の画角は、ユーザにより設定された前記開始点と前記終了点に基づき、前記第1の画角を設定することを特徴とする請求項1記載の撮像装置。
  4. 前記開始点は、プリ撮影された画像に基づきユーザにより設定されることを特徴とする請求項3記載の撮像装置。
  5. 前記終了点は、プリ撮影された画像に基づきユーザにより設定されることを特徴とする請求項3又は4記載の撮像装置。
  6. 前記撮影条件は、前記複数の画像の枚数及び前記星空パノラマ撮影の撮影時間の少なくとも1つであることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記星空パノラマ撮影において、前記複数の画像の1つを取得するため実行される第1の前記静止画撮影の際の位置から次に実行される第2の前記静止画撮影の際の位置までパンニングするために必要な本体の移動量を示す必要パンニング量を算出する算出手段と、
    前記必要パンニング量が算出された後にユーザにより開始されたパンニングによる前記本体の移動量を取得する取得手段と、
    前記取得手段により取得された前記本体の移動量が前記算出手段により算出された前記必要パンニング量に達したときに、第2の前記静止画撮影が可能である旨を通知する通知手段と、
    前記通知手段による通知の後、ユーザにより撮影指示があったとき、第2の前記静止画撮影を実行する制御手段とを備えることを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 長秒露光による静止画撮影とパンニングを繰り返すことで取得した複数の画像を合成する星空パノラマ撮影を行う撮像装置の制御方法であって、
    前記星空パノラマ撮影における開始点から終了点までの角度を示す前記パンニングの方向の第1の画角を設定する設定ステップと、
    前記第1の画角及び撮影レンズの焦点距離に基づき、前記星空パノラマ撮影における撮影条件を算出する算出ステップと、
    前記撮影条件をユーザによる変更可能に表示する第1の表示ステップと、
    前記合成の際に前記複数の画像に対し、前記撮影レンズの焦点距離に応じて前記パンニングの方向と垂直な方向の画角を示す第2の画角を変更する幾何変形処理を行う幾何変形処理ステップと、
    前記設定された第1の画角及び前記第1の表示ステップにおいて表示される撮影条件に応じて、前記幾何変形処理ステップにおいて変更された後の前記第2の画角を算出する算出ステップと、
    前記変更の前後の前記第2の画角を表示する第2の表示ステップとを有することを特徴とする制御方法。
  9. 請求項8の制御方法を実行することを特徴とするプログラム。
JP2018161686A 2018-08-30 2018-08-30 撮像装置及びその制御方法、プログラム、並びに記録媒体 Active JP7309333B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018161686A JP7309333B2 (ja) 2018-08-30 2018-08-30 撮像装置及びその制御方法、プログラム、並びに記録媒体
US16/548,935 US11189008B2 (en) 2018-08-30 2019-08-23 Image capture apparatus for panoramic photography, method of controlling same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018161686A JP7309333B2 (ja) 2018-08-30 2018-08-30 撮像装置及びその制御方法、プログラム、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2020034759A true JP2020034759A (ja) 2020-03-05
JP2020034759A5 JP2020034759A5 (ja) 2021-09-30
JP7309333B2 JP7309333B2 (ja) 2023-07-18

Family

ID=69639407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161686A Active JP7309333B2 (ja) 2018-08-30 2018-08-30 撮像装置及びその制御方法、プログラム、並びに記録媒体

Country Status (2)

Country Link
US (1) US11189008B2 (ja)
JP (1) JP7309333B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7309333B2 (ja) * 2018-08-30 2023-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06313919A (ja) * 1993-04-30 1994-11-08 Olympus Optical Co Ltd 撮影装置のデータ入力装置
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
JP2004050426A (ja) * 2002-07-16 2004-02-19 Canon Inc 印字処理装置
WO2004036498A1 (ja) * 2002-10-15 2004-04-29 Seiko Epson Corporation 複数の画像データのパノラマ合成処理
JP2005303594A (ja) * 2004-04-09 2005-10-27 Canon Inc 撮像装置
JP2013080996A (ja) * 2011-09-30 2013-05-02 Fujifilm Corp 撮像装置及びその制御方法
JP2013162188A (ja) * 2012-02-02 2013-08-19 Canon Inc パノラマ撮影機能付きカメラ
JP2016039597A (ja) * 2014-08-11 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20180227487A1 (en) * 2017-02-06 2018-08-09 Samsung Electronics Co., Ltd. Electronic device for creating panoramic image or motion picture and method for the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2681521B2 (ja) * 1989-10-16 1997-11-26 コニカ株式会社 カメラ
US5255030A (en) * 1990-08-31 1993-10-19 Minolta Camera Kabushiki Kaisha Camera
US5315331A (en) * 1990-11-09 1994-05-24 Nikon Corporation Optical apparatus capable of performing a panoramic photographing
US5353077A (en) * 1991-04-15 1994-10-04 Fuji Photo Optical Co., Ltd. Photographic camera having also function of panoramic photographing
JP3100800B2 (ja) * 1993-06-28 2000-10-23 富士写真フイルム株式会社 カメラ
EP0955561B1 (en) * 1997-10-27 2004-06-23 Noritsu Koki Co., Ltd. Photograph processing apparatus
JP2000125190A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラシステム及び記録媒体
US7221395B2 (en) * 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
JP4654015B2 (ja) * 2004-12-08 2011-03-16 京セラ株式会社 カメラ装置
JP5338174B2 (ja) * 2008-07-28 2013-11-13 富士通株式会社 パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット
WO2017054185A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种展示全景视觉内容的方法、装置及终端
JP7309333B2 (ja) * 2018-08-30 2023-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体
US11412136B2 (en) * 2018-12-07 2022-08-09 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06313919A (ja) * 1993-04-30 1994-11-08 Olympus Optical Co Ltd 撮影装置のデータ入力装置
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置
JP2004050426A (ja) * 2002-07-16 2004-02-19 Canon Inc 印字処理装置
WO2004036498A1 (ja) * 2002-10-15 2004-04-29 Seiko Epson Corporation 複数の画像データのパノラマ合成処理
JP2005303594A (ja) * 2004-04-09 2005-10-27 Canon Inc 撮像装置
JP2013080996A (ja) * 2011-09-30 2013-05-02 Fujifilm Corp 撮像装置及びその制御方法
JP2013162188A (ja) * 2012-02-02 2013-08-19 Canon Inc パノラマ撮影機能付きカメラ
JP2016039597A (ja) * 2014-08-11 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20180227487A1 (en) * 2017-02-06 2018-08-09 Samsung Electronics Co., Ltd. Electronic device for creating panoramic image or motion picture and method for the same

Also Published As

Publication number Publication date
JP7309333B2 (ja) 2023-07-18
US11189008B2 (en) 2021-11-30
US20200074586A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
JP6168720B2 (ja) 撮影システム
JP2019219583A (ja) 電子機器およびその制御方法
JP2009232276A (ja) 撮像装置
JP5451259B2 (ja) 撮像装置、その制御方法及びプログラム
US20120026284A1 (en) Imaging apparatus and control method therefor
JP6312460B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
CN110012213B (zh) 摄像控制设备、摄像控制方法和记录介质
JP7309333B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記録媒体
JP6300569B2 (ja) 撮像装置及びその制御方法
CN107800956B (zh) 摄像设备、控制方法和存储介质
JP6410778B2 (ja) 撮像装置及びその制御方法
JP6768449B2 (ja) 撮像制御装置、撮像装置の制御方法及びプログラム
JP2016122939A (ja) 撮像装置
JP6376753B2 (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP7051586B2 (ja) 撮像装置、撮像方法およびプログラム
JP2017011657A (ja) 撮像装置
JP2019219584A (ja) 電子機器およびその制御方法
JP6456093B2 (ja) 撮像装置、および、撮像装置の制御方法
JP2014090322A (ja) 撮像装置及びその制御方法。
JP2017055268A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6410884B2 (ja) 操作設定装置、操作設定方法、およびプログラム
JP2014165517A (ja) 撮像装置及びその制御方法
JP6632441B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230705

R151 Written notification of patent or utility model registration

Ref document number: 7309333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151