JP2011193286A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2011193286A
JP2011193286A JP2010058392A JP2010058392A JP2011193286A JP 2011193286 A JP2011193286 A JP 2011193286A JP 2010058392 A JP2010058392 A JP 2010058392A JP 2010058392 A JP2010058392 A JP 2010058392A JP 2011193286 A JP2011193286 A JP 2011193286A
Authority
JP
Japan
Prior art keywords
imaging
information
movement amount
image data
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010058392A
Other languages
English (en)
Other versions
JP5364625B2 (ja
Inventor
Koya Kato
Satoyuki Kawai
康哉 加藤
智行 河合
Original Assignee
Fujifilm Corp
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp, 富士フイルム株式会社 filed Critical Fujifilm Corp
Priority to JP2010058392A priority Critical patent/JP5364625B2/ja
Publication of JP2011193286A publication Critical patent/JP2011193286A/ja
Application granted granted Critical
Publication of JP5364625B2 publication Critical patent/JP5364625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】パノラマ撮影に最適な装置の移動速度をガイドする。
【解決手段】連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる画像データを合成してパノラマ画像データを生成し記録するモードを有し、当該モード時に、固体撮像素子5で順次撮像して得られる画像データに基づく動画像を表示部23に表示させる表示制御部22と、複数フレームのうちの任意のフレームとその次のフレームとの間の画角の移動量である移動量V1を算出し、任意のフレームと次のフレームとの間の画角の移動量であって複数の画像データの合成に最適な移動量である移動量V2と移動量V1とのずれ量である移動量V3を算出する移動量算出部18とを備え、表示制御部23は、移動量V3を視覚的に認識させるための情報(矩形の枠21と、矩形の枠21に対して移動量V3に応じた位置に表示されるキャラクタ22)を表示部23に表示させる。
【選択図】図9

Description

本発明は、撮像装置に関する。
連続して撮像した複数の画像データを貼り合わせてパノラマ画像データを生成するパノラマ撮影機能を有するカメラが存在する。このようなカメラにおいて、ユーザがどの画角で撮影すればよいかを示すガイド情報を表示する技術が特許文献1〜3に開示されている。
これらの技術は、いずれも、ユーザがカメラを所定位置に移動させる毎にシャッタを押して静止画撮像を行うような使い方を前提にしたものである。しかし、パノラマ撮影の手法としては、ユーザがカメラを移動させている間に、カメラ側が所定タイミング毎に撮像を実施し、その撮像によって得られる画像データからパノラマ画像データを生成するものも存在する。
このように、カメラの移動中に自動的に撮像を実施する場合においては、特許文献1〜3に開示された技術のように、次にどの位置にカメラを移動させるべきかといったガイド情報はあまり必要ではない。むしろ、カメラを一定速度で移動させるようにガイドすることが重要となる。
パノラマ撮影時にカメラの移動速度が適正になるようガイドする技術は、特許文献1〜3には当然ながら記載されておらず、このような技術は今まで知られていない。
特開2009−60278号公報 特開2006−60826号公報 特開2005−303594号公報
本発明は、上記事情に鑑みてなされたものであり、パノラマ撮影に最適な装置の移動速度をガイドすることが可能な撮像装置を提供することを目的とする。
本発明の撮像装置は、固体撮像素子と表示部とを有する撮像装置であって、連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる複数の画像データを合成してパノラマ画像データを生成し記録するパノラマ撮像モードを有し、前記パノラマ撮像モード時に、前記固体撮像素子で順次撮像して得られる画像データに基づく動画像を前記表示部に表示させる表示制御部と、前記複数フレームのうちの任意のフレームと当該任意のフレームよりも後のフレームとの間の画角の移動量である第一の移動量を算出する第一の移動量算出部と、前記任意のフレームと前記後のフレームとの間の画角の移動量であって前記複数の画像データの合成に最適な移動量である第二の移動量と前記第一の移動量とのずれ量である第三の移動量を算出する第三の移動量算出部とを備え、前記表示制御部は、前記第三の移動量を視覚的に認識させるための情報を、前記動画像と共に前記表示部に表示させるものである。
本発明によれば、パノラマ撮影に最適な装置の移動速度をガイドすることが可能な撮像装置を提供することができる。
本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モードの概略を説明するための図 本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モード時のパノラマ画像データの生成方法を示す図 本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モード時のパノラマ画像データの生成方法を示す図 本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図 図1に示した画像データG1,G4,G7から生成したパノラマ画像データP’を示した図 図1に示した画像データG1,G4,G7から生成したパノラマ画像データP’を示した図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図 図4に示したデジタルカメラの表示部への情報の表示方法を説明する図
以下、本発明の撮像装置の実施形態としてのデジタルカメラについて図面を参照して説明する。このデジタルカメラはパノラマ撮像モードを有しており、以下では、まず、このパノラマ撮像モードの概略について説明する。
図1は、本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モードの概略を説明するための図である。
このデジタルカメラは、パノラマ撮像モードに設定され、パノラマ撮像の開始指示(例えばシャッタボタンの押下)がなされると、所定のフレームレートで動画撮像を開始する。続いて、このデジタルカメラは、この動画撮像中の所定フレーム(例えば3フレーム)毎に得られる画像データをパノラマ合成に用いる合成用画像データとしてメモリに記憶していく。パノラマ撮像の終了指示(例えばシャッタボタンを元の状態に戻す)がなされると、デジタルカメラは、メモリに記憶した合成用画像データを合成してパノラマ画像データを生成する。
つまり、このパノラマ撮像モードでは、ユーザが撮像開始指示を行ってから撮像終了指示を行うまでの間は、パノラマ画像データの生成に必要な複数フレームの撮像を、デジタルカメラが自動で連続して実施するものとなっている。そして、このデジタルカメラでは、この撮像開始指示を行ってから撮像終了指示を行うまでの間のデジタルカメラの移動速度がパノラマ合成に適しているかどうかを示すガイド情報をユーザに知らせることで、失敗の少ないパノラマ撮像をユーザに行わせることを可能としている。以下では、このガイド情報の生成方法について説明する。
図1は、このデジタルカメラの動画撮像中に得られる画像データの動きを示した図である。図1に示したt1〜t7は、それぞれ動画撮像の1フレームの撮像が実施される時刻を示している。また、図1の時刻t1〜t7のそれぞれの右隣には、各時刻の撮像で得られる画像データG1〜G7を図示している。図1では、デジタルカメラを地面に対して水平に右方向に移動させながら撮像を行った場合の各画像データを図示した。
ここで、合成用画像データを、動画撮像の3フレーム毎に得られる画像データとすると、例えば、画像データG1と画像データG4と画像データG7がメモリに記憶される。
このようにして得られた画像データG1,G4,G7から、デジタルカメラは次のようにしてパノラマ画像データを生成する。
まず、デジタルカメラは、画像データG1と画像データG4の特徴点同士を比較することで、画像データG1に対する画像データG4の移動量(時刻t1時点のデジタルカメラの画角と時刻t4時点のデジタルカメラの画角との間の画角の移動量と同義)A1を算出する。
次に、デジタルカメラは、図2に示すように、画像データG1から、その中央にある水平方向の幅がLのデータG1aをトリミングする。このデータG1aは、その水平方向の中心を通る水平方向に直交する方向の直線(中心線)が、画像データG1の中心線と一致するようにトリミングされた領域である。デジタルカメラは、同様にして、画像データG4からも、その中心線から左右にL/2の距離にあるデータG4aをトリミングする。
画像データG1〜G7の各々の端部はレンズ収差による歪みの影響が大きい。このため、この端部のデータについては、パノラマ合成に使用しないようにすることで、パノラマ画像データの品質を高めることができる。そこで、このデジタルカメラでは、レンズ収差による歪みの影響が大きい領域のデータを使用しないために、予め、各合成用画像データから幅Lのデータをトリミングする作業を行っている。
次に、デジタルカメラは、データG1aの水平方向左側の端部から移動量A1の位置が、データG1aとデータG4aの境界となるように、データG1aにデータG4aを移動量A1だけずらして重ねて、パノラマ画像データPを生成する。ここで、データG1aとデータG4aが重なる部分は、データG4aで上書きする。
なお、データG1aを、その左側端部から移動量A1の範囲でトリミングし、トリミングして得たデータG1aの右側端部と、データG4aの左側端部とを接合することで、パノラマ画像データPを生成してもよい。
次に、デジタルカメラは、画像データG4と画像データG7との間の移動量A2を算出し、画像データG7から、その中心線から左右にL/2の距離にあるデータG7aをトリミングする。
次に、デジタルカメラは、図1に示したパノラマ画像データPのデータG4aにデータG7aを移動量A2だけずらして重ねることでこのパノラマ画像データP’を生成する(図3参照)。
このように、デジタルカメラは、時系列で隣の画像データ同士を、その画像データ間の移動量だけずらしながら重ね合わせ又は接合して合成することで、パノラマ画像データP’を生成する。
パノラマ画像データP’を生成する際には、合成する2つのトリミングデータ同士に重複する領域が必要となる。この領域の水平方向の幅が0であると合成ができなくなり、幅がLであると画角が動いていないことになってパノラマ画像が生成できない。このため、この領域の幅Bは0<B<Lの条件を満たす必要がある。この幅Bは、合成する2つのトリミングデータ間の移動量をV1とすると、L−V1で表すことができる。
また、パノラマ画像データP’を最も良好なものにするには、上記幅Bを、合成する2つのトリミングデータ間で全て同じにする必要がある。このため、0<B<Lの条件とB=L−V1の式とから、合成用画像データ同士の間の移動量V1が0<V1<Lの範囲でかつ一定になっていれば、各合成画像データのトリミングデータ同士の重複幅を等しくすることができ、最も良好なパノラマ画像データを得ることができる。
つまり、複数の合成用画像データを合成してパノラマ画像データを生成する際の、各合成用画像データ間の最適な移動量(V2とする)は、0<V1<Lの条件から、以下の式(1)によって事前に決めておくことができる。
V2=a×L (1)
ただし、0<a<1
なお、ここまでは、パノラマ画像データP’の画角移動方向(画像合成方向)の幅に制限がないものとして説明した。以下では、この幅に制限がある場合の移動量V2の決定方法について説明する。
例えば、図2に示したパノラマ画像データPの幅Wが予め決められている場合は、データG1aとデータG4aの重複幅B1も予め決まってしまう。このため、このような場合には、図1に示した移動量A1が、(W‐B1)/2となっていれば、最も良好なパノラマ画像データPを得ることができる。
また、図3に示したパノラマ画像データP’の幅Wが予め決められている場合は、データG1aとデータG4aの重複幅B1、データG4aとデータG7aの重複幅B2も予め決まってしまう。このため、このような場合には、図1に示した移動量A1,A2が、それぞれ(W‐B2)/3となっていれば、最も良好なパノラマ画像データP’を得ることができる。
つまり、パノラマ画像データの幅Wが予め決まっている場合は、複数の合成用画像データを合成してパノラマ画像データを生成する際の各合成用画像データ間の最適な移動量V2は、以下の式(2)によって事前に決めておくことができる。
V2=(W−B)/N (2)
式(2)において、Nは、パノラマ画像データの生成に用いる合成用画像データの総数を示す。
このように、このデジタルカメラでは、各合成用画像データ間の移動量V1が式(1)又は(2)で事前に決めた移動量V2となるような速度でデジタルカメラを移動させれば、最も良好なパノラマ画像データを得ることができる。そこで、このデジタルカメラでは、ユーザに対し、パノラマ合成に最適な速度でデジタルカメラを移動させるためのガイド情報を表示部に表示するものとしている。
具体的には、デジタルカメラが、合成用画像データの撮像が行われる複数フレームのうち、任意のフレーム(第一フレームとする)で得られた合成用画像データと、第一フレームの次の第二フレームで得られた合成用画像データとの間の移動量V1を求める。続いて、デジタルカメラは、この移動量V1と移動量V2とのずれ量である移動量V3を算出する。この移動量V3は、第一フレームと第二のフレーム間のデジタルカメラの移動速度が、パノラマ合成に最適な移動速度からどれだけずれているかを示す情報となる。
例えば、V3=V2−V1とすると、V3=0のときは、デジタルカメラがパノラマ合成に最適なスピードで移動していることを意味する。また、V3>0のときは、デジタルカメラがパノラマ合成に最適なスピードよりも遅いスピードで移動していることを意味する。また、V3<0のときは、デジタルカメラがパノラマ合成に最適なスピードよりも速いスピードで移動していることを意味する。
したがって、このデジタルカメラでは、この移動量V3を視覚的に認識させる情報を表示部に表示させることで、ユーザに対し、デジタルカメラの移動速度の最適速度からのずれを知らせるようにしている。この結果、最適な速度でデジタルカメラを移動させるようユーザに促すことができ、パノラマ撮像の失敗する確率を減らす効果が期待できる。
なお、V3がV2以上のときは画角移動がないことになってパノラマ画像が作れず、V3が−L以下のときは、合成用画像データ間に重複領域がなくなってパノラマ合成ができなくなる。このため、移動量V3にはパノラマ合成を行うのに許容される範囲が存在し、−L<V3<V2の条件を満たしていれば、パノラマ画像データの生成が可能となる。
また、ここまでは、合成用画像データを、動画撮像の3フレーム毎に得られる画像データとしたが、勿論、動画撮像の各フレーム毎に得られる画像データとしてもよい。このようにすることで、合成精度を向上させることができる。
以下、このような機能を実現するデジタルカメラの具体的な構成について説明する。
図4は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、カメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
図示するデジタルカメラの撮像系は、撮影レンズ1と、CCD型イメージセンサ等の固体撮像素子5と、この両者の間に設けられた絞り2と、赤外線カットフィルタ3と、光学ローパスフィルタ4とを備える。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、フラッシュ発光部12及び受光部13を制御し、レンズ駆動部8を制御して撮影レンズ1の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部9を介し絞り2の開口量を制御して露光量調整を行う。
また、システム制御部11は、撮像素子駆動部10を介して固体撮像素子5を駆動し、撮影レンズ1を通して撮像した被写体像を撮像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
デジタルカメラの電気制御系は、更に、固体撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力されたRGBの色信号をデジタル信号に変換するA/D変換回路7とを備え、これらはシステム制御部11によって制御される。
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、補間演算やガンマ補正演算,RGB/YC変換処理等を行って画像データを生成するデジタル信号処理部17と、上述した移動量V1、V3の算出を行う移動量算出部18と、上述した方法でパノラマ画像データを生成するパノラマ合成部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された液晶表示部23が接続される表示制御部22とを備える。メモリ制御部15、デジタル信号処理部17、移動量算出部18、パノラマ合成部19、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
システム制御部11は、パノラマ撮像モードに設定されると、撮像素子駆動部10を制御して固体撮像素子5により動画撮像を開始させる。
また、システム制御部11は、この動画撮像中に、操作部14に含まれるシャッタボタンの押下によるパノラマ撮像開始指示を受けると、パノラマ撮像開始指示があったことを示す制御信号をデジタル信号処理部17に送信する。このパノラマ撮像開始信号には、どのフレームの画像データをパノラマ画像データの生成に用いるかを指定するフレーム指定情報も含まれる。
また、システム制御部11は、シャッタボタンが元の状態に戻ることによるパノラマ撮像終了指示を受けると、パノラマ撮像終了指示があったことを示すパノラマ撮像終了信号をデジタル信号処理部17に送信する。
デジタル信号処理部17は、パノラマ撮像モードに設定され動画撮像が開始されると、各フレームの撮像で固体撮像素子5から出力される撮像信号から、表示部23に表示するための表示用画像データを生成し、表示制御部22に内蔵されるフレームメモリにこれを順次記憶する。
また、デジタル信号処理部17は、システム制御部11からパノラマ撮像開始信号を受信してからパノラマ撮像終了信号を受信するまでの間は、フレーム指定情報で指定されたフレームで固体撮像素子5から出力された撮像信号については、この撮像信号からパノラマ画像データ生成用の合成用画像データも生成し、この合成用画像データをメインメモリ16に記憶する。
移動量算出部18は、メインメモリ16に記憶された任意のフレームの合成用画像データと、その次のフレームの合成用画像データとから、2つの合成用画像データ間の移動量V1を算出する。
また、移動量算出部18は、式(1)又は式(2)によって予め決められた移動量V2と、算出した移動量V1とのずれ量である移動量V3を以下の式(3)により算出する。
V3=V2−V1 (3)
パノラマ合成部19は、メインメモリ16に記憶された合成用画像データと、移動量算出部18で算出された移動量V1とに基づいて、図1〜図3を用いて説明した方法でパノラマ画像データを生成し、これを記録媒体21に記録する。
表示制御部22は、フレームメモリに記憶される表示用画像データに基づく画像を表示部23に順次表示させることで、動画撮像中の被写体をライブビュー動画として表示部23にリアルタイムに表示する。
また、表示制御部22は、移動量算出部18で算出された移動量V3を視覚的に認識させるための情報を表示部23に表示中のライブビュー動画と共に表示させる。
図5は、図1に示したデジタルカメラにおいて、パノラマ撮像開始後に表示部23に表示される画面例を示した図である。
図5に示すように、移動量V3を視覚的に認識させるための情報は、第一の情報である矩形の枠21と、第二の情報である魔女のキャラクタ22とを含む。
例えば、図示しないカメラのROM(Read Only Memory)には、矩形の枠21を表示するためのデータと、魔女のキャラクタ22を表示するためのデータとが記録されており、表示制御部22は、表示部23に表示中のライブビュー動画に、このデータを重畳表示させることで、矩形の枠21と魔女のキャラクタ22とを表示する。
表示制御部22は、矩形の枠21については、ライブビュー動画における所定位置(図5の例では中央)に表示させる。また、表示制御部22は、移動量算出部18で算出された移動量V3の累積値を算出し、矩形の枠21の中心から、この累積値に応じた位置に、魔女のキャラクタ22を表示させる。
表示制御部22は、移動量V3の累積値がマイナスであれば、矩形の枠21の中心から画角移動方向と反対方向である左方向の当該累積値の絶対値に応じた距離にある位置に、魔女のキャラクタ22を表示させる。また、表示制御部22は、移動量V3の累積値がプラスであれば、矩形の枠21の中心から画角移動方向である右方向の当該累積値の絶対値に応じた距離にある位置に、魔女のキャラクタ22を表示させる。また、表示制御部22は、移動量V3の累積値がゼロであれば、魔女のキャラクタ22の中心(ここでは、魔女のキャラクタ22の顔部分を中心としている)を、矩形の枠21の中心と一致させて表示させる。
なお、累積値が0のときは、原点Oと魔女のキャラクタ22の中心とを必ずしも一致させなくてもよい。例えば、累積値=0のときは、矩形の枠21内に魔女のキャラクタ22の中心が入るように魔女のキャラクタ22を表示し、累積値=0でないときは、矩形の枠21外に魔女のキャラクタ22の中心が出るように、魔女のキャラクタ22を表示させるようにしてもよい。矩形の枠21の外においては、魔女のキャラクタ22の表示位置を、移動量V3の累積値に応じた位置とすればよい。
このような制御により、合成用画像データ取得のための撮像が進められるにつれて、魔女のキャラクタ22が、矩形の枠21に対し、移動量V3の累積値に応じた速度で移動していくように表示されることになる。表示制御部22は、パノラマ撮像モードが設定された時点での初期状態では、魔女のキャラクタ22の中心を矩形の枠21の中心と一致させて表示させ、パノラマ撮像開始後は、移動量V3の累積値に応じた位置に魔女のキャラクタ22を表示させていく。
以上のように、図4に示したデジタルカメラによれば、パノラマ撮像中、表示部23には、移動量V3の累積値に応じた位置に魔女のキャラクタ22が表示される。魔女のキャラクタ22が移動しているということは、移動量V3=0でないことを意味する。このため、ユーザは、この魔女のキャラクタ22の動きが止まるように(V3の累積値が増加あるいは減少しないように)デジタルカメラの移動速度を調整することで、デジタルカメラの移動速度を最適速度で一定に保つことができる。例えば、魔女のキャラクタ22が左方向に移動しているときには、魔女のキャラクタ22が右方向に移動するようにデジタルカメラの移動速度を調整することで、デジタルカメラの移動速度が速くなっていた場合でも、その移動速度を最適速度まで戻すことができるようになる。このように、移動量V3を視覚的に認識させる情報を表示部23に表示することで、最適なパノラマ撮像を行う支援が可能となる。
また、このデジタルカメラによれば、魔女のキャラクタ22の位置が、移動量V3の累積値に対応するため、魔女のキャラクタ22の位置を見ることで、デジタルカメラの移動速度がどのように変化したのかを把握することができる。
例えば、魔女のキャラクタ22が矩形の枠21の右側で静止している場合には、このデジタルカメラが、最適速度よりも遅い速度で一旦移動し、その後、最適速度で一定に移動している状態であると判断することができる。
デジタルカメラがこのような動きをしていた場合、生成されるパノラマ画像データの水平方向の幅は、デジタルカメラを最初から最適速度で移動させてパノラマ撮像を行ったときと比較して大きくなる。以下、この理由を、図6,7を用いて説明する。
図6及び図7は、図1に示した画像データG1,G4,G7から生成したパノラマ画像データP’を示した図である。図6は、合成画像データを得る複数フレームのうちの最初のフレーム間の移動量V1が移動量V2であり、次のフレーム間の移動量V1が移動量V2であったときのものとした。図7は、最初のフレーム間の移動量V1が移動量V2であり、次のフレーム間の移動量V1が移動量V2よりも大きいAであったときのものとした。
図7に示すように、移動量V1がV2よりも大きいAになると、パノラマ画像データP’の幅Wは、図6に示した例と比較して、(A−V2)分だけ広がってしまう。このため、パノラマ画像データP’の幅Wが予め決められている場合には、パノラマ画像データP’の右端にあるデータG7aの端部を(A−V2)分だけ切り落とす必要が生じる。
この(A−V2)は上述してきた移動量V3の符号を逆にしたものに相当する。つまり、パノラマ合成に用いるフレームの撮像が終了した時点での、各隣接フレーム間で算出された移動量V3の合計がマイナスになっていれば、パノラマ画像データの右端にあるデータを切り落とす必要が生じる。これに対し、この合計がゼロ又はプラスになっていれば、パノラマ画像データの右端にあるデータは切り落とさなくてもよくなる。
このことから、図5に示した表示方式によれば、魔女のキャラクタ22が移動してしまっても、その魔女のキャラクタ22の位置が初期状態の位置に戻るようにデジタルカメラの動きを調整する(移動量V3の累積値がゼロとなるように魔女のキャラクタ22の位置を調整する)ことで、端部の切り落としのない良好なパノラマ画像データを得ることができる。
なお、パノラマ画像データの幅に制限がない場合には、切り落としを心配する必要がない。このため、このような場合は、移動量V3=0になったときには、移動量V3の累積値に関わらず、図8に示したように、魔女のキャラクタ22の中心を矩形の枠21の中心と一致させて、又は、矩形の枠21内に魔女のキャラクタ22の中心がくるように表示させるとよい。このようにすることで、ユーザは、今現在、最適な移動速度でデジタルカメラを移動させていることを把握しやすくなり、使い勝手を向上させることができる。
以下では、表示制御部22による、移動量V3を視覚的に認識させる情報の表示方法の変形例について説明する。
(第一の変形例)
図9は、図4に示したデジタルカメラの移動量V3を視覚的に認識させる情報の表示方法の第一の変形例を説明する図である。
図9に示すように、表示制御部22は、矩形の枠21については、ライブビュー動画における所定位置(図9の例では中央)に表示させる。また、表示制御部22は、矩形の枠21の中心を原点Oとして、水平方向に座標を設定する。この座標は、原点Oから画角移動方向を正の値とし、原点Oから画角移動方向の反対方向を負の値とする。そして、この原点Oから移動量V3に応じた距離xの座標位置に、魔女のキャラクタ22を表示させる。xは、例えば移動量V3に比例する値であり、次の式(3)で求まる値とする。
x=b×V3 (3)
bは比例係数であり、b>0である。
例えば、V3=0であれば、x=0となるため、表示制御部22は、原点Oに、魔女のキャラクタ22の中心を一致させて表示させる。
また、V3>0であれば、xが正の値となるため、表示制御部22は、矩形の枠21の中心から、画角移動方向(図9の右側)の距離xの位置に、魔女のキャラクタ22の中心を一致させて表示させる。
また、V3<0であれば、xが負の値となるため、表示制御部22は、矩形の枠21の中心から、画角移動方向とは反対方向(図9の左側)の距離xの位置に、魔女のキャラクタ22の中心を一致して表示させる。
このようにすることで、矩形の枠21よりも魔女のキャラクタ22が左にいれば、デジタルカメラの移動速度が速すぎることを感覚的に理解でき、矩形の枠21よりも魔女のキャラクタ22が右にいれば、デジタルカメラの移動速度が遅すぎることを感覚的に理解することができるようになる。
このような魔女のキャラクタ22を表示させることで、この魔女のキャラクタ22の位置が矩形の枠21の中心にくるようにデジタルカメラの移動速度を調整するよう、ユーザに促すことができる。この結果、良好なパノラマ撮像をユーザに行わせることが可能となる。
なお、V3=0のときは、原点Oと魔女のキャラクタ22の中心とを必ずしも一致させなくてもよい。例えば、V3=0のときは、矩形の枠21内に魔女のキャラクタ22の中心が入るように魔女のキャラクタ22を表示し、V3=0でないときは、矩形の枠21外に魔女のキャラクタ22の中心が出るように、魔女のキャラクタ22を表示させるようにしてもよい。矩形の枠21の外においては、魔女のキャラクタ22の表示位置を、移動量V3に応じた位置とすればよい。
(第三の変形例)
これまでは、矩形の枠21の表示位置を固定としたが、この表示位置を可変とすることが好ましい。
図10は、第三の変形例の表示方法を説明するための図である。この例では、表示制御部22が、パノラマ撮像スタート時に画角移動方向の情報を取得し、表示部23の中心よりも当該情報に基づく画角移動方向の反対方向に、矩形の枠21の中心位置を初期状態の位置(表示部23の中心)からずらして表示させる。例えば、画角移動方向が右であれば、表示部23の中心から左に所定距離の位置に矩形の枠21を表示し、画角移動方向が左であれば、表示部23の中心から右に所定距離の位置に矩形の枠21を表示する。
なお、画角移動方向の情報は、ユーザが操作部14から手動で設定されたものを取得してもよいし、移動量算出部18が移動量V1を算出したときに、画角移動方向の情報も併せて生成しておき、この情報を取得するようにしてもよい。
このようにすることで、ユーザは魔女のキャラクタ22の矩形の枠21内に捕らえやすくなり、デジタルカメラの移動速度の調整がしやすくなる。
(第四の変形例)
パノラマ画像データの生成条件によって移動量V2の値を変更することもあるため、矩形の枠21の大きさは、図11に示すように、式(1)又は(2)によって決まる移動量V2に応じて適宜変更することが好ましい。
この場合、表示制御部22は、複数サイズの矩形の枠21のデータの中から、移動量V2の値に応じたサイズを選択し、このサイズの矩形の枠21を表示部23に表示する。例えば、移動量V2が大きくなれば、矩形の枠21のサイズも大きいものを選択する。
このようにすることで、ユーザは、矩形の枠21の大きさを見て、デジタルカメラを速く移動させるべき撮影条件であると判断することができる。このため、デジタルカメラを遅く移動させすぎるといった失敗をなくすことができ、良好なパノラマ撮像を行うことができるようになる。
(第五の変形例)
これまでは、第二の情報を魔女のキャラクタ22としたが、第二の情報の内容を、図5に示した方法のときは移動量V3の累積値に応じて変更し、図9に示した方法のときは移動量V3に応じて変更することが好ましい。
図12は、移動量V3の累積値又は移動量V3、に応じてキャラクタ内容を変更することを説明する図である。
図12に示すように、V3<0(V1>V2)のときは、キャラクタとして、急いで移動している状態の魔女のキャラクタ22aを表示し、V3=0(V1=V2)のときは、キャラクタとして、これまで説明した魔女のキャラクタ22を表示し、V3>0(V1<V2)のときは、キャラクタとして、歩いている状態の魔女のキャラクタ22bを表示する。
デジタルカメラのROMには、第二の情報として、魔女のキャラクタ22のデータの他に、魔女のキャラクタ22aのデータと、魔女のキャラクタ22bのデータを記憶しておく。そして、表示制御部22は、移動量算出部18で算出された移動量V3又は移動量V3の累積値に応じた内容の魔女のキャラクタを読み出して表示させる。
このようにすることで、ユーザは、魔女のキャラクタの状態によって、デジタルカメラの移動速度が速いのか遅いのかを感覚的に知ることができるようになる。
(第六の変形例)
これまでは、画角移動方向が水平右方向であるときを例示してきた。実際には、このデジタルカメラのパノラマ撮像モードは、水平右方向の他に、水平左方向と、水平方向に直交する垂直上方向と、垂直下方向との4方向で、パノラマ撮像を実施することができる。
このため、表示制御部22は、画角移動方向の情報を取得し、その方向に応じて、第二の情報として表示部23に表示させるキャラクタの内容を変更することが好ましい。
例えば図13に示したように、画角移動方向が水平左方向のときは、画角移動方向側を向かせた魔女のキャラクタ22bを表示させる。また、画角移動方向が垂直上方向のときは、画角移動方向側を向かせたロケット22cを表示させる。
このようにすることで、画角移動方向に合わせた向きのキャラクタを表示することができ、違和感のないガイド表示が可能となる。
以上説明してきたように、本明細書には次の事項が開示されている。
開示された撮像装置は、固体撮像素子と表示部とを有する撮像装置であって、連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる複数の画像データを合成してパノラマ画像データを生成し記録するパノラマ撮像モードを有し、前記パノラマ撮像モード時に、前記固体撮像素子で順次撮像して得られる画像データに基づく動画像を前記表示部に表示させる表示制御部と、前記複数フレームのうちの任意のフレームと当該任意のフレームよりも後のフレームとの間の画角の移動量である第一の移動量を算出する第一の移動量算出部と、前記任意のフレームと前記後のフレームとの間の画角の移動量であって前記複数の画像データの合成に最適な移動量である第二の移動量と前記第一の移動量とのずれ量である第三の移動量を算出する第三の移動量算出部とを備え、前記表示制御部は、前記第三の移動量を視覚的に認識させるための情報を、前記動画像と共に前記表示部に表示させるものである。
開示された撮像装置は、前記表示制御部が、前記情報として第一の情報と第二の情報を表示させ、前記第二の情報を、前記一の情報に対して前記第三の移動量に応じた位置関係で表示させるものである。
開示された撮像装置は、前記表示制御部が、前記第一の情報の位置から、前記第三の移動量の累積値に応じた距離に前記第二の情報を表示させるものである。
開示された撮像装置は、前記第一の情報が枠を含み、前記表示制御部が、前記第三の移動量の累積値がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量の累積値がゼロでないときは、前記枠外に前記第二の情報を表示させるものである。
開示された撮像装置は、前記表示制御部が、前記第三の移動量がゼロのとき、前記第二の情報を前記第一の情報と同一位置に表示させるものである。
開示された撮像装置は、前記表示制御部が、前記第一の情報の位置から、前記第三の移動量に応じた距離に前記第二の情報を表示させるものである。
開示された撮像装置は、前記第一の情報が枠を含み、前記表示制御部が、前記第三の移動量がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量がゼロでないときは、前記枠外に前記第二の情報を表示させるものである。
開示された撮像装置は、前記表示制御部が、前記第三の移動量がゼロのときは、前記第一の情報と前記第二の情報の位置を一致して表示させるものである。
開示された撮像装置は、前記画角の移動方向の情報を取得する移動方向情報取得部を備え、前記表示制御部が、前記移動方向に応じて前記第一の情報の表示位置を変更するものである。
開示された撮像装置は、前記画角の移動方向の情報を取得する移動方向情報取得部を備え、前記表示制御部が、前記移動方向に応じて前記第二の情報の内容を変更するものである。
開示された撮像装置は、前記表示制御部が、前記第二の移動量に応じて、前記第一の情報の表示サイズを変更するものである。
開示された撮像装置は、 前記表示制御部が、前記第三の移動量に応じて、前記第二の情報の内容を変更するものである。
開示された撮像装置は、前記第二の情報がキャラクタであるものである。
開示された撮像装置は、前記パノラマ画像データの画像合成方向の幅と、当該パノラマ画像データの生成に用いる画像データの総数とに基づいて前記第二の移動量を算出する第二の移動量算出部を備えるものである。
21 矩形の枠
22 魔女のキャラクタ
V1 フレーム間移動量の算出値
V2 フレーム間移動量の最適値
V3 V1とV2のずれ
5 固体撮像素子
22 表示制御部
23 表示部

Claims (14)

  1. 固体撮像素子と表示部とを有する撮像装置であって、
    連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる複数の画像データを合成してパノラマ画像データを生成し記録するパノラマ撮像モードを有し、
    前記パノラマ撮像モード時に、前記固体撮像素子で順次撮像して得られる画像データに基づく動画像を前記表示部に表示させる表示制御部と、
    前記複数フレームのうちの任意のフレームと当該任意のフレームよりも後のフレームとの間の画角の移動量である第一の移動量を算出する第一の移動量算出部と、
    前記任意のフレームと前記後のフレームとの間の画角の移動量であって前記複数の画像データの合成に最適な移動量である第二の移動量と前記第一の移動量とのずれ量である第三の移動量を算出する第三の移動量算出部とを備え、
    前記表示制御部は、前記第三の移動量を視覚的に認識させるための情報を、前記動画像と共に前記表示部に表示させる撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記表示制御部が、前記情報として第一の情報と第二の情報を表示させ、前記第二の情報を、前記一の情報に対して前記第三の移動量に応じた位置関係で表示させる撮像装置。
  3. 請求項2記載の撮像装置であって、
    前記表示制御部が、前記第一の情報の位置から、前記第三の移動量の累積値に応じた距離に前記第二の情報を表示させる撮像装置。
  4. 請求項3記載の撮像装置であって、
    前記第一の情報が枠を含み、
    前記表示制御部が、前記第三の移動量の累積値がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量の累積値がゼロでないときは、前記枠外に前記第二の情報を表示させる撮像装置。
  5. 請求項3又は4記載の撮像装置であって、
    前記表示制御部が、前記第三の移動量がゼロのとき、前記第二の情報を前記第一の情報と同一位置に表示させる撮像装置。
  6. 請求項2記載の撮像装置であって、
    前記表示制御部が、前記第一の情報の位置から、前記第三の移動量に応じた距離に前記第二の情報を表示させる撮像装置。
  7. 請求項6記載の撮像装置であって、
    前記第一の情報が枠を含み、
    前記表示制御部が、前記第三の移動量がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量がゼロでないときは、前記枠外に前記第二の情報を表示させる撮像装置。
  8. 請求項6又は7記載の撮像装置であって、
    前記表示制御部が、前記第三の移動量がゼロのときは、前記第一の情報と前記第二の情報の位置を一致して表示させる撮像装置。
  9. 請求項2〜8のいずれか1項記載の撮像装置であって、
    前記画角の移動方向の情報を取得する移動方向情報取得部を備え、
    前記表示制御部が、前記移動方向に応じて前記第一の情報の表示位置を変更する撮像装置。
  10. 請求項2〜9のいずれか1項記載の撮像装置であって、
    前記画角の移動方向の情報を取得する移動方向情報取得部を備え、
    前記表示制御部が、前記移動方向に応じて前記第二の情報の内容を変更する撮像装置。
  11. 請求項2〜10のいずれか1項記載の撮像装置であって、
    前記表示制御部が、前記第二の移動量に応じて、前記第一の情報の表示サイズを変更する撮像装置。
  12. 請求項2〜11のいずれか1項記載の撮像装置であって、
    前記表示制御部が、前記第三の移動量に応じて、前記第二の情報の内容を変更する撮像装置。
  13. 請求項2〜12のいずれか1項記載の撮像装置であって、
    前記第二の情報がキャラクタである撮像装置。
  14. 請求項1〜13のいずれか1項記載の撮像装置であって、
    前記パノラマ画像データの画像合成方向の幅と、当該パノラマ画像データの生成に用いる画像データの総数とに基づいて前記第二の移動量を算出する第二の移動量算出部を備える撮像装置。
JP2010058392A 2010-03-15 2010-03-15 撮像装置 Active JP5364625B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010058392A JP5364625B2 (ja) 2010-03-15 2010-03-15 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010058392A JP5364625B2 (ja) 2010-03-15 2010-03-15 撮像装置

Publications (2)

Publication Number Publication Date
JP2011193286A true JP2011193286A (ja) 2011-09-29
JP5364625B2 JP5364625B2 (ja) 2013-12-11

Family

ID=44797749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010058392A Active JP5364625B2 (ja) 2010-03-15 2010-03-15 撮像装置

Country Status (1)

Country Link
JP (1) JP5364625B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031155A1 (ja) * 2011-08-30 2013-03-07 パナソニック株式会社 撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730802A (ja) * 1993-07-09 1995-01-31 Nikon Corp パノラマ撮影用電子カメラシステム
JP2004134950A (ja) * 2002-10-09 2004-04-30 Sony Corp 画像合成方法および画像合成装置
JP2008289095A (ja) * 2007-05-21 2008-11-27 Olympus Imaging Corp 撮像装置、表示方法、及びプログラム
JP2009232275A (ja) * 2008-03-24 2009-10-08 Olympus Imaging Corp 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730802A (ja) * 1993-07-09 1995-01-31 Nikon Corp パノラマ撮影用電子カメラシステム
JP2004134950A (ja) * 2002-10-09 2004-04-30 Sony Corp 画像合成方法および画像合成装置
JP2008289095A (ja) * 2007-05-21 2008-11-27 Olympus Imaging Corp 撮像装置、表示方法、及びプログラム
JP2009232275A (ja) * 2008-03-24 2009-10-08 Olympus Imaging Corp 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031155A1 (ja) * 2011-08-30 2013-03-07 パナソニック株式会社 撮像装置
CN103636187A (zh) * 2011-08-30 2014-03-12 松下电器产业株式会社 摄像装置
JPWO2013031155A1 (ja) * 2011-08-30 2015-03-23 パナソニックIpマネジメント株式会社 撮像装置
US9621799B2 (en) 2011-08-30 2017-04-11 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus

Also Published As

Publication number Publication date
JP5364625B2 (ja) 2013-12-11

Similar Documents

Publication Publication Date Title
US10432876B2 (en) Imaging apparatus capable of switching display methods
US9426350B2 (en) Image capturing apparatus and control method thereof
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
US9794478B2 (en) Imaging apparatus for generating composite image using directional indicator image, and method and recording medium with program recorded therein for the same
JP5235798B2 (ja) 撮影装置及びその制御方法
KR100478614B1 (ko) 촬상장치, 촬영방법 및 프로그램
TWI399977B (zh) 攝影裝置及程式
KR101062502B1 (ko) 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치
JP5054583B2 (ja) 撮像装置
JP5214826B2 (ja) 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
JP4401949B2 (ja) 動画撮像装置及び動画撮像方法
US8155432B2 (en) Photographing apparatus
JP5893713B1 (ja) 撮像装置、撮像方法、処理プログラム
JP4787906B1 (ja) 撮像装置、方法およびプログラム
JP4535114B2 (ja) 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム
JP5385462B2 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
JP2014120844A (ja) 画像処理装置および撮像装置
JP2013201752A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
TWI229548B (en) Image pickup apparatus, photographing method, and storage medium recording photographing method
KR20130029031A (ko) 화성을 합성하는 화상 처리 장치
KR101784176B1 (ko) 영상 촬영 장치 및 그 제어방법
US20110018970A1 (en) Compound-eye imaging apparatus
WO2011064918A1 (ja) 画像データ作成支援装置および画像データ作成支援方法
JP5655667B2 (ja) 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120620

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120914

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20121004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130909

R150 Certificate of patent or registration of utility model

Ref document number: 5364625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250