JP2004153691A - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP2004153691A JP2004153691A JP2002318530A JP2002318530A JP2004153691A JP 2004153691 A JP2004153691 A JP 2004153691A JP 2002318530 A JP2002318530 A JP 2002318530A JP 2002318530 A JP2002318530 A JP 2002318530A JP 2004153691 A JP2004153691 A JP 2004153691A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- angle
- stored
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
- H04N1/3878—Skew detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Abstract
【課題】被写体像を撮像し、画像データとして取込む撮像装置で、比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成する。
【解決手段】２回の撮影により取込んだ各画像データを記憶するＤＲＡＭ２１と、このＤＲＡＭ２１に記憶される１回目の撮像により取込んだ第１の画像データ、２回目の撮像により取込んだ第２の画像データのそれぞれに対応した方向を指定するタッチパネル２６と、これらの指定した方向を比較し、その比較結果に応じて上記第１及び第２の画像データの一方の角度を補正し、補正した画像データを他方の画像データと合成する制御部２２とを備える。
【選択図】 図２
【解決手段】２回の撮影により取込んだ各画像データを記憶するＤＲＡＭ２１と、このＤＲＡＭ２１に記憶される１回目の撮像により取込んだ第１の画像データ、２回目の撮像により取込んだ第２の画像データのそれぞれに対応した方向を指定するタッチパネル２６と、これらの指定した方向を比較し、その比較結果に応じて上記第１及び第２の画像データの一方の角度を補正し、補正した画像データを他方の画像データと合成する制御部２２とを備える。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルスチルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【０００２】
【従来の技術】
デジタルスチルカメラによる撮影では、従来の銀塩フィルムを用いたカメラによる撮影とは異なり、撮影時あるいは撮影後に撮影により得た画像データに対するデジタル画像処理を施すことが可能である。
【０００３】
そのようなデジタル画像処理を使用した撮影方法の１つとして、次に示すような機能がある。この機能は、例えば図９（Ａ）に示すようにまずフレームＦＬの中央に固定物である被写体Ａが、同フレームＦＬの右側に人物である被写体Ｂが位置する構図で１回目の撮影を実行する。
【０００４】
次いで、図９（Ｂ）に示すようにほぼ同一の構図で、フレームＦＬの左側に被写体Ｃを写しこんで２回目の撮影を実行する。このとき、カメラの液晶表示パネルで表示されるモニタ画面中のフレームＦＬの中央と右側２／３の範囲では、上記図９（Ａ）で示した画像を半透過状態で重ねて表示するため、共通の被写体として、固定物である被写体Ａと半透過表示される被写体Ａ′とを画面上でぴったりと重ねるようにして２回目の撮影を実行することにより、同一の構図を得ることができる。
【０００５】
そして、上記図９（Ａ）で示した１回目の撮影により得た画像データと、上記図９（Ｂ）に示した２回目の撮影で得た画像データとを画像合成処理することにより、実際には被写体Ｂと被写体Ｃとを同時に撮影したことはないにも拘わらず、図９（Ｃ）に示すようにあたかも２人の被写体Ｂ，Ｃを同時に撮影したような画像データを得ることができる。
【０００６】
このような画像合成を行なうデジタル画像処理の機能を有することで、三脚が持参しておらずセルフタイマー機能を使用できない場合で、且つ第３者に撮影を頼めないような状況であっても、被写体となる人物Ｂ，Ｃが交互に撮影を実行することで、気軽に２人が写っている上記図９（Ｃ）に示すような画像データを得ることができる。
【０００７】
なお、２回目の撮影時には、１回目の撮影条件、具体的にはズームレンズのズーム位置、絞り及びシャッタ速度等の露光条件、ホワイトバランス値、ストロボ設定状態などを継承して、２回の撮影で画質に差異が生じないようにする。
【０００８】
また、上記のように画像を合成する位置は、画像の左側１／３と中央及び右側２／３とに限るものではなく、予めいくつかの画面分割パターンを用意しておき、任意にユーザに選択させるものとすればよい。
【０００９】
加えて、分割した画面のいずれ側を先に撮影するのかも併せて任意にユーザに選択させるものとすればよい。
【００１０】
また、画像合成に関しては、文字列からなる画像データを対象として、該文字列の傾きを補正した上で当該画像データを含む他の画像データに合成するようにした技術がある（例えば、特許文献１参照。）
さらに、移動体に設置される複数のカメラにより撮影した各画像データを、移動体の基準方向からの角度や動き等を検出して補正した上で合成する技術もある（例えば、特許文献２参照。）
【００１１】
【特許文献１】
特開平８−０６５４５７号公報
【００１２】
【特許文献２】
特開２００１−２４５１３１号公報
【００１３】
【発明が解決しようとする課題】
しかしながら、上記図９に示した技術にあっては、固定されていないカメラで異なる撮影者により撮影された２つの画像データを合成処理するため、カメラの角度が微妙にずれてしまう可能性があり、その場合に画像合成により得られる画像データでは、本来２人で一緒に撮影した場合と比べて不自然な画像となってしまうことになる。
【００１４】
図９（Ｄ）はそのような合成画像を例示するもので、上記図９（Ｃ）に示した合成画像が正しい状態であるものとすると、２回目の撮影時にカメラの右側が下がる方向に角度がずれた状態で撮影を行なったために、被写体Ｃを含む左側の画像が他の被写体Ａ，Ｂに対して不自然に右上がりの状態となってしまっている状態を示す。
【００１５】
この点で、上記特許文献１に記載されている技術は、文字列の画像データを対象としてその傾きを補正して合成する技術であるので、対応することができない。
【００１６】
また、上記特許文献２に記載されている技術は、例えばジャイロスコープ等でカメラの傾きの度合いを検出し、画像データの合成に活用するようになるもので、自動車や列車等の移動体を対象としたものならともかく、携帯して使用するコンパクトタイプのデジタルスチルカメラなどに適用するのは現実的ではない。
【００１７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
【００１８】
【課題を解決するための手段】
請求項１記載の発明は、被写体像を撮像し、画像データとして取込む撮像装置において、２回の撮影により取込んだ各画像データを記憶する記憶手段と、この記憶手段に記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定手段と、上記記憶手段に記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定手段と、上記第１及び第２の各方向指定手段で指定した方向を比較する方向比較手段と、この方向比較手段の比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正手段と、この画像角度補正手段により補正した画像データを他方の画像データと合成する画像合成手段とを具備したことを特徴とする。
【００１９】
このような構成とすれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成することが可能となる。
【００２０】
請求項２記載の発明は、上記請求項１記載の発明において、上記第１の方向指定手段で指定した方向の情報を第１の画像データに、上記第２の方向指定手段で指定した方向の情報を第２の画像データに、それぞれ関連付けて上記記憶手段に記憶させることを特徴とする。
【００２１】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、各画像データに指定した方向の情報を関連付けて記憶させるため、該方向の情報の有無により水平方向の指定がなされているか否かを容易に判断できる。
【００２２】
請求項３記載の発明は、上記請求項１記載の発明において、上記第１及び第２の画像データのいずれか一方を指定する画像指定手段をさらに具備し、上記画像角度補正手段は、上記画像指定手段で指定した画像データを基準として他方の画像データの角度を補正することを特徴とする。
【００２３】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、基準となる画像データを指定した上でそれに合せて他方の画像データの角度の補正を行なうようになるため、より重要であると思われる画像データの内容を優先して画像合成を実行させることができる。
【００２４】
請求項４記載の発明は、上記請求項１記載の発明において、上記画像角度補正手段は、上記第１及び第２の画像データの一方を任意の角度で補正することを特徴とする。
【００２５】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、ユーザの意図を反映してより自然な合成画像を得ることができる。
【００２６】
請求項５記載の発明は、上記請求項１記載の発明において、上記画像合成手段は、上記画像角度補正手段により補正した一方の画像データを他方の画像データと合成するのに際して、補正により生じた一方の画像データの過不足を削除及び補間処理により補償することを特徴とする。
【００２７】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、角度補正により生じる特に画像データの周辺部分の過不足に対処し、より自然な合成画像を得ることができる。
【００２８】
請求項６記載の発明は、上記請求項１記載の発明において、上記第１及び第２の各方向指定手段は角度センサであり、該角度センサで検出した角度により方向を指定することを特徴とする。
【００２９】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、ユーザの操作を簡略化して使い勝手を向上できると共に、使用する角度センサの検出精度に応じて各指定手段の指定精度を任意に設定できる。
【００３０】
請求項７記載の発明は、被写体像を撮像し、画像データとして取込む撮像装置の撮像方法において、２回の撮影により取込んだ各画像データを記憶する記憶工程と、この記憶工程で記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定工程と、上記記憶工程で記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定工程と、上記第１及び第２の各方向指定工程で指定した方向を比較する方向比較工程と、この方向比較工程での比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正工程と、この画像角度補正工程で補正した画像データを他方の画像データと合成する画像合成工程とを有したことを特徴とする。
【００３１】
このような方法とすれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【００３２】
請求項８記載紙の発明は、被写体像を撮像し、画像データとして取込む撮像装置に内蔵されたコンピュータが実行するプログラムであって、２回の撮影により取込んだ各画像データを記憶する記憶ステップと、この記憶ステップで記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定ステップと、上記記憶ステップで記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定ステップと、上記第１及び第２の各方向指定ステップで指定した方向を比較する方向比較ステップと、この方向比較ステップでの比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正ステップと、この画像角度補正ステップで補正した画像データを他方の画像データと合成する画像合成ステップとをコンピュータに実行させることを特徴とする。
【００３３】
このようなプログラム内容とすれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【００３４】
【発明の実施の形態】
（第１の実施形態）
以下本発明をデジタルスチルカメラ（以下「デジタルカメラ」と称する）に適用した場合の第１の実施形態について図面を参照して説明する。
【００３５】
図１は、主に背面側からの外観構成を示すもので、１がデジタルカメラである。このデジタルカメラ１の背面には、モニタ表示部２、十字キー３、決定キー４、及び光学ファインダ５が配設される。
【００３６】
モニタ表示部２は、バックライト付きの液晶表示パネルで構成されるもので、撮影モードではその時点で撮像している内容をモニタリングするための電子ファインダとして機能する一方で、再生モードでは記録され、選択された画像データを再生表示する。
【００３７】
また、このモニタ表示部２はタッチパネルとしても機能するもので、ユーザの手指によりタッチ操作された位置座標を取込み、モニタ表示部２で表示している内容と対応させて各種指示操作もできるものとする。
【００３８】
十字キー３は、各種項目を選択／更新するべく上下左右各方向キーが一体に設けられたもので、その中央に位置する決定キー４は、上記十字キー３で選択した内容を決定して実行する。
【００３９】
光学ファインダ５は、撮影時にモニタ表示部２を使用せずに被写体像と構図を視認する際に使用する。
【００４０】
またデジタルカメラ１の上面には、その右端にシャッタキー６が配設される他、ガイドパネル７、各種メニューキー８が配設される。
【００４１】
シャッタキー６は、撮影を行ないたいタイミングで押圧操作することによりＡＦ（自動合焦）、ＡＥ（自動露出）の各処理に続けて撮影を実行する。
【００４２】
ガイドパネル７は、例えばセグメントタイプの液晶表示パネルで構成され、その時点で選択されている各種撮影項目や電池及びメモリの各残量等を表示する。
【００４３】
各種メニューキー８は、基本モードとしての撮影モードと再生モードの切換え設定だけでなく、基本モード中の詳細なモード設定、例えば撮影モード下で後述するカップル撮影モードを設定する場合などにも使用する。
【００４４】
なお、ここでは図示しないが、当然ながらデジタルカメラ１の前面にはレンズ鏡筒やストロボ、光学ファインダ窓、セルフタイマインジケータ等が配設される。
【００４５】
次に図２により上記デジタルカメラ１に内蔵される電子回路の構成について説明する。
このデジタルカメラ１は、基本モードとして撮影モードと再生モードとを切換えて設定可能であり、撮影モードでのモニタリング状態においては、モータ（Ｍ）１１の駆動により合焦位置や絞り位置が移動されるレンズ光学系１２の撮影光軸後方に配置された固体撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。
【００４６】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド（Ｓ／Ｈ）回路１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータに変換されてカラープロセス回路１８へ出力される。
【００４７】
このカラープロセス回路１８は、Ａ／Ｄ変換器１７から送られてくる画像のデジタルデータに対する画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成してＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１９に出力する。
【００４８】
ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送出力する。
【００４９】
制御部２２は、このデジタルカメラ１全体の動作制御を司るべく、ＣＰＵと動作プログラムを記憶したＲＯＭ、ワークメモリとしてのＲＡＭ等から構成されるものであり、上記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。
【００５０】
デジタルビデオエンコーダ２５は、上記輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４より定期的に読出し、これらのデータを元にビデオ信号を発生して上記表示部２に出力する。
【００５１】
この表示部２は、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行なうことで、その時点でＣＣＤ１３での撮像によりＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像を表示することとなる。
【００５２】
なお、このモニタ表示部２上には、透明なタッチパネル２６が一体的に設けられるものであり、このタッチパネル２６でのタッチ操作を検出するタッチパネルコントローラ２７が、タッチ位置に対応した位置座標列データを上記制御部２２へ出力する。
【００５３】
表示部２にその時点での画像をモニタ画像としてリアルタイムに表示させている状態で、静止画撮影を行ないたいタイミングでキー入力部２８を構成する複数のキー中の上記シャッタキー６を操作すると、トリガ信号を発生する。
【００５４】
制御部２２は、このトリガ信号に応じてその時点でＣＣＤ１３から取込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。
【００５５】
この記録保存の状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース２０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路２９に書込み、このＪＰＥＧ回路２９でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００５６】
そして、得た符号データを１フレームのデータファイルとして該ＪＰＥＧ回路２９から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着される、不揮発性メモリであるフラッシュメモリを封入したメモリカード３０に書込む。
【００５７】
そして、１フレーム分の輝度及び色差信号の圧縮処理及びメモリカード３０への全圧縮データの書込み終了に伴なって、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。
【００５８】
また、上記キー入力部２８は、上述したシャッタキー６の他に、上記十字キー３、決定キー４、各種メニューキー８等から構成され、それらのキー操作に伴なう信号は直接制御部２２へ送出される。
【００５９】
次に上記実施形態の動作について説明する。
図３は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＡ０１）、そうでなければ他の撮影処理を実行する。
【００６０】
カップル撮影モードであることを確認した場合、まず１回目の撮影を実行する（ステップＡ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００６１】
図４（Ａ）は、この１回目の撮影により得られ、モニタ表示部２の例えば中央と右側２／３の領域に表示される画像データを例示するもので、上記図９（Ａ）と同様に、モニタ表示部２の画面中央に固定物である被写体Ａが、画面右側に人物である被写体Ｂが写し込まれている状態を示す。
【００６２】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば
「画像の水平方向を指定して下さい」
のような文字列のガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【００６３】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＡ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【００６４】
図４（Ｂ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ１を実線により画像に重ねて表示させる。
【００６５】
その後、２回目の撮影を実行する（ステップＡ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが図４（Ｃ）に示すように半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【００６６】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００６７】
この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＡ０５）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【００６８】
図４（Ｄ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ２を実線により２回目の画像に重ねて表示させる。
【００６９】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＡ０６）。
【００７０】
ここで、水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＡ０７）。
【００７１】
各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、２つの画像データの両水平方向が一致するように、２回目の撮影により得た画像データを必要な角度分だけ回転処理する角度補正処理を実行し（ステップＡ０８）、その上で２つの画像データの合成処理を実行する（ステップＡ０９）。
【００７２】
この際、併せて、該角度補正処理により画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＡ１０）、反対に該角度補正処理により画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＡ１１）。
【００７３】
図５は、上記図４（Ｄ）で示した２回目の撮影により得た画像データをその水平方向の指定に対応して角度補正した場合に生じる、部分的な過不足を例示するものである。図中、右下がりの密なハッチング部分が角度補正によりはみ出してしまう部分であり、これらの部分は上記ステップＡ１０の処理により削除される。
【００７４】
一方、図中の右上がりの粗なハッチング部分が角度補正により足りなくなった部分であり、これらの部分を上記ステップＡ１１の処理により補間する。
【００７５】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＡ１２）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【００７６】
このように、例えばモニタ表示部２と一体的に用いられたタッチパネル２６でユーザが手指により画像の水平方向を指定する、という比較的簡易な手法により、傾きの異なる２つの画像データを自然な状態で画像合成して記録することができる。
【００７７】
（第１の実施形態の変形例）
以下本発明をデジタルカメラに適用した場合の第１の実施形態の変形例について説明する。
本変形例においては、画像に対応する水平方向を、タッチパネル２６上でユーザが手指での描画操作により指定するのではなく、角度センサを用いて画像に水平方向を指定するものとする。
【００７８】
なお、外観構成に関しては上記図１に示すものと同一である。内蔵される電子回路の構成に関しては、上記図２に示した内容に、さらに角度センサを備えるものとする。
【００７９】
次に上記実施形態の変形例の動作について説明する。なお、上記図３と同じ部分については説明を省略する。
【００８０】
カップル撮影モードで１回目の撮影を行った後、ステップＡ０３で角度センサにより、デジタルカメラ１の撮影時の角度（傾き）を検出する。検出した角度（傾き）を表わす情報は水平方向として、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【００８１】
この時、図４（Ｂ）に示すようにモニタ表示部２においては、検出された角度に対応して矢印ＡＲ１を実線により画像に重ねて表示させてもよいし、重ねて表示しなくてもよい。
【００８２】
１回目の撮影を行った後、ステップＡ０５で角度センサにより、デジタルカメラ１の撮影時の角度（傾き）を検出する。検出した角度（傾き）を表わす情報は水平方向として、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【００８３】
この時も、図４（Ｄ）に示すようにモニタ表示部２においては、検出された角度に対応して矢印ＡＲ２を実線により２回目の画像に重ねて表示させてもよいし、重ねて表示しなくてもよい。
【００８４】
ステップＡ０６以降の処理は、角度センサにより検出した角度（傾き）を表わす情報は水平方向として同じように扱われるので同様の処理を行なう。
【００８５】
このようにしたことで、ユーザがタッチパネル２６上で手指での描画操作によりその都度指定しなくてよいので、操作が簡単になる。水平方向を意識せずに２回撮影すればよいので使い勝手がさらによくなる。また、使用する角度センサの検出できる角度によって、精度を上げることも下げることも任意に設定できる。
【００８６】
（第２の実施形態）
以下本発明をデジタルカメラに適用した場合の第２の実施形態について図面を参照して説明する。
【００８７】
なお、その外観構成に関しては上記図１に示すものと、内蔵される電子回路の構成に関しては図２に示すものと、それぞれ基本的には同一であるものとして、同一部分には同一符号を用い、その図示及び説明は省略する。
【００８８】
次に上記実施形態の動作について説明する。
図６は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＢ０１）、そうでなければ他の撮影処理を実行する。
【００８９】
カップル撮影モードであることを確認した場合、まず１回目の撮影を実行する（ステップＢ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００９０】
図４（Ａ）は、この１回目の撮影により得られ、モニタ表示部２の例えば中央と右側２／３の領域に表示される画像データを例示するもので、上記図９（Ａ）と同様に、モニタ表示部２の画面中央に固定物である被写体Ａが、画面右側に人物である被写体Ｂが写し込まれている状態を示す。
【００９１】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば
「画像の水平方向を指定して下さい」
のような文字列のガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【００９２】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＢ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【００９３】
図４（Ｂ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ１を実線により画像に重ねて表示させる。
【００９４】
その後、２回目の撮影を実行する（ステップＢ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【００９５】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００９６】
この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＢ０５）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【００９７】
図４（Ｅ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ２を実線により２回目の画像に重ねて表示させる。
【００９８】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＢ０６）。
【００９９】
水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＢ０７）。
【０１００】
ここで、各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、２つの画像データの両水平方向が一致するように、２回目の撮影により得た画像データをユーザのキー操作に対応した角度分だけ回転処理する角度補正処理を実行する（ステップＢ０８）。
【０１０１】
これは、ユーザによるマニュアルキー操作により実行するもので、このときモニタ表示部２には、例えば
「「←」，「→」キーにより画像の角度を指定し、
決定キーで指定した角度を決定して下さい」
のような文字列のガイドメッセージを重ねて表示した上で、これらのキー入力を受付ける。
【０１０２】
しかして、このガイドメッセージに対応して上記キー入力部２８の十字キー３の「←」キーまたは「→」キーが操作される毎に、モニタ表示部２で表示している２回目の画像データを角度補正する（ステップＢ０８）。
【０１０３】
これは、例えば「←」キーが１回操作される毎に該画像データを左方向に例えば５°回転させ、反対に「→」キーが１回操作される毎に該画像データを右方向に同角度、例えば５°回転させるようになるもので、ユーザの任意操作に対応してその都度２回目の画像データを角度補正してモニタ表示部２で表示させる。
【０１０４】
上記図４（Ｅ）に示した、２回目の撮影で得た画像データに重ねて、水平方向を指定する矢印ＡＲ２を実線により表示させた状態から、例えば十字キー３の「→」キーを数回操作すると、その都度上記ステップＢ０８での角度補正処理が実行される。
【０１０５】
図４（Ｆ）は、こうして１回目の撮影で得た画像データと同一の水平方向に角度補正処理された、２回目の撮影で得た画像データを例示するものであり、水平方向を指定する矢印ＡＲ３が上記図４（Ｂ）で示した１回目の撮影で得た画像データの矢印ＡＲ１とほぼ同一方向となっていることがわかる。
【０１０６】
そして、最後に十字キー３の中央に位置する決定キー４が操作された時点で補正角度を決定したものとして補正処理を完了する（ステップＢ０９）。
【０１０７】
その後、２つの画像データの合成処理を実行し（ステップＢ１０）、併せて上記角度補正処理により画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＢ１１）、反対に上記角度補正処理により画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＢ１２）。
【０１０８】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＢ１３）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【０１０９】
このように、例えばモニタ表示部２と一体的に用いられたタッチパネル２６でユーザが手指によりそれぞれの画像の水平方向を指定した上で、その方向が一致していない場合には、ユーザの任意の指定角度でその一方の画像の角度補正を行なってから画像合成を実行するようになるため、ユーザの意図を反映してより自然な合成画像を得ることができる。
【０１１０】
（第３の実施形態）
以下本発明をデジタルカメラに適用した場合の第３の実施形態について図面を参照して説明する。
【０１１１】
なお、その外観構成に関しては上記図１に示すものと、内蔵される電子回路の構成に関しては図２に示すものと、それぞれ基本的には同一であるものとして、同一部分には同一符号を用い、その図示及び説明は省略する。
【０１１２】
次に上記実施形態の動作について説明する。
図７は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＣ０１）、そうでなければ他の撮影処理を実行する。
【０１１３】
カップル撮影モードであることを確認した場合、まず１回目の例えば中央及び右側の２／３の領域の撮影を実行する（ステップＣ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１１４】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば「画像の水平方向を指定して下さい」のようなガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【０１１５】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＣ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【０１１６】
その後、２回目の左側の１／３の領域の撮影を実行する（ステップＣ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【０１１７】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１１８】
この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＣ０５）。
【０１１９】
指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶され、モニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ２を実線により２回目の画像に重ねて表示させる。
【０１２０】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＣ０６）。
【０１２１】
ここで、水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＣ０７）。
【０１２２】
各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、次に１回目の撮影で得た画像を基準として２回目の撮影で得た画像の方向を合せるべく角度補正を行なうか否かを判断する（ステップＣ０８）。
【０１２３】
これは、例えばモニタ表示部２に２回目の撮影で得た画像を指定した水平方向の矢印と共に表示させた状態で、重ねて
「この画像の角度を補正しますか？
ＹＥＳ→決定キー／ＮＯ→シャッタキー」
のような文字列のガイドメッセージを表示し、表示したメッセージにしたがっていずれのキーが操作されたかによって判断する。
【０１２４】
当初の設定通り、１回目の撮影で得た画像を基準とし、２回目の撮影で得た画像の方向を合せるべく角度補正を行なう場合であればそのまま特に状態を変更しないが、上記メッセージに対して「ＮＯ」を指示するキー操作がなされた場合には、反対に２回目の撮影で得た画像を基準とし、１回目の撮影で得た画像の方向を合せるべく角度補正を行なうものとして設定する（ステップＣ０９）。
【０１２５】
その後、設定に従って基準となる一方の画像データの水平方向に対し、他方の画像データの水平方向が一致するように必要な角度分だけ回転処理する角度補正処理を実行し（ステップＣ１０）、その上で２つの画像データの合成処理を実行する（ステップＣ１１）。
【０１２６】
この際、併せて、該角度補正処理により他方側の画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＣ１２）、反対に該角度補正処理により他方側の画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＣ１３）。
【０１２７】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＣ１４）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【０１２８】
このように、２つの画像データのうちのいずれを基準として他方側の画像の角度補正を行なうのかをユーザ自身が指定するものとしたため、より重要であると思われる画像データの内容を優先して画像合成を実行させることができる。
【０１２９】
（第４の実施形態）
以下本発明をデジタルカメラに適用した場合の第４の実施形態について図面を参照して説明する。
【０１３０】
なお、その外観構成に関しては上記図１に示すものと、内蔵される電子回路の構成に関しては図２に示すものと、それぞれ基本的には同一であるものとして、同一部分には同一符号を用い、その図示及び説明は省略する。
【０１３１】
次に上記実施形態の動作について説明する。
図８は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＤ０１）、そうでなければ他の撮影処理を実行する。
【０１３２】
カップル撮影モードであることを確認した場合、まず１回目の例えば中央及び右側の２／３の領域の撮影を実行する（ステップＤ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１３３】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば
「画像の水平方向を指定して下さい」
のような文字列のガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【０１３４】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＤ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【０１３５】
その後、２回目の例えば左側の１／３の領域の撮影を実行する（ステップＤ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【０１３６】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１３７】
そして、この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＤ０５）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【０１３８】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＤ０６）。
【０１３９】
水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＤ０７）。
【０１４０】
ここで、各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、次に１回目の撮影で得た画像を基準として２回目の撮影で得た画像の方向を合せるべく角度補正を行なうか否かを判断する（ステップＤ０８）。
【０１４１】
これは、例えばモニタ表示部２に２回目の撮影で得た画像を指定した水平方向の矢印と共に表示させた状態で、重ねて
「この画像の角度を補正しますか？
ＹＥＳ→決定キー／ＮＯ→シャッタキー」
のような文字列のガイドメッセージを表示し、表示したメッセージにしたがっていずれのキーが操作されたかによって判断する。
【０１４２】
当初の設定通り、１回目の撮影で得た画像を基準とし、２回目の撮影で得た画像の方向を合せるべく角度補正を行なう場合であればそのまま特に状態を変更しないが、上記メッセージに対して「ＮＯ」を指示するキー操作がなされた場合には、反対に２回目の撮影で得た画像を基準とし、１回目の撮影で得た画像の方向を合せるべく角度補正を行なうものとして設定する（ステップＤ０９）。
【０１４３】
その後、設定に従って基準となる一方の画像データの水平方向に対し、他方の画像データの水平方向が一致するようにユーザのキー操作に対応した角度分だけ回転処理する角度補正処理を実行する（ステップＣ１０）。
【０１４４】
これは、ユーザによるマニュアルでのキー操作により実行するもので、このときモニタ表示部２には、例えば
「「←」，「→」キーにより画像の角度を指定し、
決定キーで指定した角度を決定して下さい」
のような文字列のガイドメッセージを重ねて表示した上で、これらのキー入力を受付ける。
【０１４５】
しかして、このガイドメッセージに対応して上記キー入力部２８の十字キー３の「←」キーまたは「→」キーが操作される毎に、モニタ表示部２で表示している他方側の画像データを角度補正する（ステップＤ０８）。
【０１４６】
これは、例えば「←」キーが１回操作される毎に該画像データを左方向に例えば５°回転させ、反対に「→」キーが１回操作される毎に該画像データを右方向に同角度、例えば５°回転させるようになるもので、ユーザの任意キー操作に対応してその都度他方側の画像データを角度補正してモニタ表示部２で表示させる。
【０１４７】
そして、最後に十字キー３の中央に位置する決定キー４が操作された時点で補正角度を決定したものとして補正処理を完了する（ステップＤ１１）。
【０１４８】
その後、２つの画像データの合成処理を実行し（ステップＤ１２）、併せて上記角度補正処理により画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＤ１３）、反対に上記角度補正処理により画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＤ１４）。
【０１４９】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＤ１５）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【０１５０】
このように、例えばモニタ表示部２と一体的に用いられたタッチパネル２６でユーザが手指によりそれぞれの画像の水平方向を指定した上で、その方向が一致していない場合には、２つの画像データのうちのいずれを基準として他方側の画像の角度補正を行なうのかをユーザ自身が指定した上で、ユーザの任意の指定角度でその一方の画像の角度補正を行なってから画像合成を実行するものとした。
【０１５１】
そのため、より重要であると思われる画像データの内容を優先し、且つユーザの意図を反映してより自然な合成画像を得ることができる。
【０１５２】
なお、上記第１乃至第４の実施形態ではいずれも、合成を行なう２つの画像データそれぞれに対して水平方向の指定を線を描画するようにして行なうものとして説明したが、本発明はこれに限るものではなく、例えば垂直方向など、他の方向を指定するものとしてもよく、さらには線の描画ではなく、画像データ上に８方向、あるいは１６方向程度の放射状の矢印を表示した上で、そのいずれか１つ、例えば鉛直方向にあるものを選択してタッチ操作することにより、画像の上となるべき方向を指定するなどといった指定方法を採ることも考えられる。
【０１５３】
また、１回目の撮影の領域を右側２／３、２回目の撮影の領域を残りの１／３としたが、１回目の撮影の領域を１／２、２回目の撮影の領域１／２としてもよいし、１回目の撮影の領域を右側１／３、２回目の撮影の領域残りの２／３といったように領域の分割は様々な分割が考えられる。
【０１５４】
さらに、上記第２及び第４の実施形態では、ユーザのキー操作に対応した任意角度で角度補正を行なうものとして説明したが、第１及び第３の実施形態と同様に２つの画像データの水平方向が一致するように自動的に角度補正を行なった後に、微調整としてユーザのキー操作を受け付けてさらに角度補正を行なうものとしてもよい。
【０１５５】
また、上記第１の実施形態の変形例で説明したように角度センサを備えて、デジタルカメラの角度を自動的に検出し、画像の水平方向の指定に用いることは上記第２乃至第４の実施形態のいずれにおいても同様に用いることができるものとする。
【０１５６】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【０１５７】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１５８】
【発明の効果】
請求項１記載の発明によれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成することが可能となる。
【０１５９】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、各画像データに指定した方向の情報を関連付けて記憶させるため、該方向の情報の有無により水平方向の指定がなされているか否かを容易に判断できる。
【０１６０】
請求項３記載の発明によれば、上記請求項１記載の発明の効果に加えて、基準となる画像データを指定した上でそれに合せて他方の画像データの角度の補正を行なうようになるため、より重要であると思われる画像データの内容を優先して画像合成を実行させることができる。
【０１６１】
請求項４記載の発明によれば、上記請求項１記載の発明の効果に加えて、ユーザの意図を反映してより自然な合成画像を得ることができる。
【０１６２】
請求項５記載の発明によれば、上記請求項１記載の発明の効果に加えて、角度補正により生じる特に画像データの周辺部分の過不足に対処し、より自然な合成画像を得ることができる。
【０１６３】
請求項６記載の発明によれば、上記請求項１記載の発明の効果に加えて、ユーザの操作を簡略化して使い勝手を向上できると共に、使用する角度センサの検出精度に応じて各指定手段の指定精度を任意に設定できる。
【０１６４】
請求項７記載の発明によれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【０１６５】
請求項８記載紙の発明によれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るデジタルカメラの背面側外観構成を示す斜視図。
【図２】同実施形態に係るデジタルカメラの回路構成を示すブロック図。
【図３】同実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図４】同実施形態に係るカップル撮影モードでの表示画面を例示する図。
【図５】同実施形態に係るカップル撮影モードでの合成画像を例示する図。
【図６】本発明の第２の実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図７】本発明の第３の実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図８】本発明の第４の実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図９】一般的な画像合成機能の一例を示す図。
【符号の説明】
１…デジタルカメラ
２…モニタ表示部
３…十字キー
４…決定キー
５…光学ファインダ
６…シャッタキー
７…ガイドパネル
８…各種メニューキー
１１…モータ（Ｍ）
１２…レンズ光学系
１３…ＣＣＤ
１４…タイミング発生器（ＴＧ）
１５…垂直ドライバ
１６…サンプルホールド回路（Ｓ／Ｈ）
１７…Ａ／Ｄ変換器
１８…カラープロセス回路
１９…ＤＭＡコントローラ
２０…ＤＲＡＭインタフェース（Ｉ／Ｆ）
２１…ＤＲＡＭ
２２…制御部
２３…ＶＲＡＭコントローラ
２４…ＶＲＡＭ
２５…デジタルビデオエンコーダ
２６…タッチパネル
２７…タッチパネルコントローラ
２８…キー入力部
２９…ＪＰＥＧ回路
３０…メモリカード
Ａ，Ｂ，Ｃ…被写体
ＡＲ１〜ＡＲ３…矢印（水平指定方向）
ＦＬ…フレーム
【発明の属する技術分野】
本発明は、例えばデジタルスチルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【０００２】
【従来の技術】
デジタルスチルカメラによる撮影では、従来の銀塩フィルムを用いたカメラによる撮影とは異なり、撮影時あるいは撮影後に撮影により得た画像データに対するデジタル画像処理を施すことが可能である。
【０００３】
そのようなデジタル画像処理を使用した撮影方法の１つとして、次に示すような機能がある。この機能は、例えば図９（Ａ）に示すようにまずフレームＦＬの中央に固定物である被写体Ａが、同フレームＦＬの右側に人物である被写体Ｂが位置する構図で１回目の撮影を実行する。
【０００４】
次いで、図９（Ｂ）に示すようにほぼ同一の構図で、フレームＦＬの左側に被写体Ｃを写しこんで２回目の撮影を実行する。このとき、カメラの液晶表示パネルで表示されるモニタ画面中のフレームＦＬの中央と右側２／３の範囲では、上記図９（Ａ）で示した画像を半透過状態で重ねて表示するため、共通の被写体として、固定物である被写体Ａと半透過表示される被写体Ａ′とを画面上でぴったりと重ねるようにして２回目の撮影を実行することにより、同一の構図を得ることができる。
【０００５】
そして、上記図９（Ａ）で示した１回目の撮影により得た画像データと、上記図９（Ｂ）に示した２回目の撮影で得た画像データとを画像合成処理することにより、実際には被写体Ｂと被写体Ｃとを同時に撮影したことはないにも拘わらず、図９（Ｃ）に示すようにあたかも２人の被写体Ｂ，Ｃを同時に撮影したような画像データを得ることができる。
【０００６】
このような画像合成を行なうデジタル画像処理の機能を有することで、三脚が持参しておらずセルフタイマー機能を使用できない場合で、且つ第３者に撮影を頼めないような状況であっても、被写体となる人物Ｂ，Ｃが交互に撮影を実行することで、気軽に２人が写っている上記図９（Ｃ）に示すような画像データを得ることができる。
【０００７】
なお、２回目の撮影時には、１回目の撮影条件、具体的にはズームレンズのズーム位置、絞り及びシャッタ速度等の露光条件、ホワイトバランス値、ストロボ設定状態などを継承して、２回の撮影で画質に差異が生じないようにする。
【０００８】
また、上記のように画像を合成する位置は、画像の左側１／３と中央及び右側２／３とに限るものではなく、予めいくつかの画面分割パターンを用意しておき、任意にユーザに選択させるものとすればよい。
【０００９】
加えて、分割した画面のいずれ側を先に撮影するのかも併せて任意にユーザに選択させるものとすればよい。
【００１０】
また、画像合成に関しては、文字列からなる画像データを対象として、該文字列の傾きを補正した上で当該画像データを含む他の画像データに合成するようにした技術がある（例えば、特許文献１参照。）
さらに、移動体に設置される複数のカメラにより撮影した各画像データを、移動体の基準方向からの角度や動き等を検出して補正した上で合成する技術もある（例えば、特許文献２参照。）
【００１１】
【特許文献１】
特開平８−０６５４５７号公報
【００１２】
【特許文献２】
特開２００１−２４５１３１号公報
【００１３】
【発明が解決しようとする課題】
しかしながら、上記図９に示した技術にあっては、固定されていないカメラで異なる撮影者により撮影された２つの画像データを合成処理するため、カメラの角度が微妙にずれてしまう可能性があり、その場合に画像合成により得られる画像データでは、本来２人で一緒に撮影した場合と比べて不自然な画像となってしまうことになる。
【００１４】
図９（Ｄ）はそのような合成画像を例示するもので、上記図９（Ｃ）に示した合成画像が正しい状態であるものとすると、２回目の撮影時にカメラの右側が下がる方向に角度がずれた状態で撮影を行なったために、被写体Ｃを含む左側の画像が他の被写体Ａ，Ｂに対して不自然に右上がりの状態となってしまっている状態を示す。
【００１５】
この点で、上記特許文献１に記載されている技術は、文字列の画像データを対象としてその傾きを補正して合成する技術であるので、対応することができない。
【００１６】
また、上記特許文献２に記載されている技術は、例えばジャイロスコープ等でカメラの傾きの度合いを検出し、画像データの合成に活用するようになるもので、自動車や列車等の移動体を対象としたものならともかく、携帯して使用するコンパクトタイプのデジタルスチルカメラなどに適用するのは現実的ではない。
【００１７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
【００１８】
【課題を解決するための手段】
請求項１記載の発明は、被写体像を撮像し、画像データとして取込む撮像装置において、２回の撮影により取込んだ各画像データを記憶する記憶手段と、この記憶手段に記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定手段と、上記記憶手段に記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定手段と、上記第１及び第２の各方向指定手段で指定した方向を比較する方向比較手段と、この方向比較手段の比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正手段と、この画像角度補正手段により補正した画像データを他方の画像データと合成する画像合成手段とを具備したことを特徴とする。
【００１９】
このような構成とすれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成することが可能となる。
【００２０】
請求項２記載の発明は、上記請求項１記載の発明において、上記第１の方向指定手段で指定した方向の情報を第１の画像データに、上記第２の方向指定手段で指定した方向の情報を第２の画像データに、それぞれ関連付けて上記記憶手段に記憶させることを特徴とする。
【００２１】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、各画像データに指定した方向の情報を関連付けて記憶させるため、該方向の情報の有無により水平方向の指定がなされているか否かを容易に判断できる。
【００２２】
請求項３記載の発明は、上記請求項１記載の発明において、上記第１及び第２の画像データのいずれか一方を指定する画像指定手段をさらに具備し、上記画像角度補正手段は、上記画像指定手段で指定した画像データを基準として他方の画像データの角度を補正することを特徴とする。
【００２３】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、基準となる画像データを指定した上でそれに合せて他方の画像データの角度の補正を行なうようになるため、より重要であると思われる画像データの内容を優先して画像合成を実行させることができる。
【００２４】
請求項４記載の発明は、上記請求項１記載の発明において、上記画像角度補正手段は、上記第１及び第２の画像データの一方を任意の角度で補正することを特徴とする。
【００２５】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、ユーザの意図を反映してより自然な合成画像を得ることができる。
【００２６】
請求項５記載の発明は、上記請求項１記載の発明において、上記画像合成手段は、上記画像角度補正手段により補正した一方の画像データを他方の画像データと合成するのに際して、補正により生じた一方の画像データの過不足を削除及び補間処理により補償することを特徴とする。
【００２７】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、角度補正により生じる特に画像データの周辺部分の過不足に対処し、より自然な合成画像を得ることができる。
【００２８】
請求項６記載の発明は、上記請求項１記載の発明において、上記第１及び第２の各方向指定手段は角度センサであり、該角度センサで検出した角度により方向を指定することを特徴とする。
【００２９】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、ユーザの操作を簡略化して使い勝手を向上できると共に、使用する角度センサの検出精度に応じて各指定手段の指定精度を任意に設定できる。
【００３０】
請求項７記載の発明は、被写体像を撮像し、画像データとして取込む撮像装置の撮像方法において、２回の撮影により取込んだ各画像データを記憶する記憶工程と、この記憶工程で記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定工程と、上記記憶工程で記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定工程と、上記第１及び第２の各方向指定工程で指定した方向を比較する方向比較工程と、この方向比較工程での比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正工程と、この画像角度補正工程で補正した画像データを他方の画像データと合成する画像合成工程とを有したことを特徴とする。
【００３１】
このような方法とすれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【００３２】
請求項８記載紙の発明は、被写体像を撮像し、画像データとして取込む撮像装置に内蔵されたコンピュータが実行するプログラムであって、２回の撮影により取込んだ各画像データを記憶する記憶ステップと、この記憶ステップで記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定ステップと、上記記憶ステップで記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定ステップと、上記第１及び第２の各方向指定ステップで指定した方向を比較する方向比較ステップと、この方向比較ステップでの比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正ステップと、この画像角度補正ステップで補正した画像データを他方の画像データと合成する画像合成ステップとをコンピュータに実行させることを特徴とする。
【００３３】
このようなプログラム内容とすれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【００３４】
【発明の実施の形態】
（第１の実施形態）
以下本発明をデジタルスチルカメラ（以下「デジタルカメラ」と称する）に適用した場合の第１の実施形態について図面を参照して説明する。
【００３５】
図１は、主に背面側からの外観構成を示すもので、１がデジタルカメラである。このデジタルカメラ１の背面には、モニタ表示部２、十字キー３、決定キー４、及び光学ファインダ５が配設される。
【００３６】
モニタ表示部２は、バックライト付きの液晶表示パネルで構成されるもので、撮影モードではその時点で撮像している内容をモニタリングするための電子ファインダとして機能する一方で、再生モードでは記録され、選択された画像データを再生表示する。
【００３７】
また、このモニタ表示部２はタッチパネルとしても機能するもので、ユーザの手指によりタッチ操作された位置座標を取込み、モニタ表示部２で表示している内容と対応させて各種指示操作もできるものとする。
【００３８】
十字キー３は、各種項目を選択／更新するべく上下左右各方向キーが一体に設けられたもので、その中央に位置する決定キー４は、上記十字キー３で選択した内容を決定して実行する。
【００３９】
光学ファインダ５は、撮影時にモニタ表示部２を使用せずに被写体像と構図を視認する際に使用する。
【００４０】
またデジタルカメラ１の上面には、その右端にシャッタキー６が配設される他、ガイドパネル７、各種メニューキー８が配設される。
【００４１】
シャッタキー６は、撮影を行ないたいタイミングで押圧操作することによりＡＦ（自動合焦）、ＡＥ（自動露出）の各処理に続けて撮影を実行する。
【００４２】
ガイドパネル７は、例えばセグメントタイプの液晶表示パネルで構成され、その時点で選択されている各種撮影項目や電池及びメモリの各残量等を表示する。
【００４３】
各種メニューキー８は、基本モードとしての撮影モードと再生モードの切換え設定だけでなく、基本モード中の詳細なモード設定、例えば撮影モード下で後述するカップル撮影モードを設定する場合などにも使用する。
【００４４】
なお、ここでは図示しないが、当然ながらデジタルカメラ１の前面にはレンズ鏡筒やストロボ、光学ファインダ窓、セルフタイマインジケータ等が配設される。
【００４５】
次に図２により上記デジタルカメラ１に内蔵される電子回路の構成について説明する。
このデジタルカメラ１は、基本モードとして撮影モードと再生モードとを切換えて設定可能であり、撮影モードでのモニタリング状態においては、モータ（Ｍ）１１の駆動により合焦位置や絞り位置が移動されるレンズ光学系１２の撮影光軸後方に配置された固体撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。
【００４６】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド（Ｓ／Ｈ）回路１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータに変換されてカラープロセス回路１８へ出力される。
【００４７】
このカラープロセス回路１８は、Ａ／Ｄ変換器１７から送られてくる画像のデジタルデータに対する画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成してＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１９に出力する。
【００４８】
ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送出力する。
【００４９】
制御部２２は、このデジタルカメラ１全体の動作制御を司るべく、ＣＰＵと動作プログラムを記憶したＲＯＭ、ワークメモリとしてのＲＡＭ等から構成されるものであり、上記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。
【００５０】
デジタルビデオエンコーダ２５は、上記輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４より定期的に読出し、これらのデータを元にビデオ信号を発生して上記表示部２に出力する。
【００５１】
この表示部２は、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行なうことで、その時点でＣＣＤ１３での撮像によりＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像を表示することとなる。
【００５２】
なお、このモニタ表示部２上には、透明なタッチパネル２６が一体的に設けられるものであり、このタッチパネル２６でのタッチ操作を検出するタッチパネルコントローラ２７が、タッチ位置に対応した位置座標列データを上記制御部２２へ出力する。
【００５３】
表示部２にその時点での画像をモニタ画像としてリアルタイムに表示させている状態で、静止画撮影を行ないたいタイミングでキー入力部２８を構成する複数のキー中の上記シャッタキー６を操作すると、トリガ信号を発生する。
【００５４】
制御部２２は、このトリガ信号に応じてその時点でＣＣＤ１３から取込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。
【００５５】
この記録保存の状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース２０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路２９に書込み、このＪＰＥＧ回路２９でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００５６】
そして、得た符号データを１フレームのデータファイルとして該ＪＰＥＧ回路２９から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着される、不揮発性メモリであるフラッシュメモリを封入したメモリカード３０に書込む。
【００５７】
そして、１フレーム分の輝度及び色差信号の圧縮処理及びメモリカード３０への全圧縮データの書込み終了に伴なって、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。
【００５８】
また、上記キー入力部２８は、上述したシャッタキー６の他に、上記十字キー３、決定キー４、各種メニューキー８等から構成され、それらのキー操作に伴なう信号は直接制御部２２へ送出される。
【００５９】
次に上記実施形態の動作について説明する。
図３は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＡ０１）、そうでなければ他の撮影処理を実行する。
【００６０】
カップル撮影モードであることを確認した場合、まず１回目の撮影を実行する（ステップＡ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００６１】
図４（Ａ）は、この１回目の撮影により得られ、モニタ表示部２の例えば中央と右側２／３の領域に表示される画像データを例示するもので、上記図９（Ａ）と同様に、モニタ表示部２の画面中央に固定物である被写体Ａが、画面右側に人物である被写体Ｂが写し込まれている状態を示す。
【００６２】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば
「画像の水平方向を指定して下さい」
のような文字列のガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【００６３】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＡ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【００６４】
図４（Ｂ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ１を実線により画像に重ねて表示させる。
【００６５】
その後、２回目の撮影を実行する（ステップＡ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが図４（Ｃ）に示すように半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【００６６】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００６７】
この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＡ０５）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【００６８】
図４（Ｄ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ２を実線により２回目の画像に重ねて表示させる。
【００６９】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＡ０６）。
【００７０】
ここで、水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＡ０７）。
【００７１】
各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、２つの画像データの両水平方向が一致するように、２回目の撮影により得た画像データを必要な角度分だけ回転処理する角度補正処理を実行し（ステップＡ０８）、その上で２つの画像データの合成処理を実行する（ステップＡ０９）。
【００７２】
この際、併せて、該角度補正処理により画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＡ１０）、反対に該角度補正処理により画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＡ１１）。
【００７３】
図５は、上記図４（Ｄ）で示した２回目の撮影により得た画像データをその水平方向の指定に対応して角度補正した場合に生じる、部分的な過不足を例示するものである。図中、右下がりの密なハッチング部分が角度補正によりはみ出してしまう部分であり、これらの部分は上記ステップＡ１０の処理により削除される。
【００７４】
一方、図中の右上がりの粗なハッチング部分が角度補正により足りなくなった部分であり、これらの部分を上記ステップＡ１１の処理により補間する。
【００７５】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＡ１２）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【００７６】
このように、例えばモニタ表示部２と一体的に用いられたタッチパネル２６でユーザが手指により画像の水平方向を指定する、という比較的簡易な手法により、傾きの異なる２つの画像データを自然な状態で画像合成して記録することができる。
【００７７】
（第１の実施形態の変形例）
以下本発明をデジタルカメラに適用した場合の第１の実施形態の変形例について説明する。
本変形例においては、画像に対応する水平方向を、タッチパネル２６上でユーザが手指での描画操作により指定するのではなく、角度センサを用いて画像に水平方向を指定するものとする。
【００７８】
なお、外観構成に関しては上記図１に示すものと同一である。内蔵される電子回路の構成に関しては、上記図２に示した内容に、さらに角度センサを備えるものとする。
【００７９】
次に上記実施形態の変形例の動作について説明する。なお、上記図３と同じ部分については説明を省略する。
【００８０】
カップル撮影モードで１回目の撮影を行った後、ステップＡ０３で角度センサにより、デジタルカメラ１の撮影時の角度（傾き）を検出する。検出した角度（傾き）を表わす情報は水平方向として、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【００８１】
この時、図４（Ｂ）に示すようにモニタ表示部２においては、検出された角度に対応して矢印ＡＲ１を実線により画像に重ねて表示させてもよいし、重ねて表示しなくてもよい。
【００８２】
１回目の撮影を行った後、ステップＡ０５で角度センサにより、デジタルカメラ１の撮影時の角度（傾き）を検出する。検出した角度（傾き）を表わす情報は水平方向として、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【００８３】
この時も、図４（Ｄ）に示すようにモニタ表示部２においては、検出された角度に対応して矢印ＡＲ２を実線により２回目の画像に重ねて表示させてもよいし、重ねて表示しなくてもよい。
【００８４】
ステップＡ０６以降の処理は、角度センサにより検出した角度（傾き）を表わす情報は水平方向として同じように扱われるので同様の処理を行なう。
【００８５】
このようにしたことで、ユーザがタッチパネル２６上で手指での描画操作によりその都度指定しなくてよいので、操作が簡単になる。水平方向を意識せずに２回撮影すればよいので使い勝手がさらによくなる。また、使用する角度センサの検出できる角度によって、精度を上げることも下げることも任意に設定できる。
【００８６】
（第２の実施形態）
以下本発明をデジタルカメラに適用した場合の第２の実施形態について図面を参照して説明する。
【００８７】
なお、その外観構成に関しては上記図１に示すものと、内蔵される電子回路の構成に関しては図２に示すものと、それぞれ基本的には同一であるものとして、同一部分には同一符号を用い、その図示及び説明は省略する。
【００８８】
次に上記実施形態の動作について説明する。
図６は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＢ０１）、そうでなければ他の撮影処理を実行する。
【００８９】
カップル撮影モードであることを確認した場合、まず１回目の撮影を実行する（ステップＢ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００９０】
図４（Ａ）は、この１回目の撮影により得られ、モニタ表示部２の例えば中央と右側２／３の領域に表示される画像データを例示するもので、上記図９（Ａ）と同様に、モニタ表示部２の画面中央に固定物である被写体Ａが、画面右側に人物である被写体Ｂが写し込まれている状態を示す。
【００９１】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば
「画像の水平方向を指定して下さい」
のような文字列のガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【００９２】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＢ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【００９３】
図４（Ｂ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ１を実線により画像に重ねて表示させる。
【００９４】
その後、２回目の撮影を実行する（ステップＢ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【００９５】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【００９６】
この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＢ０５）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【００９７】
図４（Ｅ）に示すようにモニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ２を実線により２回目の画像に重ねて表示させる。
【００９８】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＢ０６）。
【００９９】
水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＢ０７）。
【０１００】
ここで、各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、２つの画像データの両水平方向が一致するように、２回目の撮影により得た画像データをユーザのキー操作に対応した角度分だけ回転処理する角度補正処理を実行する（ステップＢ０８）。
【０１０１】
これは、ユーザによるマニュアルキー操作により実行するもので、このときモニタ表示部２には、例えば
「「←」，「→」キーにより画像の角度を指定し、
決定キーで指定した角度を決定して下さい」
のような文字列のガイドメッセージを重ねて表示した上で、これらのキー入力を受付ける。
【０１０２】
しかして、このガイドメッセージに対応して上記キー入力部２８の十字キー３の「←」キーまたは「→」キーが操作される毎に、モニタ表示部２で表示している２回目の画像データを角度補正する（ステップＢ０８）。
【０１０３】
これは、例えば「←」キーが１回操作される毎に該画像データを左方向に例えば５°回転させ、反対に「→」キーが１回操作される毎に該画像データを右方向に同角度、例えば５°回転させるようになるもので、ユーザの任意操作に対応してその都度２回目の画像データを角度補正してモニタ表示部２で表示させる。
【０１０４】
上記図４（Ｅ）に示した、２回目の撮影で得た画像データに重ねて、水平方向を指定する矢印ＡＲ２を実線により表示させた状態から、例えば十字キー３の「→」キーを数回操作すると、その都度上記ステップＢ０８での角度補正処理が実行される。
【０１０５】
図４（Ｆ）は、こうして１回目の撮影で得た画像データと同一の水平方向に角度補正処理された、２回目の撮影で得た画像データを例示するものであり、水平方向を指定する矢印ＡＲ３が上記図４（Ｂ）で示した１回目の撮影で得た画像データの矢印ＡＲ１とほぼ同一方向となっていることがわかる。
【０１０６】
そして、最後に十字キー３の中央に位置する決定キー４が操作された時点で補正角度を決定したものとして補正処理を完了する（ステップＢ０９）。
【０１０７】
その後、２つの画像データの合成処理を実行し（ステップＢ１０）、併せて上記角度補正処理により画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＢ１１）、反対に上記角度補正処理により画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＢ１２）。
【０１０８】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＢ１３）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【０１０９】
このように、例えばモニタ表示部２と一体的に用いられたタッチパネル２６でユーザが手指によりそれぞれの画像の水平方向を指定した上で、その方向が一致していない場合には、ユーザの任意の指定角度でその一方の画像の角度補正を行なってから画像合成を実行するようになるため、ユーザの意図を反映してより自然な合成画像を得ることができる。
【０１１０】
（第３の実施形態）
以下本発明をデジタルカメラに適用した場合の第３の実施形態について図面を参照して説明する。
【０１１１】
なお、その外観構成に関しては上記図１に示すものと、内蔵される電子回路の構成に関しては図２に示すものと、それぞれ基本的には同一であるものとして、同一部分には同一符号を用い、その図示及び説明は省略する。
【０１１２】
次に上記実施形態の動作について説明する。
図７は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＣ０１）、そうでなければ他の撮影処理を実行する。
【０１１３】
カップル撮影モードであることを確認した場合、まず１回目の例えば中央及び右側の２／３の領域の撮影を実行する（ステップＣ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１１４】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば「画像の水平方向を指定して下さい」のようなガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【０１１５】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＣ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【０１１６】
その後、２回目の左側の１／３の領域の撮影を実行する（ステップＣ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【０１１７】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１１８】
この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＣ０５）。
【０１１９】
指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶され、モニタ表示部２においては、その指定方向に対応して水平方向の矢印ＡＲ２を実線により２回目の画像に重ねて表示させる。
【０１２０】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＣ０６）。
【０１２１】
ここで、水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＣ０７）。
【０１２２】
各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、次に１回目の撮影で得た画像を基準として２回目の撮影で得た画像の方向を合せるべく角度補正を行なうか否かを判断する（ステップＣ０８）。
【０１２３】
これは、例えばモニタ表示部２に２回目の撮影で得た画像を指定した水平方向の矢印と共に表示させた状態で、重ねて
「この画像の角度を補正しますか？
ＹＥＳ→決定キー／ＮＯ→シャッタキー」
のような文字列のガイドメッセージを表示し、表示したメッセージにしたがっていずれのキーが操作されたかによって判断する。
【０１２４】
当初の設定通り、１回目の撮影で得た画像を基準とし、２回目の撮影で得た画像の方向を合せるべく角度補正を行なう場合であればそのまま特に状態を変更しないが、上記メッセージに対して「ＮＯ」を指示するキー操作がなされた場合には、反対に２回目の撮影で得た画像を基準とし、１回目の撮影で得た画像の方向を合せるべく角度補正を行なうものとして設定する（ステップＣ０９）。
【０１２５】
その後、設定に従って基準となる一方の画像データの水平方向に対し、他方の画像データの水平方向が一致するように必要な角度分だけ回転処理する角度補正処理を実行し（ステップＣ１０）、その上で２つの画像データの合成処理を実行する（ステップＣ１１）。
【０１２６】
この際、併せて、該角度補正処理により他方側の画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＣ１２）、反対に該角度補正処理により他方側の画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＣ１３）。
【０１２７】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＣ１４）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【０１２８】
このように、２つの画像データのうちのいずれを基準として他方側の画像の角度補正を行なうのかをユーザ自身が指定するものとしたため、より重要であると思われる画像データの内容を優先して画像合成を実行させることができる。
【０１２９】
（第４の実施形態）
以下本発明をデジタルカメラに適用した場合の第４の実施形態について図面を参照して説明する。
【０１３０】
なお、その外観構成に関しては上記図１に示すものと、内蔵される電子回路の構成に関しては図２に示すものと、それぞれ基本的には同一であるものとして、同一部分には同一符号を用い、その図示及び説明は省略する。
【０１３１】
次に上記実施形態の動作について説明する。
図８は、撮影モード下の特にカップル撮影モードでの処理内容を示すものであり、その当初にはカップル撮影モードであることを確認し（ステップＤ０１）、そうでなければ他の撮影処理を実行する。
【０１３２】
カップル撮影モードであることを確認した場合、まず１回目の例えば中央及び右側の２／３の領域の撮影を実行する（ステップＤ０２）。この撮影により得られた画像データはＤＲＡＭ２１に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１３３】
このとき併せてモニタ表示部２において、表示されている画像の水平方向の指定を促すべく、例えば
「画像の水平方向を指定して下さい」
のような文字列のガイドメッセージを画像データに重ねて表示し、さらに画像の一部に仮の水平方向を表わす矢印等を点滅表示させるものとしてもよい。
【０１３４】
この１回目の撮影による画像データをモニタ表示部２に表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＤ０３）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で１回目の画像データに関連付けて記憶される。
【０１３５】
その後、２回目の例えば左側の１／３の領域の撮影を実行する（ステップＤ０４）。この撮影に際しては、モニタ表示部２の中央及び右側の２／３の領域において上記１回目の撮影により得た画像データが半透過状態で表示されるもので、その半透過表示された内容と実際の同一被写体の画像上の位置とを合せるようにして２回目の撮影を実行する。
【０１３６】
この２回目の撮影により得られた画像データは、ＤＲＡＭ２１の１回目の画像データとは別の領域に記憶され、このＤＲＡＭ２１に記憶された内容に基づいてモニタ表示部２で表示される。
【０１３７】
そして、この２回目の撮影により得られた画像データのみをモニタ表示部２の例えば左側１／３の領域で表示した状態で、当該画像に対応する水平方向を、タッチパネル２６上で手指での描画操作により指定する（ステップＤ０５）。指定された水平方向を表わす情報は、ＤＲＡＭ２１内で２回目の画像データに関連付けて記憶される。
【０１３８】
その後、２回の撮影により得られた画像データそれぞれに水平方向の指定がなされているか否かを、ＤＲＡＭ２１に記憶されている画像データに当該情報が関連付けて記憶されているか否かにより判断する（ステップＤ０６）。
【０１３９】
水平方向の指定がなされていると判断した場合にのみ、次にその各水平方向の指定が一致しているか否かにより、角度補正を行なう必要があるか否かを判断する（ステップＤ０７）。
【０１４０】
ここで、各水平方向の指定が一致しておらず、角度補正を行なう必要があると判断した場合にのみ、次に１回目の撮影で得た画像を基準として２回目の撮影で得た画像の方向を合せるべく角度補正を行なうか否かを判断する（ステップＤ０８）。
【０１４１】
これは、例えばモニタ表示部２に２回目の撮影で得た画像を指定した水平方向の矢印と共に表示させた状態で、重ねて
「この画像の角度を補正しますか？
ＹＥＳ→決定キー／ＮＯ→シャッタキー」
のような文字列のガイドメッセージを表示し、表示したメッセージにしたがっていずれのキーが操作されたかによって判断する。
【０１４２】
当初の設定通り、１回目の撮影で得た画像を基準とし、２回目の撮影で得た画像の方向を合せるべく角度補正を行なう場合であればそのまま特に状態を変更しないが、上記メッセージに対して「ＮＯ」を指示するキー操作がなされた場合には、反対に２回目の撮影で得た画像を基準とし、１回目の撮影で得た画像の方向を合せるべく角度補正を行なうものとして設定する（ステップＤ０９）。
【０１４３】
その後、設定に従って基準となる一方の画像データの水平方向に対し、他方の画像データの水平方向が一致するようにユーザのキー操作に対応した角度分だけ回転処理する角度補正処理を実行する（ステップＣ１０）。
【０１４４】
これは、ユーザによるマニュアルでのキー操作により実行するもので、このときモニタ表示部２には、例えば
「「←」，「→」キーにより画像の角度を指定し、
決定キーで指定した角度を決定して下さい」
のような文字列のガイドメッセージを重ねて表示した上で、これらのキー入力を受付ける。
【０１４５】
しかして、このガイドメッセージに対応して上記キー入力部２８の十字キー３の「←」キーまたは「→」キーが操作される毎に、モニタ表示部２で表示している他方側の画像データを角度補正する（ステップＤ０８）。
【０１４６】
これは、例えば「←」キーが１回操作される毎に該画像データを左方向に例えば５°回転させ、反対に「→」キーが１回操作される毎に該画像データを右方向に同角度、例えば５°回転させるようになるもので、ユーザの任意キー操作に対応してその都度他方側の画像データを角度補正してモニタ表示部２で表示させる。
【０１４７】
そして、最後に十字キー３の中央に位置する決定キー４が操作された時点で補正角度を決定したものとして補正処理を完了する（ステップＤ１１）。
【０１４８】
その後、２つの画像データの合成処理を実行し（ステップＤ１２）、併せて上記角度補正処理により画像データのフレームからはみ出した部分が生じた場合には、そのはみ出した部分を削除し（ステップＤ１３）、反対に上記角度補正処理により画像データのフレーム中で足りなくなった部分が生じた場合には、その部分を周辺の画像データを用いて補間処理する（ステップＤ１４）。
【０１４９】
こうして、必要により過不足部分の削除／補間を行なった合成画像データをＪＰＥＧ回路２９によりデータ圧縮した後にメモリカード３０に記録し（ステップＤ１５）、以上でカップル撮影モードでの一連の撮影処理を終了する。
【０１５０】
このように、例えばモニタ表示部２と一体的に用いられたタッチパネル２６でユーザが手指によりそれぞれの画像の水平方向を指定した上で、その方向が一致していない場合には、２つの画像データのうちのいずれを基準として他方側の画像の角度補正を行なうのかをユーザ自身が指定した上で、ユーザの任意の指定角度でその一方の画像の角度補正を行なってから画像合成を実行するものとした。
【０１５１】
そのため、より重要であると思われる画像データの内容を優先し、且つユーザの意図を反映してより自然な合成画像を得ることができる。
【０１５２】
なお、上記第１乃至第４の実施形態ではいずれも、合成を行なう２つの画像データそれぞれに対して水平方向の指定を線を描画するようにして行なうものとして説明したが、本発明はこれに限るものではなく、例えば垂直方向など、他の方向を指定するものとしてもよく、さらには線の描画ではなく、画像データ上に８方向、あるいは１６方向程度の放射状の矢印を表示した上で、そのいずれか１つ、例えば鉛直方向にあるものを選択してタッチ操作することにより、画像の上となるべき方向を指定するなどといった指定方法を採ることも考えられる。
【０１５３】
また、１回目の撮影の領域を右側２／３、２回目の撮影の領域を残りの１／３としたが、１回目の撮影の領域を１／２、２回目の撮影の領域１／２としてもよいし、１回目の撮影の領域を右側１／３、２回目の撮影の領域残りの２／３といったように領域の分割は様々な分割が考えられる。
【０１５４】
さらに、上記第２及び第４の実施形態では、ユーザのキー操作に対応した任意角度で角度補正を行なうものとして説明したが、第１及び第３の実施形態と同様に２つの画像データの水平方向が一致するように自動的に角度補正を行なった後に、微調整としてユーザのキー操作を受け付けてさらに角度補正を行なうものとしてもよい。
【０１５５】
また、上記第１の実施形態の変形例で説明したように角度センサを備えて、デジタルカメラの角度を自動的に検出し、画像の水平方向の指定に用いることは上記第２乃至第４の実施形態のいずれにおいても同様に用いることができるものとする。
【０１５６】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【０１５７】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１５８】
【発明の効果】
請求項１記載の発明によれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成することが可能となる。
【０１５９】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、各画像データに指定した方向の情報を関連付けて記憶させるため、該方向の情報の有無により水平方向の指定がなされているか否かを容易に判断できる。
【０１６０】
請求項３記載の発明によれば、上記請求項１記載の発明の効果に加えて、基準となる画像データを指定した上でそれに合せて他方の画像データの角度の補正を行なうようになるため、より重要であると思われる画像データの内容を優先して画像合成を実行させることができる。
【０１６１】
請求項４記載の発明によれば、上記請求項１記載の発明の効果に加えて、ユーザの意図を反映してより自然な合成画像を得ることができる。
【０１６２】
請求項５記載の発明によれば、上記請求項１記載の発明の効果に加えて、角度補正により生じる特に画像データの周辺部分の過不足に対処し、より自然な合成画像を得ることができる。
【０１６３】
請求項６記載の発明によれば、上記請求項１記載の発明の効果に加えて、ユーザの操作を簡略化して使い勝手を向上できると共に、使用する角度センサの検出精度に応じて各指定手段の指定精度を任意に設定できる。
【０１６４】
請求項７記載の発明によれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【０１６５】
請求項８記載紙の発明によれば、ユーザの方向指定という比較的簡易な手法により傾きの異なる２つの画像データを自然な状態で画像合成させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るデジタルカメラの背面側外観構成を示す斜視図。
【図２】同実施形態に係るデジタルカメラの回路構成を示すブロック図。
【図３】同実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図４】同実施形態に係るカップル撮影モードでの表示画面を例示する図。
【図５】同実施形態に係るカップル撮影モードでの合成画像を例示する図。
【図６】本発明の第２の実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図７】本発明の第３の実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図８】本発明の第４の実施形態に係るカップル撮影モードでの処理内容を示すフローチャート。
【図９】一般的な画像合成機能の一例を示す図。
【符号の説明】
１…デジタルカメラ
２…モニタ表示部
３…十字キー
４…決定キー
５…光学ファインダ
６…シャッタキー
７…ガイドパネル
８…各種メニューキー
１１…モータ（Ｍ）
１２…レンズ光学系
１３…ＣＣＤ
１４…タイミング発生器（ＴＧ）
１５…垂直ドライバ
１６…サンプルホールド回路（Ｓ／Ｈ）
１７…Ａ／Ｄ変換器
１８…カラープロセス回路
１９…ＤＭＡコントローラ
２０…ＤＲＡＭインタフェース（Ｉ／Ｆ）
２１…ＤＲＡＭ
２２…制御部
２３…ＶＲＡＭコントローラ
２４…ＶＲＡＭ
２５…デジタルビデオエンコーダ
２６…タッチパネル
２７…タッチパネルコントローラ
２８…キー入力部
２９…ＪＰＥＧ回路
３０…メモリカード
Ａ，Ｂ，Ｃ…被写体
ＡＲ１〜ＡＲ３…矢印（水平指定方向）
ＦＬ…フレーム
Claims (8)
- 被写体像を撮像し、画像データとして取込む撮像装置において、
２回の撮影により取込んだ各画像データを記憶する記憶手段と、
この記憶手段に記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定手段と、
上記記憶手段に記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定手段と、
上記第１及び第２の各方向指定手段で指定した方向を比較する方向比較手段と、
この方向比較手段の比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正手段と、
この画像角度補正手段により補正した画像データを他方の画像データと合成する画像合成手段と
を具備したことを特徴とする撮像装置。 - 上記第１の方向指定手段で指定した方向の情報を第１の画像データに、上記第２の方向指定手段で指定した方向の情報を第２の画像データに、それぞれ関連付けて上記記憶手段に記憶させる
ことを特徴とする請求項１記載の撮像装置。 - 上記第１及び第２の画像データのいずれか一方を指定する画像指定手段をさらに具備し、
上記画像角度補正手段は、上記画像指定手段で指定した画像データを基準として他方の画像データの角度を補正する
ことを特徴とする請求項１記載の撮像装置。 - 上記画像角度補正手段は、上記第１及び第２の画像データの一方を任意の角度で補正することを特徴とする請求項１記載の撮像装置。
- 上記画像合成手段は、上記画像角度補正手段により補正した一方の画像データを他方の画像データと合成するのに際して、補正により生じた一方の画像データの過不足を削除及び補間処理により補償することを特徴とする請求項１記載の撮像装置。
- 上記第１及び第２の各方向指定手段は角度センサであり、該角度センサで検出した角度により方向を指定することを特徴とする請求項１記載の撮像装置。
- 被写体像を撮像し、画像データとして取込む撮像装置の撮像方法において、
２回の撮影により取込んだ各画像データを記憶する記憶工程と、
この記憶工程で記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定工程と、
上記記憶工程で記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定工程と、
上記第１及び第２の各方向指定工程で指定した方向を比較する方向比較工程と、
この方向比較工程での比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正工程と、
この画像角度補正工程で補正した画像データを他方の画像データと合成する画像合成工程と
を有したことを特徴とする撮像方法。 - 被写体像を撮像し、画像データとして取込む撮像装置に内蔵されたコンピュータが実行するプログラムであって、
２回の撮影により取込んだ各画像データを記憶する記憶ステップと、
この記憶ステップで記憶される１回目の撮像により取込んだ第１の画像データに対応した方向を指定する第１の方向指定ステップと、
上記記憶ステップで記憶される２回目の撮像により取込んだ第２の画像データに対応した方向を指定する第２の方向指定ステップと、
上記第１及び第２の各方向指定ステップで指定した方向を比較する方向比較ステップと、
この方向比較ステップでの比較結果に応じて上記第１及び第２の画像データの一方の角度を補正する画像角度補正ステップと、
この画像角度補正ステップで補正した画像データを他方の画像データと合成する画像合成ステップと
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002318530A JP2004153691A (ja) | 2002-10-31 | 2002-10-31 | 撮像装置、撮像方法及びプログラム |
| PCT/JP2003/013575 WO2004040901A1 (en) | 2002-10-31 | 2003-10-23 | Image pickup apparatus, photographing method, and storage medium recording photographing method |
| CNB2003801000704A CN100337465C (zh) | 2002-10-31 | 2003-10-23 | 图像拾取装置和成像方法 |
| KR1020047010348A KR100703958B1 (ko) | 2002-10-31 | 2003-10-23 | 촬상장치, 촬영방법, 및 촬영방법이 기록된 저장매체 |
| EP03758837A EP1446942A1 (en) | 2002-10-31 | 2003-10-23 | Image pickup apparatus, photographing method and storage medium therefor |
| AU2003274747A AU2003274747A1 (en) | 2002-10-31 | 2003-10-23 | Image pickup apparatus, photographing method, and storage medium recording photographing method |
| US10/500,436 US7423671B2 (en) | 2002-10-31 | 2003-10-23 | Image pickup apparatus and photographing method with image angle correction for combining image data |
| TW092130166A TWI229548B (en) | 2002-10-31 | 2003-10-30 | Image pickup apparatus, photographing method, and storage medium recording photographing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002318530A JP2004153691A (ja) | 2002-10-31 | 2002-10-31 | 撮像装置、撮像方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004153691A true JP2004153691A (ja) | 2004-05-27 |
Family
ID=32211779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002318530A Abandoned JP2004153691A (ja) | 2002-10-31 | 2002-10-31 | 撮像装置、撮像方法及びプログラム |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7423671B2 (ja) |
| EP (1) | EP1446942A1 (ja) |
| JP (1) | JP2004153691A (ja) |
| KR (1) | KR100703958B1 (ja) |
| CN (1) | CN100337465C (ja) |
| AU (1) | AU2003274747A1 (ja) |
| TW (1) | TWI229548B (ja) |
| WO (1) | WO2004040901A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010210671A (ja) * | 2009-03-06 | 2010-09-24 | Hoya Corp | アオリ撮影方法及びアオリ撮影可能なカメラ |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050089923A (ko) * | 2004-03-06 | 2005-09-09 | 삼성테크윈 주식회사 | 적응적 영상 합성을 위한 디지털 촬영 장치의 제어 방법,및 이 방법을 사용한 디지털 촬영 장치 |
| US8320708B2 (en) * | 2004-04-02 | 2012-11-27 | K-Nfb Reading Technology, Inc. | Tilt adjustment for optical character recognition in portable reading machine |
| EP1613082A1 (en) * | 2004-06-30 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Face image correction |
| EP1613060A1 (en) * | 2004-07-02 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Capturing a sequence of images |
| JP4794963B2 (ja) * | 2005-06-28 | 2011-10-19 | キヤノン株式会社 | 撮像装置および撮像プログラム |
| JP4258539B2 (ja) * | 2006-08-31 | 2009-04-30 | 株式会社日立製作所 | 複数画角カメラ |
| JP4974724B2 (ja) * | 2007-03-19 | 2012-07-11 | キヤノン株式会社 | 画像供給装置、印刷装置及びそれらの制御方法並びに印刷システム |
| FR2917188B1 (fr) * | 2007-06-06 | 2009-09-11 | Marin Coustol Philippe | Procede et dispositif de production d'une image composite ou d'une sequence d'images composites induisant une perception accentuee du relief d'au moins un sujet. |
| JP2009194457A (ja) * | 2008-02-12 | 2009-08-27 | Nikon Corp | カメラ |
| JP5002497B2 (ja) * | 2008-03-11 | 2012-08-15 | 株式会社Ｐｆｕ | 画像処理装置、画像処理方法および画像処理プログラム |
| KR101510106B1 (ko) * | 2008-10-21 | 2015-04-08 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
| CN102035987A (zh) * | 2009-10-08 | 2011-04-27 | 鸿富锦精密工业（深圳）有限公司 | 照片合成方法和系统 |
| JP5593772B2 (ja) * | 2010-03-29 | 2014-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| GB201310359D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
| CN104346157A (zh) * | 2013-08-06 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 一种图片处理方法及装置、终端设备 |
| JP6120989B2 (ja) * | 2013-12-09 | 2017-04-26 | 株式会社Pfu | オーバーヘッド型画像読取装置、画像処理方法、および、プログラム |
| KR102138521B1 (ko) * | 2013-12-12 | 2020-07-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06105214A (ja) * | 1992-09-24 | 1994-04-15 | Ricoh Co Ltd | ジャイロセンサ付カメラ及びビデオプリンタ装置 |
| JPH0865457A (ja) * | 1994-08-24 | 1996-03-08 | Hitachi Ltd | 画像入力装置 |
| JPH09322055A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 電子カメラシステム |
| JPH11136575A (ja) * | 1997-08-20 | 1999-05-21 | Ricoh Co Ltd | 撮像装置及び撮像画像合成方法 |
| WO1999051027A1 (en) * | 1998-03-31 | 1999-10-07 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| JP2000224462A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
| JP2000312329A (ja) * | 1999-02-26 | 2000-11-07 | Canon Inc | 画像処理装置、画像処理システム、画像処理制御方法、及び記憶媒体 |
| JP2001169151A (ja) * | 1999-12-09 | 2001-06-22 | Ricoh Co Ltd | 電子カメラ |
| JP2001245131A (ja) * | 2000-02-29 | 2001-09-07 | Matsushita Electric Ind Co Ltd | 画像補正方法および画像補正装置 |
| JP2002042125A (ja) * | 2000-07-26 | 2002-02-08 | Minolta Co Ltd | 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体 |
| JP2002057879A (ja) * | 2000-08-10 | 2002-02-22 | Ricoh Co Ltd | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0456414A3 (en) | 1990-05-11 | 1992-05-20 | Matsushita Electric Industrial Co., Ltd | Slant correction for a video camera apparatus |
| JP3021556B2 (ja) * | 1990-06-20 | 2000-03-15 | ソニー株式会社 | 映像情報処理装置とその方法 |
| US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
| US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
| US5982951A (en) | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
| US6583811B2 (en) * | 1996-10-25 | 2003-06-24 | Fuji Photo Film Co., Ltd. | Photographic system for recording data and reproducing images using correlation data between frames |
| JPH114376A (ja) * | 1997-06-13 | 1999-01-06 | Olympus Optical Co Ltd | 電子的撮像装置 |
| JP3773011B2 (ja) * | 1997-06-20 | 2006-05-10 | シャープ株式会社 | 画像合成処理方法 |
| JP3548437B2 (ja) | 1997-10-09 | 2004-07-28 | 富士写真フイルム株式会社 | 画像処理装置 |
| US6373590B1 (en) * | 1999-02-04 | 2002-04-16 | Seiko Epson Corporation | Method and apparatus for slant adjustment and photo layout |
| JP3980234B2 (ja) * | 2000-01-07 | 2007-09-26 | ペンタックス株式会社 | デジタルカメラ |
| US6978051B2 (en) * | 2000-03-06 | 2005-12-20 | Sony Corporation | System and method for capturing adjacent images by utilizing a panorama mode |
| US7221395B2 (en) * | 2000-03-14 | 2007-05-22 | Fuji Photo Film Co., Ltd. | Digital camera and method for compositing images |
| GB0116113D0 (en) * | 2001-06-30 | 2001-08-22 | Hewlett Packard Co | Tilt correction of electronic images |
-
2002
- 2002-10-31 JP JP2002318530A patent/JP2004153691A/ja not_active Abandoned
-
2003
- 2003-10-23 KR KR1020047010348A patent/KR100703958B1/ko not_active IP Right Cessation
- 2003-10-23 AU AU2003274747A patent/AU2003274747A1/en not_active Abandoned
- 2003-10-23 US US10/500,436 patent/US7423671B2/en active Active
- 2003-10-23 WO PCT/JP2003/013575 patent/WO2004040901A1/en active Application Filing
- 2003-10-23 CN CNB2003801000704A patent/CN100337465C/zh not_active Expired - Fee Related
- 2003-10-23 EP EP03758837A patent/EP1446942A1/en not_active Ceased
- 2003-10-30 TW TW092130166A patent/TWI229548B/zh not_active IP Right Cessation
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06105214A (ja) * | 1992-09-24 | 1994-04-15 | Ricoh Co Ltd | ジャイロセンサ付カメラ及びビデオプリンタ装置 |
| JPH0865457A (ja) * | 1994-08-24 | 1996-03-08 | Hitachi Ltd | 画像入力装置 |
| JPH09322055A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 電子カメラシステム |
| JPH11136575A (ja) * | 1997-08-20 | 1999-05-21 | Ricoh Co Ltd | 撮像装置及び撮像画像合成方法 |
| WO1999051027A1 (en) * | 1998-03-31 | 1999-10-07 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| JP2000224462A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
| JP2000312329A (ja) * | 1999-02-26 | 2000-11-07 | Canon Inc | 画像処理装置、画像処理システム、画像処理制御方法、及び記憶媒体 |
| JP2001169151A (ja) * | 1999-12-09 | 2001-06-22 | Ricoh Co Ltd | 電子カメラ |
| JP2001245131A (ja) * | 2000-02-29 | 2001-09-07 | Matsushita Electric Ind Co Ltd | 画像補正方法および画像補正装置 |
| JP2002042125A (ja) * | 2000-07-26 | 2002-02-08 | Minolta Co Ltd | 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体 |
| JP2002057879A (ja) * | 2000-08-10 | 2002-02-22 | Ricoh Co Ltd | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010210671A (ja) * | 2009-03-06 | 2010-09-24 | Hoya Corp | アオリ撮影方法及びアオリ撮影可能なカメラ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1446942A1 (en) | 2004-08-18 |
| WO2004040901A1 (en) | 2004-05-13 |
| TW200412790A (en) | 2004-07-16 |
| KR20040071274A (ko) | 2004-08-11 |
| CN1685704A (zh) | 2005-10-19 |
| US7423671B2 (en) | 2008-09-09 |
| TWI229548B (en) | 2005-03-11 |
| CN100337465C (zh) | 2007-09-12 |
| KR100703958B1 (ko) | 2007-04-05 |
| AU2003274747A1 (en) | 2004-05-25 |
| US20050078202A1 (en) | 2005-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4900401B2 (ja) | 撮影装置およびプログラム | |
| JP4035543B2 (ja) | 撮像装置 | |
| JP2004153691A (ja) | 撮像装置、撮像方法及びプログラム | |
| KR20010100929A (ko) | 촬상장치 | |
| JP2008244831A (ja) | 印刷データ生成装置及びプログラム | |
| KR20120002834A (ko) | 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법 | |
| KR20050109190A (ko) | 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법 | |
| JP4748442B2 (ja) | 撮像装置及びそのプログラム | |
| JP5282530B2 (ja) | デジタルカメラ | |
| JP2009089220A (ja) | 撮像装置 | |
| JP2006033724A (ja) | 情報処理装置及び情報処理方法 | |
| JP4842919B2 (ja) | 表示装置、撮影装置、および表示方法 | |
| JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| JP2010141609A (ja) | 撮像装置 | |
| JP2005184485A (ja) | 撮像装置、撮像装置の動作制御方法及びプログラム | |
| KR100627049B1 (ko) | 디지털 카메라에서 촬영 영상에 객체를 합성하는 장치 및방법 | |
| JP4678273B2 (ja) | 撮像装置、動画記憶方法および動画記憶プログラム | |
| JP4828486B2 (ja) | デジタルカメラ、撮影方法及び撮影プログラム | |
| JP2004013461A (ja) | 画像処理装置及びデジタル撮像装置 | |
| JP2007228233A (ja) | 撮影装置 | |
| JP2006246014A (ja) | デジタルカメラ及びデジタルカメラの画像処理方法 | |
| JP2003338977A (ja) | 撮像装置及び画像合成方法 | |
| KR101946574B1 (ko) | 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체 | |
| JP7101285B2 (ja) | 表示装置 | |
| JP5613145B2 (ja) | 撮影装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20051206 |