JP2015207964A - 撮像装置、撮像制御方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 撮像画像の内の除去対象範囲内のみをライブビューとすることにより、除去対象範囲内の撮像画像を容易に確認でき、ユーザが除去したい除去対象範囲の撮影のための再撮影を容易にすることである。
【解決手段】
被写体を撮影する撮像部により撮影した第１の撮影画像データを取得し、取得した第１の撮影画像データの除去対象領域を受け付ける。受け付けた除去対象領域のライブ画像を表示する表示し、ユーザの指示により、除去対象領域の第２の撮影画像データを取得する。その後、取得した第２の撮影画像データを前記第１の撮影画像データ上の前記除去対象領域に対して画像合成することを特徴とする。
【選択図】図１

Description

本発明は、撮像装置に撮像される画像を合成するユーザインタフェースの技術に関する。

撮像装置を使用して観光地などの写真撮影を行う場合、撮影対象としたいもの以外のもの（たとえば、通りすがりの人など）が写り込んでしまうことがある。特に、自分自身も含めて撮影したい場合などに使用するタイマ撮影を用いると、シャッターボタンを押した際には人がいなくても、タイマ時間が経過後に撮像するタイミング（シャッタが切られるタイミング）で、人が入ってくることがある。

図８を参照して、上記の状況を説明する。図８は、ユーザが被写体を撮影しようとした際の撮像装置１００の画像表示部２８に表示されている画面イメージである。

図８の８００は、たとえばユーザが８００のような構図で、８０６に写っている人だけを撮影したい場合のイメージ図であるが、撮影場所が人通りの多い場所で撮影した場合、シャッターボタン６１を押下した瞬間には８０１のような撮像画像が得られ、８０２のような第三者の人物が入って撮像されることがある。タイマ撮影の場合はさらにこの問題が発生する確率が高くなる。

また、ＮＤフィルターなどを用いた場合も、動かない物＝風景や建物のみを残した画像になるため、人間などの被写体を同時に写したい場合、人間がぶれる、透けるなどの問題が生じる。

特許文献１のシステムでは、移動体、静止体に関わらず撮影者の指定する対象物を除去した画像を撮影現場で簡単に生成することができる撮像装置が開示されている。

特開２０１１−２３８１４号公報

しかしながら、特許文献１の撮像装置では、１回目で撮影した撮像画像のうち、ユーザが除去したい除去対象範囲を指定した後、同じ領域をもう１度撮影（２回目の撮影を）するが、２回目で撮影した範囲のユーザが指定した除去対象範囲に再び障害物が入り込むことを防ぐことが容易ではない。たとえば人通りの多い場所の場合、シャッタを押したときに指定された除去対象範囲内に人が入っていないことの確認が難しい。

図８を参照して、本発明の課題を説明する。図８の８０１は、一度撮影されたレックレビュー画面の例であり、除去対象の８０２の人物を排除するため、ユーザにより除去対象範囲８０７が指定されて、もう一度撮影を行う例である。ユーザは、８０１で指定された領域８０７に再び人が入らないように撮影する必要があるが、撮影範囲が広いため、たとえば８０８の例のように左端に人物８０９が写り込むことを防ぐことが難しい場合がある。

本発明の目的は、撮像画像の内の除去対象範囲内のみをライブビューとすることにより、除去対象範囲内の撮像画像を容易に確認でき、ユーザが除去したい除去対象範囲の撮影のための再撮影を容易にすることである。

上記課題を解決するために、本発明は、被写体を撮影する撮像手段と、前記撮像手段により撮影した第１の撮影画像データを取得する撮影画像データ取得手段と、前記撮影画像データ取得手段で取得した第１の撮影画像データの除去対象領域を受け付ける領域受付手段と、前記領域受付手段で受け付ける除去対象領域のライブ画像を表示する表示手段と、前記撮像手段により撮影した、前記除去対象領域の第２の撮影画像データを取得する除去対象領域撮影画像データ取得手段と、前記除去対象領域撮影画像データ取得手段で取得した第２の撮影画像データを前記第１の撮影画像データ上の前記除去対象領域に対して画像合成する画像合成手段と、を有することを特徴とする。

本発明によれば、撮像画像の内の除去対象範囲内のみをライブビューとすることにより、除去対象範囲内の撮像画像を容易に確認でき、ユーザが除去したい除去対象範囲の撮影のための再撮影を容易にするという効果を有する。

本実施形態における画像再生装置の一例としての撮像装置１００の外観図である。 本実施形態における撮像装置１００の構成例を示すブロック図である。 本実施形態における撮像装置１００の全体的な動作を示すフローチャートである。 本実施形態における撮像装置１００の撮影モード処理を示すフローチャートである。 本実施形態の撮像装置１００の表示部５４に表示される画像保存選択画面のイメージ図である。 本実施形態の撮像装置１００における、撮影時の画像表示部２８に表示される画面をレイヤ毎に表示したイメージ図である。 本実施形態の撮像装置１００における、合成撮影時の画像表示部２８に表示される画面をレイヤ毎に表示したイメージ図である。 本実施形態の撮像装置１００における、ユーザが被写体を撮影しようとした際の撮像装置１００の画像表示部２８に表示されている画面イメージである。 本実施形態の撮像装置１００において、再撮影を行う際にユーザが実施する操作と、その結果撮像装置１００で実行される処理を説明するためのイメージの一例である。 本実施形態の撮像装置１００における、撮影画像の合成結果を説明するためのイメージ図である。 本実施形態の撮像装置１００における、撮影画像の合成結果を説明するためのイメージ図である。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。
［撮像装置の構成について］

図１に本発明の撮像装置１００の一例としての外観図を示す。画像表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モードダイアル６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルと撮像装置１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、撮像装置１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。

図２は撮像装置１００の構成例を示すブロック図である。

図２において、１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子である。１６はＡ／Ｄ変換器であり、撮像素子１４のアナログ信号出力をデジタル信号に変換する。１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータあるいはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行う。システム制御回路５０は、画像処理回路２０において得られた演算結果に基づいて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２７はＤ／Ａ変換器２６の出力を外部モニタに出力する外部出力コネクタである。外部出力コネクタ２７にコネクタが挿されている場合は、システム制御回路５０は外部出力接続検知部１０８により外部出力状態を知ることができる。

２８は画像表示部であり、例えばＴＦＴタイプのＬＣＤで構成される。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

さらに、画像表示部２８は、回転可能なヒンジ部によって撮像装置１００本体と結合されており、自由な向き、角度を設定して電子ファインダ機能や再生表示機能、各種表示機能を使用することが可能である。また、画像表示部２８の表示部分を撮像装置１００に向けて格納することが可能である。この場合、システム制御回路５０は、画像表示部開閉検知部１０６により画像表示部２８の表示部分の格納状態を検知して、画像表示部２８の表示動作を停止することができる。

３０は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。メモリ３０は、記録媒体２００や２１０の書き込みバッファとしても使われる。３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４６はバリア制御部であり、撮影レンズ１０を含む撮像部を保護するレンズバリア１０２の動作を制御する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０はシステム制御回路であり、撮像装置１００全体を制御する。システム制御回路５０は、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各実施例の処理を実現する。５２は、システム制御回路５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開するメモリである。

５４は表示部であり、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置やスピーカ等で構成される。表示部５４は撮像装置１００の操作部近辺の視認し易い位置に単数あるいは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、絞り値表示、露出補正表示、フラッシュ表示、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、記録媒体２００及び２１０の着脱状態表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御回路５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述の各種フローチャートを実行するためのプログラムのことである。５８はタイマであり、記録媒体２００や２１０のデータ記録速度や、取得するデータのデータレートを測定するために使われる。

６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作機構であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。以下、これらの操作機構の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード（パノラマ撮影モード、動画撮影モード含む）、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。６２はシャッタースイッチ（ＳＷ１）であり、シャッターボタン６１の操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。６４はシャッタースイッチ（ＳＷ２）で、シャッターボタン６１の操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作開始を指示する。同時に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始も指示される。また動画撮影の場合は動画撮影の開始・停止が指示される。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。

操作部７０は各種ボタンやタッチパネル等からなる。具体的に例示すると、以下の通りとなる。メニューボタン。セットボタン。マクロボタン。マルチ画面再生改ページボタン。フラッシュ設定ボタン。単写／連写／セルフタイマー切り替えボタン。メニュー移動＋（プラス）ボタン。メニュー移動−（マイナス）ボタン。再生画像移動＋（プラス）ボタン。再生画像移動−（マイナス）ボタン。撮影画質選択ボタン。露出補正ボタン。日付／時間設定ボタン。各種機能の選択及び切り替えを設定する選択／切り替えボタン。各種機能の決定及び実行を設定する決定ボタン。画像表示部２８のＯＮ／ＯＦＦを設定する表示ボタン。撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチ。撮影時においてはズームと広角の調節、再生時においては画像表示の拡大／縮小の調節や１画面表示／マルチ画面表示の切り替えを行うズーム操作部。ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＣＣＤＲＡＷモードを選択するための圧縮モードスイッチ。撮影範囲を合成するための合成範囲指定のためのタッチパネルなど。

電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいて、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインターフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８は記録媒体着脱検知部であり、コネクタ９２及び或いはコネクタ９６に記録媒体２００或いは２１０が装着されているか否かを検知する。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェース９０及び９４、そしてコネクタ９２及び９６に各種通信カードを接続することにより、他機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するレンズバリアである。１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。１０６は画像表示部開閉検知部であり、画像表示部２８が表示部分を撮像装置１００に向けて格納した格納状態にあるかどうかを検知することができる。ここで、格納状態にあると検知したならば画像表示部２８の表示動作を停止して不要な電力消費を禁止することが可能である。

１０８は外部出力コネクタ接続検知部であり、外部出力コネクタ２７に外部モニタが接続されているかどうかを検知することができる。ここで、接続状態にあると検知したならば画像表示部２８の代わりに外部モニタを表示装置として用いることが可能である。１０９は、ＲＴＣ（ＲｅａｌＴｉｍｅ Ｃｌｏｃｋ）であり、電源制御部８０とは別に内部に電源部を保持し、電源部８６が電源供給していない状態であっても、時計動作状態を続けている。システム制御回路５０は、起動時にＲＴＣ１０９より取得した日時を用いてタイマ制御する。

１１０は通信部であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いはアンテナ（無線通信の場合）である。

１１４はマイクであり、音声データ取得部として機能する。１１６はＡ／Ｄ変換器であり、マイク１１４で得られた音声データをシステム制御回路５０で取得するためにＡ／Ｄ変換する。１１８はスピーカであり、音声データ再生部として機能する。１２０はＤ／Ａ変換器であり、システム制御回路５０から出力されるデジタル音声データをスピーカ１１８で再生するためにＤ／Ａ変換する。

２００，２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２００，２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２，２１２、撮像装置１００とのインターフェース２０４，２１４、撮像装置１００と接続を行うコネクタ２０６，２１６を備えている。また、この記録媒体２００，２１０がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦ等の場合は、性能が記されている情報記憶回路を内蔵していることもある。
［撮像装置の全体動作について]

次に、本発明に係る処理の流れを図３を参照して説明する。

図３は、本実施形態の撮像装置１００の全体的な動作を説明するフローチャートである。このフローチャートにおける各処理は、システム制御部５０が不揮発性メモリ５６等に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

まず、電源スイッチ７２が操作され電源がオンに切り替わると、図３のフローチャートが開始される。

ステップＳ３０１において、撮像装置１００のシステム制御部５０は撮像装置のモード入力を受け付ける。モード入力受付は、モードダイアル６０で設定位置毎にモードを受け付ける。

モードダイアル６０が撮影モードに設定されているならば、処理はステップＳ３０２を経てステップＳ３０３へ進み、撮影モード処理を実行する。ステップＳ３０３の詳細は図４で後述する。また、モードダイアル６０が再生モードに設定されていた場合、処理はステップＳ３０６を経てステップＳ３０７へ進み、再生モード処理を実行する。また、その他のモードに設定されていた場合、処理はＳ３０８へ進み、システム制御回路５０は選択されたモードに応じた処理を実行する。その他のモードとしては例えば記録媒体２００に格納されたファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体２００に格納する受信モード処理などが含まれる。

ステップＳ３０３、Ｓ３０７、Ｓ３０８のうちのモードダイアル６０によって設定されたモードに対応した処理を実行した後、処理はステップＳ３０４へ進む。ステップＳ３０４において、システム制御回路５０は電源部８６の設定位置を判断する。電源部８６が電源オンに設定されていれば、ステップＳ３０２に処理を戻す。一方、電源部８６が電源オフに設定されていたならば、処理はステップＳ２０５からステップＳ２０６へ進み、システム制御回路５０は終了処理を行う。終了処理では、例えば画像表示部２８の表示を終了状態に変更し、レンズバリア１０２を閉じて撮像部を保護し、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源供給が不要な部分への電源を遮断する。ステップＳ２０６の終了処理が完了すると、本処理を終了し、電源をＯＦＦ状態へ移行する。
［撮像装置の撮影処理について］

次に、本発明に係るステップＳ３０３の撮影処理の流れを図４を参照して説明する。

図４は、本実施形態の撮像装置１００の撮影モード処理を説明するフローチャートである。このフローチャートにおける各処理は、システム制御部５０が不揮発性メモリ５６等に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

図４のフローチャートは、図３のステップＳ３０３の処理に移行すると開始される。

まず、ステップＳ４０１において、撮像装置１００のシステム制御部５０は、ユーザからファイルの保存方法の設定を受け付ける。この処理により、撮像装置１００で撮影した際の合成した画像のみを保存するのか、撮影した画像、すなわち合成前の画像も保存するのか、を選択することができる。ファイルの保存方法の設定を受け付ける処理を説明するために、図５を参照して説明する。

図５は、本実施形態の撮像装置１００の表示部５４に表示される画像保存選択画面のイメージ図である。

図５の５００にある画像保存選択画面のイメージ図により、ユーザは現在のモードダイアル６０として撮像モードが選ばれていることが５０１のラジオボタンにより分かる。「撮影画像合成モード使用」チェックボックス５０２がチェックされていれば、本願発明の撮影画像合成処理を実施する処理を行う。以後は、「撮影画像合成モード使用」チェックボックス５０２がチェックされているとして説明を行う。「合成前の画像も保存」チェックボックス５０３がチェックされると、合成前の画像も記憶媒体２００に保存する設定となる。「合成前の画像も保存」チェックボックス５０３がチェックされる処理により、後日ユーザがたとえば情報処理装置などで複数の画像を合成する場合に利用できる画像を保存することができる。なお、情報処理装置における複数画像の合成については、本発明の本質ではないので説明は省略する。また、ステップＳ４０１の処理は、予めモードダイアル６０などで設定されていれば、その設定を読み込んで設定されても良い。図４のフローチャートの説明に戻る。

次に、図４のステップＳ４０２において、ユーザにより撮影の構図が決定される。撮影の構図を設定する例として、図８を参照して説明する。

図８の８００は、ユーザが撮影する構図として選択した撮影範囲であり、撮像装置１００の画像表示部２８に表示されるイメージ図である。８００ではユーザは、被写体となる人物８０６と背景画像だけを撮影したい場合を考える。ステップＳ４０２では、たとえばこのような構図が決められ、次のステップＳ４０３でシャッターが切られる。

次に、ステップＳ４０３において、システム制御部５０は、ユーザによるシャッターボタン６１（ＳＷ１，ＳＷ２）の押下を受け付ける。シャッタースイッチＳＷ１（６２）すなわちシャッターボタン６１の操作途中でＯＮになるスイッチにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を行う。また、シャッタースイッチＳＷ２（６４）すなわちシャッターボタン６１の操作完了でＯＮとなるスイッチにより、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作を実行する。

次に、ステップＳ４０４において、システム制御部５０は、ステップＳ４０３での撮影した画像が、合成する２回目以降の撮影画像かどうかを判定する。２回目以降の撮影かどうかを判断する方法は、後述するステップＳ４１１の処理を通過した後かどうかにより判断する。なお、ステップＳ４１１やＳ４１２を通過する際にフラグを付与して、２回目以降の撮影かどうかを判断しても良い。

２回目以降の撮影である場合は、画像合成のためにステップＳ４０５へと処理を移行し、最初の撮影である場合はステップＳ４０６へと処理を移行する。実行する順番に説明するため、ステップＳ４０６以降の処理から説明する。

ステップＳ４０６において、システム制御部５０は、予め設定されているレックレビュー機能（撮影画像を保存する前に表示させる機能）を行うか否かの判断を行う。レックレビュー機能を行わない設定になっている場合は、ステップＳ４１０へと処理を進め、ステップＳ４１０において、システム制御部５０は、メモリ３０から画像データを読み出し、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理により、圧縮・伸長回路３２で圧縮を行い、記憶媒体２００あるいは２１０に画像データを書き込む記録処理を実行する。

一方、レックレビュー機能を行う設定になっている場合は、ステップＳ４０７へと処理を進め、ユーザへの撮像画像の確認画面表示を実行する。

ステップＳ４０７において、システム制御部５０は、ステップＳ４０３で撮像した画像もしくは、後述するステップＳ４０５で合成した画像をメモリ３０から読み出し、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理により、画像表示メモリ２４に書き込み、画像表示部２８に表示する。画像表示部２８に表示した例を図８を参照して説明する。

図８の８０１は、ユーザがシャッターボタンを押下し撮像画像が撮影され、画像表示部２８に表示されている例である。８０１で撮影された撮像画像の例では、８０２の通りがかりの人物を除去対象物とする。図４のフローチャートの説明に戻る。

次に、ステップＳ４０８において、システム制御部５０は、レックレビューしている画像を保存するか、画像の合成を行い除去対象領域の画像を合成するか、レックレビューしている画像を保存しないで消去するかの、ユーザの入力を受け付ける画面を表示し、ユーザからそれらの選択入力を受け付ける。図８を参照して、ユーザへの表示画面のイメージを説明する。

図８の８０１に表示されている８０３〜８０５のボタンが、ユーザからの前記選択の入力を受け付けるボタンを表示したイメージである。「保存」ボタン８０３は、たとえば８０１で表示されている画像イメージのままで保存する処理を実行するための選択ボタンである。また、「合成」ボタン８０４は、たとえば８０１で表示されている画像イメージから除去対象物（たとえば、人物８０２）がある場合に、除去対象物の周辺画像（たとえば、８０７で指定される領域）を指定し、除去対象物がなくなった際にもう一度撮影した画像と合成するための選択ボタンである。また、「消去」ボタン８０５は、たとえば８０１で表示されている画像イメージを消去して撮り直すもしくは撮影を止めるための処理を実行するための選択ボタンである。図４のフローチャートの説明に戻る。

図４のステップＳ４０８において選択されるボタンにより、システム制御部５０は、次のステップＳ４０９での処理を判断する。たとえば、図８の「保存」ボタン８０３もしくは「消去」ボタン８０５が押下された場合は、ステップＳ４１０へと処理を移行する。「保存」ボタン８０３が押下された場合は、撮影もしくは合成された画像データをメモリ３０から読み込み、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に書き込んで撮影処理を終える。また、「消去」ボタン８０５が押下された場合もステップＳ４１０へと処理を移行し、メモリ３０から撮影もしくは合成された画像データを消去して撮影処理を終える。

一方、ステップＳ４０９において、たとえば、図８の「合成」ボタン８０４が押下された場合は、ステップＳ４１１へと処理を移行する。ステップＳ４１１において、システム制御部５０は、ユーザからの再撮影を行う範囲の指定を受け付ける処理を行う。ユーザからの再撮影範囲を受け付ける処理を図９を参照して説明する。

図９は、本発明の撮像装置１００において、再撮影を行う際にユーザが実施する操作と、その結果撮像装置１００で実行される処理を説明するためのイメージの一例である。

図９の９００は、９０８の被写体（人物）と背景のみを撮影したいシーンで、９０３の人物が通りかかった撮影をしてしまった場合の画像表示部２８の例である。

９００において、ユーザ（撮影者）が通りかかった人物９０３のみを除去したい場合、たとえば、ユーザは９０３の周りの９０７周辺を操作部７０のタッチパネルから指９０９で指定する。具体的には、白線部分９０７のように除去対象物を含む輪郭部分を指９０９でたどりながら画像上の多角形領域を指定する。この除去対象領域の指定方法は、タッチパネルを指でたどる方法でも良いし、予め指定されている分割領域を指定しても良い。また、十字キーとカーソルによって除去対象領域を指定しても良く、除去対象部分をエッジ抽出などでオブジェクト（人や物）として認識する場合は、ユーザにより指定されたオブジェクトを除去対象物と指定しても良い。図４のフローチャートの説明に戻る。

ステップＳ４１１において、９００の９０７のように除去対象領域（再撮影を行う範囲）がユーザから指定されると、次にステップＳ４１２へと処理を移行する。ステップＳ４１２において、システム制御部５０は、除去対象領域（再撮影を行う範囲）のみをライブ画像にし、除去対象領域以外（再撮影を行わない領域）にはステップＳ４０７で撮影された画像を表示する。すなわち、除去対象領域以外（再撮影を行わない領域）は撮影した静止画画像、もしくはグレーアウトもしくは白とびした画像として表示され、除去対象領域（再撮影を行う範囲）はレンズの向こう側の動画を表示しているイメージである。図６と図７を参照して、撮像装置１００の画像表示部２８及び表示部５４の表示イメージを説明する。

図６は、本発明の撮像装置１００における、撮影時の画像表示部２８に表示される画面をレイヤ毎に表示したイメージ図である。

図６の情報表示レイヤ６００には、撮像装置１００の動作状態やメッセージ等を表示する表示部５４の情報が表示され、記号や文字の部分以外は透明なレイヤである。ライブ画面レイヤ６０１には、撮像している画像情報である画像表示部２８の画像が表示されているイメージである。情報表示レイヤ６００とライブ画面レイヤ６０１の画像をＢａｃｋｇｒｏｕｎｄレイヤ上に重ねて表示することにより、ユーザは撮像装置の動作状態と撮像画像とを同時に確認しながら撮影することができる。

また、図７は、本発明の撮像装置１００における、合成撮影時の画像表示部２８に表示される画面をレイヤ毎に表示したイメージ図である。

図７の情報表示レイヤ７００には、図６の情報表示レイヤ６００と同じように撮像装置１００の動作状態やメッセージ等を表示する表示部５４の情報を表示する。図７の例は除去対象領域以外に静止画を表示する場合の例であり、次の撮影済み画像レイヤ７０１には、ステップＳ４０７で撮影した画像を表示するが、ユーザにより除去対象領域と指定された領域７１０は、情報表示レイヤ６００と同じように透明にする。この除去対象領域を透明化することにより、次のライブ画面レイヤ７０２で除去対象領域である７１０の部分のみを透過させ７１１のような部分だけをユーザに表示させることができる。また、撮影済み画像レイヤ７０１と、ライブ画面レイヤ７０２との間には、除去対象領域以外を不透過にした除去位置表示レイヤ７０３を挿入し、ライブ画面レイヤの除去対象領域以外は画像表示部２８に表示しないように制御する。なお、撮影済み画像レイヤ７０１を表示せず、情報表示レイヤ７００とライブ画面レイヤ７０２及び不透明もしくは半透明の除去位置表示レイヤ７０３のみを表示して除去対象領域のみを表示もしくは強調するようにし、除去対象領域以外の部分は不可視可、もしくはグレーアウトするようにしても良い。逆に除去対象領域以外の部分を白とびした画像にするため、除去位置表示レイヤ７０３を白い半透明の画面として表示し、撮影済み画像レイヤ７０１を表示させないようにして、除去対象領域（再撮影を行う範囲）を際立たせて表示させても良い。具体的な表示例を図９を参照して説明する。

図９の９０４や９０６の半円の多角形の白実線で描かれた領域が除去対象領域（再撮影を行う領域）である。９０１では、９０４以外の部分（主に９０５の部分）は静止画を表示しており、９０４の除去対象領域（再撮影を行う領域）のみライブビューで表示している例である。ユーザは９０５の部分は静止画なので、ライブビューで表示されている９０４に通りがかる人がいないことを確認して、シャッターを切ることができる。また、９０２では、９０６以外の部分をグレーアウトして表示しており、除去対象領域（再撮影を行う領域）のみ通常の明度で表示している例である。ユーザは、９０６の中のみを確認して撮影することができるので、９１０に撮影したくない人が通っても、構わずシャッターを切って撮影を行えます。どちらの場合も後のステップＳ４０５の処理で、除去対象領域（再撮影を行う領域）を合成でき、除去対象領域以外は気にせずに撮影することが可能という効果がある。図４のフローチャートの説明に戻る。

図４のステップＳ４１２の処理が終了すると、次にシステム制御部５０は、ステップＳ４０３へと処理を移行し、ステップＳ４０３において、再びシャッターの押下を受け付ける。シャッターの押下を受け付けると、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作を実行する。

次に、ステップＳ４０４において、システム制御部５０は、合成する２回目以降の撮影画像かどうかを判断する。ステップＳ４１２の処理を通過した場合は合成する２回目以降の撮像画像であるので、ステップＳ４０５へと処理を移行する。

ステップＳ４０５において、システム制御部５０は１回目で撮影した画像データから除去対象領域を除いた画像（静止画表示している場合は静止画画像）と２回目以降に撮影した除去対象領域（再撮影を行う領域）の画像とをマージする処理を行う。具体的には、２回目以降に撮影した除去対象領域（再撮影を行う領域）の画像（とマージの際の画像一致のためにその周辺の画像）を取得して、１回目で撮影した画像データの除去対象領域にマージする処理を行う。画像のマージについては、三脚などを使って固定して撮影している場合はそのまま除去対象領域の画像を２回目の画像に当て嵌めることができる。また、手持ちでの撮影も考慮して、ステップＳ４０５での合成の際、２つの画像の除去対象領域の周辺部分でのパターンマッチングや特徴点による対応関係によって２回目の撮影画像の除去対象領域に対応する領域を求めて合成しても良い。合成した結果を図１０を参照して説明する。

図１０は、本発明の撮像装置１００における、撮影画像の合成結果を説明するためのイメージ図である。

図１０の９００は１回目の撮影により得られた画像イメージであり、９０２は２回目の撮影によって得られた画像イメージである。それぞれの画像における白破線が除去対象領域として指定された領域であり、１回目の撮像画像９００の白破線領域以外（主に１００１）の画像と、２回目の撮影で得られる画像９０２の内、除去対象領域（１００２）の画像とをマージして、１００４のような合成画像を生成することができる。図４のフローチャートの説明に戻る。

次に、ステップＳ４０６において、システム制御部５０は、レックレビュー機能を行うか否かの判断を行う。通常は撮影画像を合成したらレックレビュー機能を行う設定になっているので、ステップＳ４０７へと処理を進め、ユーザへの撮像画像の確認画面表示を実行する。

ステップＳ４０７において、システム制御部５０は、ステップＳ４０５で合成した画像を画像表示部２８に表示する。具体的な表示例としては、前述した図１０の１００４などである。

次に、ステップＳ４０８において、システム制御部５０は、レックレビューしている画像を保存するか、画像の合成を行い除去対象領域の画像を合成するか、レックレビューしている画像を保存しないで消去するかの、ユーザの入力を受け付ける画面を表示し、ユーザからそれらの選択入力を受け付ける。ユーザからの図１０の８０３〜８０５のボタンの選択により、以後の処理を分ける。

次のステップＳ４０９において、システム制御部５０は、ステップＳ４０８で受け付けたボタンにより処理を分ける。図１０の「保存」ボタン８０３もしくは「消去」ボタン８０５が押下された場合は、ステップＳ４１０へと処理を移行する。「保存」ボタン８０３が押下された場合は、撮影もしくは合成された画像データをメモリ３０から読み込み、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に書き込んで撮影処理を終える。また、「消去」ボタン８０５が押下された場合もステップＳ４１０へと処理を移行し、メモリ３０から撮影もしくは合成された画像データを消去して撮影処理を終える。

一方、ステップＳ４０９において、たとえば、図８の「合成」ボタン８０４が押下された場合は、ステップＳ４１１へと処理を移行し、以後の処理を繰り返す。

以上の処理により、合成する画像の除去対象領域をユーザから受け付け、除去対象部分のみのライブビューを確認して再撮影を行うことができるため、ユーザが除去したい除去対象範囲の撮影のための再撮影を容易にすることができる。

また、本発明の別の効果として、同時に撮影できない人や物を同時に撮影できる効果を説明する。

図１１は、本発明の撮像装置１００における、撮影画像の合成結果を説明するためのイメージ図である。

図１１の１１０１は、１回目に撮影した撮影画像の例であり、そこで、撮影画像の左側（白破線）を除去対象領域と指定する。次に、合成する２回目の撮影画像１１０２の除去対象領域に、もう一人の撮影したい人などを配置して撮影を行う。すると、それらを合成した合成画像は、それぞれ１回目の除去対象領域以外の画像１１０３と２回目の除去対象領域の画像１１０４を合成して、１１０５のような合成画像が生成される。この処理により、同時に撮影できない対象物を一つの画面に収めて撮影できるという効果がある。

以上の処理により、撮像画像の内の除去対象範囲内のみをライブビューとすることにより、除去対象範囲内の撮像画像を容易に確認でき、ユーザが除去したい除去対象範囲の撮影のための再撮影を容易にするという効果を有する。

以上、撮像装置により本発明を説明したが、本発明の適用はこれに限られるものではなく、携帯電話や携帯端末等の、撮影が可能な装置に適用が可能である。

また、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するためのコンピュータ読み取り可能な記憶媒体、或いは、記録媒体としては以下に示すものが考えられる。例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等である。また、光／光磁気記録媒体不揮発性の半導体メモリでもよい。

有線／無線通信を用いたプログラムの供給方法としては、次のような方法が考えられる。すなわち、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくはプログラムデータファイルを記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードするような方法である。

ここで、プログラムデータファイルとしては、圧縮され、本発明を形成するコンピュータプログラムと自動インストール機能を含むファイル等も含まれる。

この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、上述の実施形態の機能を実現するプログラムを暗号化し記録媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、ネットワークを介してダウンロードさせることによって供給するような方法も考えられる。その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて本発明を実現することも可能である。

コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現される。また、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される場合にも本発明に含まれる。また、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

１００ 撮像装置
２８ 画像表示部
６１ シャッターボタン
６０ モードダイアル
７０ 操作部
２００ 記録媒体

Claims (9)

1. 被写体を撮影する撮像手段と、
   前記撮像手段により撮影した第１の撮影画像データを取得する撮影画像データ取得手段と、
   前記撮影画像データ取得手段で取得した第１の撮影画像データの除去対象領域を受け付ける領域受付手段と、
   前記領域受付手段で受け付ける除去対象領域のライブ画像を表示する表示手段と、
   前記撮像手段により撮影した、前記除去対象領域の第２の撮影画像データを取得する除去対象領域撮影画像データ取得手段と、
   前記除去対象領域撮影画像データ取得手段で取得した第２の撮影画像データを前記第１の撮影画像データ上の前記除去対象領域に対して画像合成する画像合成手段と、
   を有することを特徴とする撮像装置。
2. 前記表示手段は、前記除去対象領域のライブ画像を表示すると共に、前記第１の撮影画像データの除去対象領域以外の領域を表示することを特徴とする請求項１に記載の撮像装置。
3. 前記表示手段は、前記撮像手段で撮影する被写体のうち、前記除去対象領域以外の領域を不可視可して表示することを特徴とする請求項１に記載の撮像装置。
4. 前記表示手段は、前記撮像手段で撮影する被写体のうち、前記除去対象領域以外の領域を不鮮明に表示することを特徴とする請求項１に記載の撮像装置。
5. 前記表示手段は、前記撮像手段で撮影する被写体のうち、前記除去対象領域以外の領域をグレーアウトさせて表示することを特徴とする請求項４に記載の撮像装置。
6. 前記表示手段は、前記撮像手段で撮影する被写体のうち、前記除去対象領域以外の領域を白とび表示させることを特徴とする請求項４に記載の撮像装置。
7. 撮影手段が、被写体を撮影する撮像工程と、
   撮影画像データ取得手段が、前記撮像工程により撮影した第１の撮影画像データを取得する撮影画像データ取得工程と、
   領域受付手段が、前記撮影画像データ取得工程で取得した第１の撮影画像データの除去対象領域を受け付ける領域受付工程と、
   表示手段が、前記領域受付工程で受け付ける除去対象領域のライブ画像を表示する表示工程と、
   除去対象領域撮影画像データ取得手段が、前記撮像工程により撮影した、前記除去対象領域の第２の撮影画像データを取得する除去対象領域撮影画像データ取得工程と、
   画像合成手段が、前記除去対象領域撮影画像データ取得工程で取得した第２の撮影画像データを前記第１の撮影画像データ上の前記除去対象領域に対して画像合成する画像合成工程と、
   を有することを特徴とする撮像制御方法。
8. 請求項７に記載された撮像制御方法を撮像装置に実行させるためのプログラム。
9. 請求項７に記載された撮像制御方法を撮像装置に実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images