JP2010141825A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】撮像した画像に撮影対象以外のものが写っている場合に、撮りなおしたい領域を正確に抽出し、合成を行うことができる撮像装置、画像表示装置及び画像表示方法を提供する。
【解決手段】被写体を撮像する撮像部と、撮像された画像を画面に表示する画像表示部と、画面へのタッチを検出して入力信号を生成するタッチパネルと、画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、画像のうち入力信号に基いて選択された領域を選択領域に設定する領域設定手段と、画像のうち選択領域以外の非選択領域を記録可能な記録手段と、再撮像によって得られる画像のうち選択領域の位置に相当する部分画像を、記録されている非選択領域の画像と合成する画像合成手段とを備える。
【選択図】図４

Description

本発明は、撮像装置及び画像処理方法に関する。

デジタルカメラ等の撮像装置は、撮像時に被写体側からの光を固体撮像素子等のイメージセンサによって取り込んで電気信号に変換し、画像処理を施してディスプレイ等の画像表示装置に表示する。

撮像装置を用いて撮像するときに、ユーザが撮影対象の人を背景と一緒に撮影したときに、撮影の画角内に他の人や物等の移動体が進入してしまうことがある。従来、下記特許文献１などに示すように、同一画角で連続撮影を行い、画像処理によって画像に写った移動体を含む画像部分を消去し、他の画像を合成処理する方法が提案されている。

特許文献１は、１シャッター操作で連続撮影を行い、連続撮影で得た各画像を比較し、一致しない画像部分を移動体が写っている部分として除き、一致した画像部分のみを合成するものである。

特許文献２は、撮像された画像データからパノラマ画像を生成する際に、画像処理を行って動体を消去して画像を合成する技術に関するものである。

特許文献３は、フレーム間差分を求めて画像領域の移動体に相当する領域（動領域）を抽出する技術に関する。

特許文献４は、特定の背景を用いて物体を撮影し、撮影した画像の中から物体を切り出す技術に関する。

特開２０００−１３６８１号公報 特開２００４−８８６７８号公報 特開平０５−３３４４５１号公報 特開２０００−１５２２７８号公報

上記特許文献１では、連続した画像間で移動体の位置の変化に基いて移動体を検出していることから、例えば移動体が画角に収まる範囲内で静止したような場合には該移動体を検出できないため、移動体を含む部分画像を除去して合成することができなくなる点で改善の余地があった。
また、連続撮影による複数の画像を全てメモリに記録しておく必要があり、画像の記録に必要となるメモリ容量が大きくなってしまうことが避けられなかった。

特許文献２，３は、特許文献１と同様に、移動体が静止した場合には、検出することができない。

特許文献４は、所定の背景色の背景の前に撮影対象となる物体を置く必要があり、背景にかかわらず撮像を行なった際に撮像した画像の移動体を除去するものではない。

本発明は、上記事情に鑑みてなされたもので、その目的は、撮像した画像に撮影対象以外のものが写っている場合に、撮りなおしたい領域を正確に抽出し、合成を行うことができる撮像装置及び画像処理方法を提供することにある。

本発明は、被写体を撮像する撮像部と、
撮像された画像を画面に表示する画像表示部と、
ユーザの操作を検出して入力信号を生成するタッチパネルと、
前記画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、前記画像のうち前記入力信号に基いて選択された領域を選択領域に設定する領域設定手段と、
前記画像のうち前記選択領域以外の非選択領域を記録可能な記録手段と、
前記再撮像によって得られる画像のうち前記選択領域の位置に相当する部分画像を、記録されている前記非選択領域の画像と合成する画像合成手段とを備える撮像装置である。

また、本発明は、被写体を撮像するステップと、
撮像された画像を画面に表示するステップと、
ユーザの操作を検出して入力信号を生成するステップと、
前記画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、前記入力信号に基いて前記画像のうち選択された領域を選択領域に設定するステップと、
前記画像のうち前記選択領域以外の非選択領域を記録可能なステップと、
前記再撮像によって得られる画像のうち前記選択領域の位置に相当する部分画像と記録されている前記非選択領域の画像とを合成し、合成した画像を表示するステップとを備える画像処理方法である。

本発明によれば、撮像した画像に撮影対象以外のものが写っている場合に、撮りなおしたい領域を正確に抽出し、合成を行うことができる撮像装置、画像表示装置及び画像表示方法を提供できる。

以下、本発明の実施形態を図面に基いて詳しく説明する。
図１は、撮像装置の構成の一例を示すブロック図である。以下の説明では、撮像装置の一例であるデジタルカメラを用いて説明する。図２は、撮像装置の正面側の外観を示す図である。図３は、撮像装置の背面側の外観を示す図である。

撮像装置１０は、被写体を撮像する撮像部として機能するＣＣＤ型の固体撮像素子１２を備えている。撮像装置１０は、固体撮像素子１２の光軸方向前方に撮像レンズ１３と、絞り（アイリス）１４とを備えている。

撮像装置１０は、固体撮像素子１２の出力信号（画像信号）をアナログ信号処理するＣＤＳＡＭＰ（相関二重サンプリング（ＣＤＳ）、利得制御増幅器（ＡＭＰ））１６と、ＣＤＳＡＭＰ１６の出力信号をデジタル信号に変換するアナログデジタル（Ａ／Ｄ）変換器１８とを備えている。

撮像装置１０は、更に、Ａ／Ｄ変換器１８でデジタル化された画像信号を取り込む画像入力コントローラ２２と、撮像装置１０の全体を統括制御する制御手段（ＣＰＵ）２０と、画像信号を画像処理して画像を生成する画像信号処理回路２４と、固体撮像素子１２から出力されるスルー画像（シャッタボタンが押されていない状態で固体撮像素子１２から出力される画像信号に基いて生成された画像）を解析して焦点位置を自動検出するＡＦ検出回路４２と、スルー画像から露出量，ホワイトバランスを検出するＡＥ＆ＡＷＢ検出回路４４と、画像処理用のメモリとして使用するＳＤＲＡＭ４６及びＶＲＡＭ４８と、画像処理後の画像をＪＰＥＧ画像やＭＰＥＧ画像に圧縮する圧縮処理回路２６と、撮像装置の筐体表面に設けられ、画像を画面に表示する画像表示部５４と、画像表示部５４に合成画像やスルー画像を表示するビデオエンコーダ２８と、記録メディア５６に画像を記録するメディアコントローラ５２と、またこれらを相互接続するバスとを備える。

また、撮像装置１０は、固体撮像素子１２からの画像信号に基いて生成された画像を予めメモリに記録されている画像と合成して１つの画像を生成する画像合成回路２５を備えている。画像の合成については後述する。

撮像装置１０は、更に、固体撮像素子１２の駆動タイミングパルス（電子シャッタパルス、読み出しパルス、転送パルス等）を供給するタイミングジェネレータ３２と、撮影レンズ１３のフォーカスレンズ位置を駆動するモータに駆動パルスを供給するレンズ駆動モータドライバ３３と、絞り１４の絞り位置制御を行なう駆動モータに駆動パルスを供給する絞り駆動モータドライバ３４とを備えている。タイミングジェネレータ３２、レンズ駆動モータドライバ３３、絞り駆動モータドライバ３４は、ＣＰＵ２０からの指令に基いて動作する。

撮像装置１０は、更に、シャッタボタンの入力によって撮像を行なう撮像モードと、シャッタボタンの入力によって撮像した画像や合成画像を再生し、画像表示装置５４に表示する再生モードとを切り換えるスイッチ３６を備えている。スイッチ３６を操作することによって操作信号がＣＰＵ２０に入力される。

図２に示すように、撮像装置１０の正面側に撮影レンズ１３を含む光学ユニットが設けられている。図３に示すように、正面側に対して反対側に位置する背面側にユーザが撮像装置１０を把持した状態で視認することができるように画像表示部５４の画面が設けられている。

画像表示部５４は、画面へのタッチを検出して入力信号を生成するタッチパネルを備えた構成である。タッチパネルは、入力信号生成手段として機能する。画面へのタッチは指やタッチペン等の入力部材によって行なわれる。なお、入力信号を生成するものはタッチパネルに限定されず、図示しない操作部によるユーザの操作を検出して入力信号を生成するものであれば他の入力信号生成手段を用いることができる。

タッチパネルの構成は、例えばアナログ抵抗膜方式とすることができる。アナログ抵抗膜方式では、画面表面側に設けられたＰＥＴなどの透明フィルムとガラス基板とが隙間を隔てて平行に配置され、透明フィルムとガラス基板との対向する面のそれぞれに透明導電膜（例えばＩＴＯ）が形成されている。ユーザが指で画面をタッチした際に、指で押圧された部分の透明フィルム側及びガラス基板側の透明導電膜同士が接触することで電気が通電し、この電気を情報として出力することでタッチを認識することができる。なお、タッチパネルの構成は特に限定されない。

撮像装置１０は、画像のうち一部の領域のみを再撮像によって合成するための画像合成モードを有している。この画像合成モードでは、撮像された画像を画面に表示させた状態で、タッチパネルによって画面へのタッチによる入力を検出し、画像領域のうちタッチされた一部の領域を判別することができる。ユーザは、画面に表示される画像を視覚的に確認しながら、画面に表示されている画像のうち再撮像によって撮りなおしたい領域を、画面へのタッチによる入力で指示することができる。または、タッチパネルの代わりに、ユーザが図示しない操作部を操作することで画面に表示された画像のうち所定の領域を選択してもよい。

図４は、撮像装置のシステムブロック図である。
画像合成回路２５は、領域設定部６２と、画像合成部６４と、記録部６６とを含む。

領域設定部６２は、画像合成モード時に、画像表示部５４のタッチパネルから画面へのタッチによる入力信号を取得する。入力信号には、画面に表示された画像のうちタッチされた領域を示す位置情報が含まれている。領域設定部６２は、画像のうち入力信号に基いて選択された領域を選択領域に設定する。このとき、画像のうちタッチされた領域を選択領域に設定してもよく、タッチされた領域以外の領域を選択領域に設定してもよい。以下の説明では、タッチされた領域を選択領域に設定する。

記録部６６は、領域設定部６２によって設定された選択領域以外の非選択領域を記録する。記録部６６としては、図１に示すメモリとして機能するＳＤＲＡＭ４やＶＲＡＭ４８を用いてもよい。

画像合成部６４は、再撮像によって得られる画像のうち選択領域の位置に相当する部分画像を、記録部６６に記録されている非選択領域の画像と合成する。

図５は、撮像装置を用いて画像合成モードの手順を示すフローチャートである。図６から図８は、タッチパネルの画面の表示の一例を示す図である。なお、以下の説明では、図１から図４に示した撮像装置の構成を適宜参照するものとし、既に説明した部材やその機能の説明については簡略又は省略するものとする。

最初に、撮像装置１０は、撮像部で静止画を撮像する（ステップＳ１１）。そして、固体撮像素子１２の画像信号に基く画像を画像表示部５４の画面に表示する（ステップＳ１２）。

ここでは、図６（ａ）に示すように、画面に表示された画像中央の人物を撮影対象とし、該人物以外の他の人物が画像中に写ってしまっているため、他の人物を再撮像によって除去する例を説明している。図６中、画面に表示された画像には、該画像を格子状に区画する線を表示しているが、これらの線は実際には画面に表示されなくてもよい。以下の手順では、格子状に囲われた各領域を、タッチによる選択を検出するための最小の単位領域としている。

次に、ユーザの操作によって撮像装置１０が画像合成モードに設定される。画像合成モードでは、画面に撮像した画像が表示され、ユーザのタッチによる入力に基いて画像のうちの一部の領域の再撮像が指示されているか否かを検出する（ステップＳ１３）。図６（ｂ）に示すように、タッチパネルは、タッチされた領域を検出して入力信号を生成する。なお、画像合成モードの設定は、ステップＳ１１に示す静止画撮像の前に行なわれていてもよい。

画像のうちの一部の領域の再撮像が指示された場合には、タッチパネルのタッチによる入力信号に基いて、画像のうち選択された領域を検出する（ステップＳ１４）。

ステップＳ１４で選択された領域以外に、更に再撮像が指示されている領域があるか否かを検出し（ステップＳ１６）、再撮像の指示があるときには、再びステップＳ１４に進み、タッチパネルのタッチによる入力信号に基いて、画像のうち選択された領域を検出する。

ステップＳ１３で画像のうちの一部の領域の再撮像が指示されていない場合には、表示した画像を記録部６６に記録し（ステップＳ１５）、画像合成モードを終了する。なお、引き続き新たに静止画撮像を行う場合には、画像合成モードを維持した状態で、ステップＳ１１の静止画撮像を行なう手順に進んでもよい。

ステップＳ１６で選択された領域を全て検出すると、ステップＳ１７へ進む。ステップＳ１７では、選択領域以外の領域を非選択領域として、この非選択領域のみを記録部６６に記録する。図６（ｃ）は、非選択領域のみの画像を示しているが、この画像は画像表示部５４に表示されなくてもよい。言い換えると、表示された画像のうちユーザがタッチにより選択した領域以外の領域のみを記録する。

非選択領域を記録した後、撮像装置１０が撮像部で再撮像を行なう（ステップＳ１８）。再撮像は、先の撮像と同じ画角で行なわれる。再撮像によって得られた画像が画像表示部５４に表示される。

再撮像を行う際には、画面に、撮像部から出力される画像信号に基く画像をスルー画として表示させつつ、再撮像の前に撮像された画像の被写体の輪郭線を表示することが好ましい。こうすれば、ユーザは、スルー画と再撮像の前に撮像された画像とを同時に画面で視認することができ、両画像を比較しながら再撮像を行なうことができる。また、先の画像をスルー画と重ね合わせた状態で透かして見えるように表示してもよく、先の画像を画面の隅に表示してもよい。このように、スルー画を表示し、且つ、再撮像の前に撮像された画像の一部を表示すれば、再撮像の画角の調整が容易になる。再撮像の際の画角の調整は、撮像装置が行ってもよい。

図７（ａ）に示すように、再撮像した画像と、記録されている画像とを合成する（ステップＳ１９）。再撮像によって得られる画像のうち選択領域の位置に相当する部分画像を抽出し、この部分画像を、記録されている画像の非選択領域の画像と合成する。合成によって、図７（ｂ）に示すような画像を得ることができる。合成によって得られた画像が画像表示部５４に表示される。

例えば、図７（ｂ）に示す画像のように、合成された画像に撮影対象の人物以外の他の人物が写っていることが考えられる。そこで、合成後に、ステップＳ１３に戻り、合成によって得られた画像を表示させ、ユーザからの再撮像の指示の有無を検出する。

合成によって得られた画像に対して再撮像の指示がある場合には、ステップＳ１４に進み、タッチパネルによって画像のタッチを検出して入力信号を生成し、タッチパネルからの入力信号に基いて画像のうち選択された領域を選択領域に設定する。図７（ｃ）に示す画像では、空白の領域が設定された選択領域であり、他の領域が非選択領域である。非選択領域は、上記ステップＳ１７と同様に記録部６６に記録される。そして、図８（ａ）に示すように、記録された非選択領域の画像を、再撮像によって取得された画像のうち選択領域の位置に相当する部分画像と合成する。図８（ｂ）は、合成によって得られた画像を示している。このように、合成された画像から撮影対象以外の他の人物を除去するまでステップＳ１３からステップＳ１９の手順を繰り返すことで、所望の画像を得ることができる。上記手順によれば、撮影対象以外の他の人物だけでなく、撮影対象以外の他の物体を除去することができる。

撮像装置１０によれば、撮像時に、撮影対象として意図していない移動体が画角に収まる範囲内で静止したような場合でも、ユーザによる画面のタッチを検出することで、画像のうち該移動体が写っている領域を検出できる。そして、移動体を含む画像を除去して、再撮像による画像の一部と合成することで、移動体を除去した画像を生成することができる。
また、画像のうち選択領域以外の非選択領域のみを記録しておくことで、従来のように連続撮影による複数の画像を全て記録しておく必要がなく、画像の記録に必要となるメモリ容量の増大を回避できる。

上記の撮像装置の構成は、デジタルビデオカメラやカメラ付き携帯電話に適用することができる。

上述したように、本明細書は下記事項を開示するものである。
（１）被写体を撮像する撮像部と、
撮像された画像を画面に表示する画像表示部と、
ユーザの操作を検出して入力信号を生成する入力信号検出手段と、
前記画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、前記画像のうち前記入力信号に基いて選択された領域を選択領域に設定する領域設定手段と、
前記画像のうち前記選択領域以外の非選択領域を記録可能な記録手段と、
前記再撮像によって得られる画像のうち前記選択領域の位置に相当する部分画像を、記録されている前記非選択領域の画像と合成する画像合成手段とを備える撮像装置。
（２）上記（１）に記載の撮像装置であって、
前記再撮像を行う際に、前記画面に、前記撮像部から出力される画像信号に基く画像をスルー画として表示し、かつ、前記再撮像の前に撮像された画像の一部を表示する撮像装置。
（３）被写体を撮像するステップと、
撮像された画像を画面に表示するステップと、
ユーザの操作を検出して入力信号を生成するステップと、
前記画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、前記画像のうち前記入力信号に基いて選択された領域を選択領域に設定するステップと、
前記画像のうち前記選択領域以外の非選択領域を記録するように制御するステップと、
前記再撮像によって得られる画像のうち前記選択領域の位置に相当する部分画像と記録されている前記非選択領域の画像とを合成し、合成した画像を表示するステップとを備える画像処理方法。
（４）上記（３）に記載の画像処理方法であって、
前記再撮像を行う際に、前記画面に、前記撮像部から出力される画像信号に基く画像をスルー画として表示し、かつ、前記再撮像の前に撮像された画像の一部を表示するステップとを有する画像処理方法。

撮像装置の構成の一例を示すブロック図である。 撮像装置の正面側の外観を示す図である。 撮像装置の背面側の外観を示す図である。 撮像装置のシステムブロック図である。 撮像装置を用いて画像合成モードの手順を示すフローチャートである。 タッチパネルの画面の表示の一例を示す図である。 タッチパネルの画面の表示の一例を示す図である。 タッチパネルの画面の表示の一例を示す図である。

符号の説明

１０ 撮像装置
１２ 撮像素子
５４ 画像表示部

Claims (4)

1. 被写体を撮像する撮像部と、
   撮像された画像を画面に表示する画像表示部と、
   ユーザの操作を検出して入力信号を生成する入力信号検出手段と、
   前記画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、前記画像のうち前記入力信号に基いて選択された領域を選択領域に設定する領域設定手段と、
   前記画像のうち前記選択領域以外の非選択領域を記録可能な記録手段と、
   前記再撮像によって得られる画像のうち前記選択領域の位置に相当する部分画像を、記録されている前記非選択領域の画像と合成する画像合成手段とを備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記再撮像を行う際に、前記画面に、前記撮像部から出力される画像信号に基く画像をスルー画として表示し、かつ、前記再撮像の前に撮像された画像の一部を表示する撮像装置。
3. 被写体を撮像するステップと、
   撮像された画像を画面に表示するステップと、
   ユーザの操作を検出して入力信号を生成するステップと、
   前記画像のうち一部の領域のみを再撮像によって合成する画像合成モードに設定された状態で、前記画像のうち前記入力信号に基いて選択された領域を選択領域に設定するステップと、
   前記画像のうち前記選択領域以外の非選択領域を記録するように制御するステップと、
   前記再撮像によって得られる画像のうち前記選択領域の位置に相当する部分画像と記録されている前記非選択領域の画像とを合成し、合成した画像を表示するステップとを備える画像処理方法。
4. 請求項３に記載の画像処理方法であって、
   前記再撮像を行う際に、前記画面に、前記撮像部から出力される画像信号に基く画像をスルー画として表示し、かつ、前記再撮像の前に撮像された画像の一部を表示するステップとを有する画像処理方法。

Images