JP2007305050A - カメラ、合成画像撮影方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】本発明によれば、邪魔な障害物が入らない画像を撮影できるカメラ、その合成画像撮影方法、プログラム及び記録媒体を提供することができる。
【解決手段】電車の中から遠くの風景（山M３）を撮影する場合に、手前にある障害物D1（例えば電柱）などが山M３を遮るようにに写ってしまうことがしばしばある（図（A)）。そこで、連写撮影を行う。連写画像についてピントや明るさの情報から障害物D1の写った画像を検出して、山M３が画面中央にある画像をI３とし、画像I３の前のタイミングの画像であって障害物D1の写っていない画像I２３と、画像I３の後のタイミングの画像であって障害物D1の写っていない画像Ｉ３４を合成して、障害物D1がない画像I３を得る。
【選択図】図３

Description

この発明は、デジタルカメラの改良に関し、より詳しくは、画像合成機能を備えるカメラに関する。

撮影時に、セルフタイマー撮影などで典型的に現れる状況で、カメラと被写体の間に邪魔な侵入物があって、せっかくのシャッターチャンスを逃してしまったり、良好な画像が得られないという課題がある。この対策の１つとして、セルフタイマ動作時には繰り返し測距を行い、距離の変化から侵入物の存在を検出する技術が提案されている。（特許文献１）
また、別な対策としては、デジタルカメラの分野では、画像の検出処理を用いて、侵入物のない画像を得るような技術も提案されている。例えば特許文献２には、撮影に先立ち複数枚の部分画像から移動物体の存在の有無を検出し、移動物体の写っていない部分画像を合成して、画像を得る方法が開示されている。

一方、最近のデジタルカメラでは、メモリ容量の増加や動画圧縮技術の進歩さらには撮像素子の高速化によって、静止画撮影だけでなく動画撮影や高速連写にも対応ができるようになってきている。高画素、たとえば５００万画素以上の撮像素子では、従来読み出しスピードが数十ミリ秒かかっていたが、最近はフルの画素を６０ｆｐｓといった高フレームレートで読出しのできるものも、提案されている。

上記特許文献２のような複数画像を利用する技術では、複数画像の撮影時間差が問題であったが、上記のような高速の連写の技術を付加すれば、タイムラグを心配することなく、邪魔な物体は写さずに肝心の被写体のみを撮影することも可能になる。
特開平６−６７２６０号公報 特開２００１−１８９８８９号公報

上記特許文献１に開示された技術は、邪魔な物体が画面に入らないようなタイミングで撮影を行う方法である。また特許文献２に開示された技術も、邪魔な物体が写っていない画像を合成するという方法である。いづれも、邪魔な物体が入っている状態では撮影を行わないようにする方法である。

ところが、海外旅行などでは、ツアーの移動に拘束されて単に車窓の風景を楽しむだけという状況が多い。こうした場合、車の場合は対向車や標識に、電車の場合は電柱などが邪魔をして、きれいな風景をとることができないことが多い。このような場面で、従来の技術を利用すると、邪魔物は写らないようになるが、自分の写したい撮影タイミングやアングルからずれてしまうことになる。

つまり、従来の技術では、邪魔ものが写らないタイミングまで撮影を待たなければならないので、自分の写したい撮影タイミングやアングルからずれてしまうことになる。つまり、上記の技術だけでは、邪魔物を削除した有効な画像を得ることができない。そこで、邪魔な障害物が画角内に入った状態でも、この障害物が画面に入らないような画像が簡単に得られるカメラが望まれる。

この発明では、上記課題に鑑み、邪魔な障害物が入らない画像を撮影できるカメラ、その合成画像撮影方法、プログラム、及び記録媒体を提供することを目的とする。

上記目的を達成するために、第１の発明によるカメラは、撮影した画像の画面内に被写体を遮る侵入物が写っていないかを判定する判定部と、上記撮影画像に隣接した位置で撮影した複数の画像から、上記侵入物を削除した画像を作成する画像合成部とを備えるものである。

また、第２の発明によるカメラは、連写撮影を制御する撮影制御部と、撮影画像の画面内に被写体を遮る障害物が写っていないかを判定する判定部と、連写撮影された画像の画面内に被写体を遮る障害物が写っていると判定されたときは、上記撮影画像の前後に連写された画像であって、上記障害物の写っていない前後の画像から、障害物の写っている画像と同等な被写体アングルでかつ障害物の写っていない画像を合成する画像合成部とを備えるものである。

また、第３の発明による合成画像撮影方法は、連写撮影して得られた画像を合成する合成画像撮影方法において、撮影画像の画面内に被写体を遮る障害物が写っていないかを判定し、連写撮影された画像の画面内に被写体を遮る障害物が写っていると判定されたときは、上記撮影画像の前後に連写撮影された画像であって、上記障害物の写っていない前後の画像から、障害物の写っている画像と同等な被写体アングルでかつ障害物の写っていない画像を合成するものである。

本発明によれば、邪魔な障害物が入らない画像を撮影できるカメラ、その合成画像撮影方法、プログラム、及び記録媒体を提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。本発明は、デジタルカメラの改良に関するものであり、複数枚の画像から一枚の美しく迫力のある大きな広い範囲を撮影した画像を得るための技術である。具体的には、電柱等の邪魔なものの存在を気にすることなく、雄大な風景のパノラマなどを車窓から撮影したりに利用できるカメラである。

（第１実施形態）
図１から図５を用いて、第１実施形態を説明する。図１は、本発明が適用されるカメラ１の全体ブロック図である。カメラ１にはレンズ部２、撮像素子３、Ａ／Ｄ変換部４、画像処理部５、画像記録部６、メモリ８及び表示部７が設けられる。レンズ部２は、入射した被写体２０の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの信号をデジタルの画像信号に変換する。

画像処理部５は、画像データに各種処理を施す。画像処理部５は、圧縮部や伸張部等が設けられ、画像データに対して色補正、平滑化処理、コントラスト強調処理や信号圧縮、伸張などの各種処理を行う。また、画像処理部５には、コントラスト値を検出する回路が内蔵されている。画像記録部６は、画像処理された画像信号を記録媒体に記録する。メモリ８は、画像処理時等にワークエリアとして用いられるバッファーメモリである。表示部７は、例えばＬＣＤから構成され、撮影時にモニタ画像を表示し、再生時には伸張処理された記録画像を表示する。

また、カメラ１には、レンズドライブ部（以降、ＬＤと称す）１２、画像取り込み部１３が設けられる。ＬＤ部１２は、アクチュエータや位置エンコーダを有し、レンズ部２の移動を制御する。ＬＤ部１２は、画像処理部５から出力される画像のコントラスト値に基づいて合焦位置を検出し、レンズ部２を移動させる。画像取り込み部１３は、撮像素子３に対して画像取り込みを指示する。

また、カメラ１には、ＭＰＵ１０、ＲＯＭ１１、操作部１６が設けられる。ＭＰＵ（マイクロコントローラ）１０は、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。ＲＯＭ１１は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂ、１６ｃが設けられる。スイッチ１６aはレリーズスイッチである。ＭＰＵ１０は、撮影や表示などのユーザーの指示をスイッチ１６ａ、１６ｂ、１６ｃで検出して、これらのユニットを連結させて制御して、円滑かつスピーディで美しい画像の撮影を行う。また、ＭＰＵ１０は、コントラスト情報を取得してＬＤ部１２を制御してピント制御する。

また、カメラ１には、画像判定部１４、のりしろ判定部１０ａ、画像選択部１０ｂ、合成部１５が設けられる。画像判定部１４は、Ａ／Ｄ変換部４でデジタル化された信号を利用して画像データの比較して、障害物の存在を判定する。画像判定部１４は、メモリ8内に記憶した信号と比較したりして、画像の類似度から、障害物を判定する。また画像判定部１４は、図２のＤ１のように侵入してきた柱など障害物も、風景とは違ってぼけていたり暗かったする特徴があるので、画像のコントラスト値や明るさなどの情報も利用して判定する。また、画像判定部１４が、連写画像間の一致部と不一致部の判定も行う。

のりしろ判定部１０ａと画像選択部１０ｂは、ＭＰＵ１０により実行される処理機能の１つである。のりしろ判定部１０ａは、画像の左右からのりしろ部を抽出してのりしろデータを作成して、メモリ８に仮記録する。のりしろ判定部１０ａは、２つの画像の上記のりしろデータを比較して、２つの画像が接続されるかを判定する。

画像選択部１０ｂは、パノラマ撮影時に、連写撮影された画像の中からパノラマ構成用の画像を選択する。画像選択部１０ｂは、のりしろ判定部１０ａの判定結果に基づいてパノラマ構成用の画像の選択を行う。選択されたパノラマ構成用の画像はメモリ８に記憶される。

合成部１５は、複数の画像を合成処理する。また、複数の画像から障害物を除いて合成処理する。また合成部１５は、上記メモリ８に仮に記憶されたパノラマ構成用の画像を利用して、パノラマ画像を作成する。

また、ＭＰＵ１０は、撮影制御部として、このような画像判定部１４の判定結果によって、侵入物のあった画像の処理やパノラマ合成の指示を画像処理部５や合成部１５に対して行う。また、ユーザーのスイッチ（１６ａ等）操作を判定し、画像の取り込みタイミングを決定したり、後段ブロックの働きを連携させて、デジタル画像取得を実行する。なお、画像判定部１４、画像選択部１０ｂや合成部１５についての詳細は、後述する。

図２は、走行する車内にいる撮影者が車窓から山の風景を連写撮影する場面を示す図である。その風景は、図２のように、M１からM４の４つの山がある風景である。レンズ２と撮像素子３で示されるカメラ１は右方向に進行する。連写撮影時のカメラ位置を順番にＰ１、Ｐ２…Ｐ５で示す。Ｐ２３は、Ｐ２とＰ３の間のカメラ位置を示し、Ｐ３４は、Ｐ３とＰ４の間のカメラ位置を示す。また、図３は、図２の各位置に対応して撮影される画像を示す図である。

そして、撮影者は、山M３を撮影するために、P3の位置でレリーズボタン１６ａを操作し、画像Ｉ３を撮影したとする。しかし、たまたまそのタイミングで手前に障害物（柱）D１があったとする。すると、画像Ｉ３は、図３（A）のように真ん中に障害物Ｄ１が入った画像になってしまい、美しいM３の山容が捉えられないことになる。

そこで、本実施形態では、Ｐ３の前後位置にあたるP２３とP３４の位置（図２）で連写撮影された画像から、Ｐ３位置での画像Ｉ３を得るようにする。P２３とP３４の位置では、図３（B）のI２３、同図（C）のI３４の画像が撮影がされる。これら2つの画像を合成すれば、図３（D）のような柱のない画像でなおかつ、山M3が画面中央にあるような画像I３が得られる。画像I２３や画像I３４は、山Ｍ３の中央に障害物は存在しないが、山Ｍ３が画面中央にはないので、撮影者の意図からずれた撮影になる。なお、I２３とI３４の画像は残しても残さなくてもよい。

図４は、上記で述べた合成画像を得るための撮影処理の手順を説明するフローチャートである。この撮影処理は、プログラムに従ったＭＰＵ１０、画像判定部１４及び合成部１５により主に実行される。まず、Ｐ２３の位置で画像Ｉ２３を一旦メモリ８に記録する（ステップＳ１１）。次に連写で、Ｐ３の位置で画像Ｉ３を記録する（ステップＳ１２）。

そして、画像Ｉ３が適正な画像であるかを判断する（ステップＳ１３）。適正な画像とは、画面中に障害物のない画像である。これは画像判定部１４が、コンロラストや明るさで適正かを判定する。適正であると判定すれば（ステップＳ１３ＹＥＳ）、画像Ｉ３を、そのまま画像記録部６が記録する（ステップＳ１６）。一方、適正でないと判定すれば（ステップＳ１３ＮＯ）、Ｐ３４の位置でも撮影を行い、画像Ｉ３４を記憶する（ステップＳ１４）。そして、合成部１５がＩ２３とＩ３４を合成処理する（ステップＳ１５）。図３（Ｄ）のような画像Ｉ３が合成される。画像記録部６が合成された画像Ｉ３を記録する（ステップＳ１６）。

図５は、このような撮影方法を説明するための図である。カメラ１の２つの撮影位置を、位置１０ａと１０ｂで示す。この位置１０ａと１０ｂの2箇所で、カメラ1によって撮影される画面上での、遠距離の被写体（山Ｍ３）と近距離の被写体（柱Ｄ１）の変化を示す。レンズ2の焦点距離をｆ、カメラ１から山Ｍ３までの距離をＬ１、カメラ１から柱ｄ１までの距離をＬ２、位置１０ａと１０ｂの間隔をＳとする。

位置１０ａでは、山Ｍ３と柱Ｄ１がレンズ２の光軸上で重なる関係にある。カメラ１の位置がＳだけずれた位置１０ｂでは、画面から柱Ｄ１がはずれる。つまり、撮像素子３の画面中央から端部までの距離をＸ２とし、柱が写らなくなる位置１０ｂまでのＳは、
Ｓ＝Ｘ２×Ｌ２／ｆ・・・式１
の関係となる。例えば、Ｘ２＝１０ｍｍ、Ｌ２＝１０ｍ、ｆ＝１０ｍｍとすると、Ｓ＝１０ｍ となる。一方、この位置１０ｂでも、画面上では山Ｍ３の像は、ほとんど１０ａの撮像素子上の同じ場所にある。つまり、位置１０ａから位置１０ｂに移動しても、画面中の山の位置の変化は少ない。そして、山Ｍ３までの距離が１０ｋｍとすると、式１より Ｓ＝１０ｍであるから、柱が見えなくなっても、あと９．９９ｋｍの長い区間山が見えていることがわかる（撮像素子に山の像が入射する）。

そこで、位置１０ａでの撮影に先立って図３（Ｂ）のような画像Ｉ２３を撮影し、さらに上記のチャンスの間に図３（Ｃ）のような画像Ｉ３４を撮影して、この２つの画像を合成すれば、Ｍ３の山を中心にした図３（Ｄ）のようなＩ３画像が得られる。時速１００ｋｍで走っていたとしても、直線であれば数分はチャンスがある。一方、柱を通り過ぎるのには、わずか０．３秒程度で済むので、秒３こま程度の速写によって前後１コマの撮影結果を採用すれば、図３（Ｄ）のＩ３と同様の画像をえることができる。

（第２実施形態）
図２、図６，図７および図８を用いて、第２実施形態について説明する。第２実施形態では、パノラマ撮影時に、途中に障害物があっても、障害物の写っていないパノラマ画像が得られる撮影制御についてを説明する。本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。

図2でIAとして示したようなパノラマ画像は、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の５箇所の位置で５枚の写真を撮って合成すれば作成できる。しかし、前述のようにＰ３の位置では障害物（柱）Ｄ１が邪魔になって、この時のＩ３画像は利用できない。そこで、P３のポイントでの撮影画像は、前述のようにP２３、P３４のポイントの撮影で代用することで、図2でIAとして示したようなパノラマ画像が、連写撮影から得ることができる。

図６は、パノラマ画像ＩＡとパノラマ画像ＩＡを構成する単体画像の関係を示す図である。Ｔ１からＴ７は撮影のタイミングを示し、Ｇ１からＧ７は対応して撮影される画像の番号を示す。本例のパノラマ画像ＩＡは、Ｔ１からＴ７のタイミングで撮影されたＧ１からＧ７の7枚の連写画像の中の3枚の画像に基づいて作成される。この３枚の画像は、細かいタイミングでシフトされた位置で撮影された画像の中から、画像選択部１０ｂによって選択される。そして、特段に障害物がなければ、Ｔ１とＴ４とＴ７の３つの画像から、パノラマ画像が構成されるものとする。

また、各画像の左右端部の所定領域がのりしろ部に設定される。例えば、画像Ｇ１の左右の接続用ののりしろがＨ１ＬとＨ１Ｒである。また、画像Ｇ４の左接続用ののりしろがＨ４Ｌである。のりしろの領域は画像の左右の所定位置に設定されるものとする。そして、のりしろ判定部１０ａにより、こののりしろデータの一致度から２つの画像の接続の可否が判定される。

そして、のりしろ判定部１０ａによって、画像Ｇ１の右のりしろＨ１Ｒと、画像Ｇ４の左のりしろＨ４Ｌが一致すると判定されるものとする。ところが、Ｔ４のタイミングでの撮影画像Ｇ４の画面に柱が入るとする。つまり、Ｔ１のタイミングで取得した画像Ｇ１に対しては、ちょうどＴ４のタイミングで撮影したＧ４の画像を接続合成すれば良いのだが、この画像Ｇ４は柱が写りこんでＮＧ画像でなる。つまり画像選択部１０ｂにより、Ｇ４の画像がパノラマ構成画像としては適当でないので、不採用にされる。

そこで、画像選択部１０ｂにより、その前のタイミングＴ３で撮影した画像Ｇ３が採用される。次に、のりしろ判定部１０ａにより、画像Ｇ３の画像の右のりしろＨ３Ｒと画像Ｇ７のＨ７Ｌが一致すると判定される。そこで画像選択部１０ｂにより、画像Ｇ７がパノラマ構成用画像として採用される。そして、合成部１５により、画像Ｇ１と画像Ｇ３と画像Ｇ７からパノラマ画像が作成される。

このように、本実施形態では、ＮＧ画像（柱が写ってしまう等）があった場合は、その前の画像を利用するようにする。これにより、合成のためののりしろ部が確保できる。ＮＧ画像の後の画像ではのりしろ部なくなって不連続になってしまう場合がありうるからである。そして、パノラマ合成に適切な画像を順次選択していく。

一方、上記のパノラマ画像作成では、連写画像を多く記憶させておくことが必要になる。しかし、多くの連写画像を記憶させておくとメモリ容量を圧迫し、大掛かりなシステムとなってしまう。そこで、極力少ない容量のメモリで上記パノラマ合成を行うために、連写画像データの記憶を以下で説明するようにする。

図７は、連写撮影中の各タイミングで、記憶されるデータの内容を示すチャートである。つまり、図６で示したＴ１…Ｔ７の各タイミングで、メモリ８に記憶されるデータを示すチャートである。データは四角の枠で示される。Ｇ１〜Ｇ７は、記憶される画像データである。のりしろ部のデータは接続判定に利用されるので、画像Ｇ１〜Ｇ７とは別のデータとしてＨ１Ｌ、Ｈ１Ｒ・・・Ｈ７Ｌ、Ｈ７Ｒのデータとして記憶される。図中ではその記憶、削除の様子を示した。

まず、Ｔ１タイミングでは、画像Ｇ１、のりしろＨ１Ｒ（画像Ｇ１の右側のりしろ）およびのりしろＨ１Ｌ（画像Ｇ１の左側のりしろ）の各データが記憶される。続いて、Ｔ２とＴ３タイミングでは、Ｇ２とＧ３に関するデータおよびそののりしろデータが順次追加して記憶される。次のＴ４タイミングでは、画像Ｇ４自体は不採用であるので記憶しない。さらに、Ｇ４には、Ｈ１Ｒと接続可能なＨ４Ｌが存在することが、のりしろ判定部１０ａで判定される。これで、Ｔ４では、Ｇ２とそののりしろのデータを削除する。つまり、Ｔ１のタイミングで得たＧ１の画像に繋がる画像が見つかるまでは、その前の画像も記憶しておくが、Ｔ４のタイミングで接続可能な画像（Ｇ４）が見つかったので、使わない画像（Ｇ２）は削除する。

このように、のりしろデータを別データとして記憶するので、これらを迅速に読み出し比較しながら、高速の判定にてパノラマ合成用画像を選択していくことが出来る。そしてこののりしろデータは、元の画像のような高精細なデータである必要はなく、データサイズを小さくして、判定が迅速にできるように加工すればさらに効果的になる。必要なデータだけを記憶するようにした。なお、このデータも適宜、取捨選択してメモリの容量に余裕を持たせるようにしている。

図８は、上記で述べた合成画像を得るための撮影処理を具体的に説明するためのフローチャートである。この撮影処理は、プログラムに従ったＭＰＵ１０、のりしろ判定部１０ａ、画像選択部１０ｂおよび合成部１５によって主に実行される。まず、ここでは、風景のパノラマを作成することを前提として、例えば図１の１６ｂのモード切替ＳＷをユーザーが操作して、パノラマ合成連写モードを選択されたものとする。このモードでの撮影時には、ＬＤ部１２を用いてレンズ部２を制御し、遠距離にピントを合せる（ステップＳ２１）。撮影し画像データを読み出す（ステップＳ２２）。この画像データをメモリ８に仮記憶する（ステップＳ２３）。

これが連写の一枚目（最初）の撮影であるかにより処理を分ける。一枚目であれば(ステップＳ２４ＹＥＳ）、撮影された画像の画面内にぼけた部分がないか（柱など手前のものがないか）を判定する(ステップＳ２５）。画像判定部１４が判定を行う。ぼけた部分がなければ（ステップＳ２５ＹＥＳ）、この画像をパノラマ合成用の採用画像に選択する（ステップＳ２７）。画像選択部１０ｂが選択を行う。そして、のりしろデータ（画面の左右端部）もこの段階で検出して別に記憶しておく（ステップＳ２８）。のりしろ判定部１０ａがこれを行う。のりしろを左右の端部に設定したことによって、画面内の必要以上の領域をモニタする必要がなくなり、効率よく接続が可能となる。端部に設定しないと、例えば図６のＧ１に対し、Ｇ２もＧ３もＧ４ものりしろ部を有するので、これらすべての画像一致度判定が必要になり、判定や合成の演算に多大な時間やエネルギーを要することとなるからである。一方、ボケ部など、画像に破綻が生じている場合には（ステップＳ２５ＮＯ）、画像選択部１０ｂはこの画像を採用しない。仮記憶した画像を消去し（ステップＳ２６）、ステップＳ２２に戻る。

２枚目以降の画像(ステップＳ２４ＮＯ）では、画像データの左右ののりしろデータを仮に記録する（ステップＳ２９）。そして、のりしろ判定部１０ａで前回の採用画像と接続できるか否かを判定する（ステップＳ３０）。接続できるかどうかは、２つの画像ののりしろデータを比較して、判定する。これらののりしろデータが一致して接続可能なら(ステップＳ３０ＹＥＳ）、ステップＳ３１に進む。

次にステップＳ２５と同様、この画像がぼけていたり黒いものが写っていたりして不適当でないかどうかを判定する（ステップＳ３１）。不適当部が有れば（ステップＳ３１ＹＥＳ）、ステップＳ２３での仮記録を取り消す（ステップＳ３２）。そして、その前のタイミングで得た画像を採用する（ステップＳ３３）。これによって、パノラマ合成を行う素材となる画像が得られたことになる。また、不適当部がない場合（ステップＳ３１ＮＯ）、画像選択部１０ｂでこの画像が採用画像とされる（ステップＳ３４）。

そして、それ以前に得られた画像は、図７のＴ３〜Ｔ４のようにすべて消去する（ステップＳ３５）。また、消去した画像ののりしろデータ（端部）も消去する（ステップＳ３６）。さらに前回の採用画像ののりしろデータも消去する（ステップＳ３７）。こののりしろデータも不要になったからである。これによりメモリの記憶領域に余裕ができる。新たに採用された画像ののりしろデータを記録する（ステップＳ３８）。最後に採用された画像ののりしろによって、次の採用画像（パノラマ素材画像）を決定するからである。

ユーザーがレリーズ操作を終了した時や、必要な画像取得が済んだ時には（ステップＳ３９ＹＥＳ）、撮影を終了し、採用された画像からパノラマ画像合成を行う（ステップＳ４０）。パノラマ合成は、合成部１５によって行なわれる。そして、このパノラマ撮影処理が終了する。それ以外は、ステップＳ２２に戻って次の撮影データの取得を繰り返す。また、ステップＳ３０で前回採用データとの接続ができなければステップＳ３９に進む。

以上説明したように、第２実施形態によれば、カメラの連写機能や少ないメモリ容量を効率的に利用して、手前の邪魔な被写体に遮られないきれいなパノラマ画像を得ることが出来る。従来の多くのカメラでは、このようなパノラマ撮影のために広角レンズを利用するが、広い角度からの像の取得を行うためには、レンズが大型化したり、撮像素子が大型化して、カメラの携帯性が犠牲になることが多かった。本発明のカメラでは、画像処理によって連写で得た各画像をつなげていくので、途中で邪魔な障害物があっても、それを除いてその向こうにあるものをきれいに撮影することができ、かつカメラも小型化できる。このようなことは広角レンズによるパノラマ撮影では不可能である。

（第3実施形態）
図９から１２を用いて第3実施形態について説明する。上記第1,２実施形態では車窓からの風景やパノラマ画像を撮影するシーンを説明したが、本発明は、これ以外の状況にも適用できる。第3実施形態では、本発明を室内等のシーンに適用した例を説明する。図９は、手前に窓枠のような障害物Ｄ１がある場合に、その向こうの画像を撮影するようなシーンを示す図である。この撮影方法は、カメラ１をＰ１の位置からＰ２の位置にずらしながら連写して、得られた画像Ｉ１とＩ２を合成して、障害物Ｄ１の影響なく向こうの景色を撮影するものである。なお本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。

図１０は、図９のシーンで、被写体像とＰ１とＰ２の位置にあるカメラ１の画角の関係を示す図である。前述の図２と同様な図である。図１１は、そのＰ１とＰ２の位置にあるカメラ１で撮影された画像Ｉ１、Ｉ２および合成された画像を示す。

図１０に示すように、光路上で障害物Ｄ１は、Ｐ１位置ではＳ２として山Ｍ２に重さなり、Ｐ２の位置ではＳ１として山Ｍ１重なる。つまり、Ｐ１の画像Ｉ１は山Ｍ２に障害物Ｄ１の像が重なった画像になり（図１１（Ａ）Ｉ１）、Ｐ２の画像Ｉ２は山Ｍ１に障害物Ｄ１の像が重なった画像になる（図１１（Ｂ）Ｉ２）。図１１（Ａ）と（Ｂ）を比較すればわかるとおり、近くにある障害物（窓枠）Ｄ１は、三角測距の原理によって、撮像素子への入射位置が大きく変化する。対して、遠くにある山（Ｍ１、Ｍ２）は、撮像素子への入射位置はあまり変化しない。

この図１１からも明らかなように、画像Ｉ１ではＭ１の山は遮られずに撮影されているが、Ｍ２がＳ２で遮られている。逆に、画像Ｉ２ではＭ２の山は遮られておらず、Ｍ１の山がＳ１で遮られている。そこで、これらの２画像を利用して、（Ｉ１＋Ｉ２）の合成画像で画像（Ｃ）を作成すれば、障害物（窓枠）Ｄ１の影響を受けない画像を得ることが出来る。

図１２は、上記で述べた合成画像を得るための撮影処理を具体的に説明するフローチャートである。連写画像から図１１の画像（Ｃ）を得る手順である。この処理は、主にＭＰＵ１０、画像判定部１４、合成部１５等により実行される。まず、ユーザーの連写指示により連写を実行し、連写画像を記憶する（ステップＳ５１）。図９のようにユーザーがカメラ１の位置をＰ１からＰ２に動かしながらレリーズスイッチ１ａを操作されて連続撮影が行われる。このように得られた複数の画像（連写結果）より、画面の中央部にピンボケ部（Ｄ１の影響）のないものを選択する（ステップＳ５２）。ピンボケの有無から、画面中央の障害物の有無を判定するからである。画像判定部１４がピンボケの判定を行う。

その中から連写最初のタイミングの画像と最後のタイミングの画像を選択する(ステップＳ５３）。最初の画像をＩ１として、最後の画像をＩ２とする。なるべく広い範囲がカバーするためである。
こうして得られた画像Ｉ１と画像Ｉ２の２像を比べ、不一致部を判定する（ステップＳ５４）。一致するところは残し、不一致の部分では２像のうちピントの合っている方を選択する（ステップＳ５５）。画像判定部１４が、不一致部の判定や選択を行う。そして、合成部１５が、一致部とピントの合っている不一致部を合成して合成画像を作成する（ステップＳ５６）。

そして、山の稜線などが連続的に繋がって画像合成がＯＫかを判断する（ステップＳ５７）。ＯＫであれば(ステップＳ５７ＹＥＳ）、この撮影処理を終了する。しかし、合成がうまく行かなかった場合は（ステップＳ５７ＮＯ）、ステップＳ５８に分岐して、画像Ｉ１を１番最初の画像から２番目の画像に変更する（ステップＳ５８）。連写中に得られた別画像を利用して再度合成を試みるためである。そして、ステップＳ５４にもどり、繰り返す。

以上説明したように、本第３実施形態では、障害物があっても、その向こうのものをその影響をなくして撮影できるカメラを提供することが可能となる。

（第4実施形態）
図１３，１４を用いて第４実施形態について説明する。上記第３実施形態では、連写撮影により得られた多くの画像から適当な画像を選択して、画像合成を行う例を説明した。しかし、多くの画像の撮影と記憶はエネルギーやメモリの無駄遣いになるおそれがある。第４実施形態では、必要最小限の撮影画像から合成画像を得るようにこれを改良する例である。連写の最初に障害物の位置を判定する撮影を行って、連写の後半に障害物の影響の受け方の異なる２画像の撮影を効率よく行うようにする。なお、本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。

図１３には、連写撮影のタイミングチャートとこの連写撮影に対応して得られる画像を対比して示す図である。具体的には、前述の図９のようなシーンで、カメラ１の位置を左から右へ移動させながら連写撮影が行われる。相対的に障害物は画面内で右から左に移動する。図１３の上が連写撮影のタイミングを示し、ｔ１、ｔ２…が、各撮影のタイミングである。ローが撮像素子から画素信号の読出し時間である。ｔ１、ｔ２のタイミングで、障害物判定のために、画素の少ない画像を撮影する。図１３の下が撮影された画像を示し、撮影された小サイズ画像Ｉ０１、Ｉ０２である。次に、ｔ３、ｔ４のタイミングでは、記録用に、高精細の画像を撮影する。撮影された画像が、Ｉ１、Ｉ２である。

ｔ１、ｔ２のタイミングで得られた小サイズ画像Ｉ０１、Ｉ０２から、画面内の障害物位置（画面右端から障害物の左端までの距離）Ｘ０１、Ｘ０２を検出する。そして、ｔ１とｔ２の時間差Δｔを用いて、障害物位置がどのように変化するかを予測する。この段階で画素の少ない撮影をする理由は、小サイズ画像Ｉ０１、Ｉ０２は障害物位置を判定するだけで、精細な画像は必要ないからである。そこで、間引きや画素加算などの技術でサイズを小さくして、消費エネルギーも少なく高速に得られることを優先している。

また、これに続いてｔ３のタイミングでは高精細の合成用原画像Ｉ１を撮影する。この画像Ｉ１から、障害物の左右位置Ｘ１Ｌ、Ｘ１Ｒを算出する。そして、合成用原画像Ｉ１では障害物によって隠れてしまった部分が、障害物の移動によって、画面に現れるタイミングで次のタイミング４の撮影を行う。これで合成用原画像Ｉ２が得られる。そしてこのＩ１、Ｉ２の２画像から、障害物なし画像を合成する。

図１４は、上記で述べた合成画像を得るための撮影処理を具体的に説明するためのフローチャートである。この処理は、主にＭＰＵ１０により実行される。まず、撮影タイミングを管理するためのタイマーを作動させる（ステップＳ６１）。ｔ１、ｔ２のタイミングで、障害物位置変化モニタ用の小サイズ画像Ｉ０１、Ｉ０２の撮影を行う（ステップＳ６２、ステップＳ６３）。この２画像の撮影の時間差をΔｔとする（ステップＳ６４）。

続いて、ｔ３タイミングで、最初の合成用原画像Ｉ１を取得する（ステップＳ６５）。この時のタイミングもｔ３として記録しておく。先に得た小サイズ画像Ｉ０１とＩ０２を比較する（ステップＳ６６）。三角測距の原理によって、近くの障害物は動きが大きく、遠くの被写体は動きが小さいことを利用して、像の変化の大きい部分を障害物として判定する（ステップＳ６７）。そして、先に得た２つの小サイズ画像Ｉ０１、Ｉ０２の中で、画面上での障害物位置を判定してＸ０１、Ｘ０２とする(ステップＳ６８）。その障害物と同様の像パターンのものを合成用原画像Ｉ１から抽出し、それが画面上で占める範囲を判定して、障害物の左端位置をＸ１Ｌ、右端位置をＸ１Ｒとする（ステップＳ６９）。

このようにして得られた各数値（時間ｔ３とΔｔや位置Ｘ０１、Ｘ０２、Ｘ１Ｌ、Ｘ１Ｒ）を利用して、画像Ｉ１で障害物によって隠された部分が全て画面に表れるタイミングｔ４を算出する（ステップＳ７０）。ｔ４は、ｔ３に、隠された部分を障害物が通過する時間を加えた時間である。ここで、画面上での障害物の移動速度Ｖ、障害物の幅Ｂとすると、障害物が通過する時間は（Ｂ／Ｖ）となる。また、V＝（Ｘ０２−Ｘ０１）／Δｔ、Ｂ＝（Ｘ１Ｌ−Ｘ１Ｒ）となる。
従って
ｔ４＝ｔ３＋（（Ｘ１Ｌ−Ｘ１Ｒ）／（Ｘ０２−Ｘ０１））×Δｔ ・・・式２
となる。

ｔ４のタイミングになるのを待つ（ステップＳ７１）。ｔ４のタイミングになったら（ステップＳ７１ＹＥＳ）、図１３で示したような第二の合成用原画像Ｉ２を撮影する（ステップＳ７２）。これも、合成したときにきれいな画像となるように、小サイズ画像Ｉ０１、Ｉ０２とは違って大きなサイズ（Ｉ１と同じような）で撮影する。そして、合成する。

以上のように第４実施形態によれば、ユーザーのカメラ移動による障害物移動時間や速度を算出して、適当なタイミングを判定して効率的に障害物対策の２画像を取得することができる。そして、障害物の通過を算出して通過直後に第２の合成用原撮影を行うので、２つの画像のずれをより少なくできる。

（第５実施形態）
図１５、図１６を用いて第５実施形態について説明する。第５実施形態では、さらに高速の撮像素子を利用して、予測ではなく、リアルタイムに画像状態をモニタして、最適なタイミングで、第二の合成用原画像Ｉ２を撮影するようにする。なお、本発明が適用されるカメラのブロック図は図１と同様であるので省略する。

図１５は、連写撮影のタイミングチャートとこの撮影に対応して得られる画像を対比して示す図である。図１３と同様な図である。図１５のように、ｔ１のタイミングで第一の合成用原画像Ｉ１（第1の基準画像）を取得する。その後は検出速度を速くするために、ｔ２からｔ５で比較的小さいサイズで画像を読み出す。

障害物の位置変化をグラフ化したものが、図１６のグラフである。このグラフは、縦軸がＸＲの画面上での水平方向の座標位置、横軸が時間である。障害物の左右位置を、Ｘ（ｎ）ＬとＸ（ｎ）Ｒで示す。（ｎ）は、タイミングの番号である。プロットがＸＲの位置を示し、ＸＲ位置の時間変化を示している。第一の合成用原画像Ｉ１における障害物の位置のうち、障害物が移動していく方向の端部位置がＸ１Ｌで、逆側がＸ１Ｌとなる。

ｔ５のタイミングで、Ｘ５ＲがＸ１Ｌの位置を越える。この時点で、第１の合成用原画像Ｉ１で障害物によって隠された部分が、すべて露出することになる。そこで、ＸＲがＸ１位置を越えたことが検出されると、障害物で見えなかった画像が見えるようになるので、これに続くｔ６のタイミングで第２の合成用原画像Ｉ２（第2の基準画像）を撮影する。これによって、Ｉ１とＩ２が得られるので、図１２で説明したような方法によって、図１１にＩ１＋Ｉ２として示したような、障害物のない画像が合成できる。

従って、この実施形態では、連写の技術や撮影方法を有効に利用して、障害物があっても、その向こうにある被写体を、それらの邪魔な影響をなくした画像として得ることが出来るカメラが提供可能となる。

以上の各実施形態で説明したように、本発明によれば、高速で画像が読み出せる撮像素子を有効に利用して、連続して得られた画像から、手前の被写体に邪魔されることのない遠景の画像を得ることを可能としたカメラが提供可能である。つまり本発明により、連続して得た連写の画像を有効利用して、手前の邪魔なものによって遮られることなく、これまでのカメラでは苦労した、その向こうの静止画像を簡単迅速に得ることができる。

なお以上の各実施形態において、上記各実施形態で説明したＭＰＵ１０処理に関しては、一部または全てをハードウェアで構成してもよい。逆に画像判定部１４、合成部１５等をソフトウェアで構成しても良い。具体的な構成は設計事項である。そして、ＭＰＵ１０による各制御処理は、ＲＯＭ１１に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１０の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、各実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１実施形態において、本発明が適用されるカメラ１の全体ブロック図。 第１実施形態において、走行する車内にいる撮影者が車窓から山の風景を撮影する場面を示す図。 第１実施形態において、図２の場面で撮影される画像を示す図。 第１実施形態において、合成画像を得るための撮影処理の手順を説明するフローチャート。 第１実施形態において、撮影方法を説明するための図。 第２実施形態において、パノラマ画像ＩＡとパノラマ画像ＩＡを構成する単体画像の関係を示す図。 第２実施形態において、連写撮影中の各タイミングで、記憶されるデータの内容を示すチャート。 第２実施形態において、合成画像を得るための撮影処理の手順を説明するフローチャート。 第３実施形態において、手前に窓枠のような障害物Ｄ１がある場合に、その向こうの画像を撮影するようなシーンを示す図。 第３実施形態において、図９のシーンで、被写体像とＰ１とＰ２の位置にあるカメラ１の画角の関係を示す図。 第３実施形態において、Ｐ１とＰ２の位置での撮影画像とその合成画像を示す図。 第３実施形態において、合成画像を得るための撮影処理の手順を説明するフローチャート。 第４実施形態において、連写撮影のタイミングチャートとこの連写撮影に対応して得られる画像を対比して示す図。 第４実施形態において、合成画像を得るための撮影処理の手順を説明するフローチャート、。 第５実施形態において、連写撮影のタイミングチャートとこの撮影に対応して得られる画像を対比して示す図。 第５実施形態において、第２の合成用原画像の撮影タイミングを示すグラフ。

符号の説明

1…カメラ、２…レンズ部、３…撮像素子、４…Ａ／Ｄ変換部、５…画像処理部、６…画像記録部、
７…表示部、８…メモリ、１０…ＭＰＵ、１０ａ…のりしろ判定部、１０ｂ…画像選択部、
１１…ＲＯＭ、１２…レンズドライブ部、１３…画像取込部、１４…画像判定部、１５…合成部、
１６…操作部、１６ａ…レリーズスイッチ、１６ｂ、１６ｃ…モード切換スイッチ、２０…被写体、
Ｉ０１、Ｉ０２…小サイズ画像、Ｉ１、Ｉ２…合成用原画像、ｆ…焦点距離、
Ｇ１からＧ７…パノラマ用の撮影画像、Ｔ１からＴ７…パノラマ用画像の撮影タイミング

Claims (16)

1. 撮影した画像の画面内に被写体を遮る侵入物が写っていないかを判定する判定部と、
   上記撮影画像に隣接した位置で撮影した複数の画像から、上記侵入物を削除した画像を作成する画像合成部とを備える
   ことを特徴とするカメラ。
2. 隣接した位置を撮影した複数の画像から、不適切な被写体が撮影された画像を選択して採用不可とし、適切な被写体が撮影された画像を選択して採用画像とする画像選択部と、
   上記複数の採用画像を合成して一枚の静止画像を得る合成部とを備える
   ことを特徴とするカメラ。
3. 撮影位置を変えての連写結果に従って、障害物の位置の変化を判定する判定部と、
   上記障害物位置の変化を予測して撮影した少なくとも一枚の画像を含む、複数の画像に従って、上記障害物の影響を受けない合成画像を得る画像合成部とを備える
   ことを特徴とするカメラ。
4. 連写撮影を制御する撮影制御部と、
   撮影位置を変えての連写結果に従って、画面内の障害物の位置の変化を判定する判定部と、
   上記連写撮影で得られた複数の基準画像に従って、上記障害物の影響を受けない合成画像を得る画像合成部とを備え、
   上記撮影制御部は、第一の基準画像の撮影後に、障害物位置変化判定用の撮影を行い、上記判定部による障害物位置の変化を検出して得られタイミングで第二の基準画像の撮影を行う、
   ことを特徴とするカメラ。
5. 連写撮影を制御する撮影制御部と、
   撮影画像の画面内に被写体を遮る障害物が写っていないかを判定する判定部と、
   連写撮影された画像の画面内に被写体を遮る障害物が写っていると判定されたときは、上記撮影画像の前後に連写された画像であって、上記障害物の写っていない前後の画像から、障害物の写っている画像と同等な被写体アングルでかつ障害物の写っていない画像を合成する画像合成部とを備える
   ことを特徴とするカメラ。
6. 連写撮影を制御する撮影制御部と、
   撮影画像の画面内での被写体を遮る障害物の位置を判定する判定部と、
   障害物の位置が画面内で異なる複数の連写撮影された画像から、上記障害物の写っていない１の画像を合成する画像合成部とを備える
   ことを特徴とするカメラ。
7. 上記連写撮影は、カメラの移動状態中に行われる連写撮影である
   ことを特徴とする請求項５または６に記載のカメラ。
8. 撮影画像を複数合成してパノラマ撮影を行うカメラにおいて、
   複数のパノラマ構成用の画像から一枚のパノラマ画像を合成する合成部と、
   パノラマ用の連写撮影を制御する撮影制御部と、
   連写撮影された画像の中からパノラマ構成用の画像を選択する画像選択部と、
   撮影された画像に被写体を遮る障害物があるかを判定する判定部と、を備え
   上記画像選択部は、上記判定部により被写体を遮る障害物がないと判定された画像をパノラマ構成用の画像として選択する
   ことを特徴とするカメラ。
9. 上記画像選択部は、上記障害物がないと判定された画像であって、かつ隣接する他のパノラマ構成用画像の一方の端部と接続可能な画像を上記パノラマ構成用の画像として選択する、
   ことを特徴とする請求項８に記載のカメラ。
10. 連写撮影を行うカメラにおいて、
    撮影画像の画面内に被写体を遮る障害物の存在とこの障害物の画面上での移動時間を判定する判定部と、
    第１の画像を撮影し、撮影された第１の画像に障害物が存在すると判定されたときは、第１の画像が撮影されてから上記移動時間に基づいたタイミングで第２の画像を連写撮影するよう制御する撮影制御部と、
    上記第１の画像と第２の画像から障害物の写っていない画像を合成する画像合成部とを備える
    ことを特徴とするカメラ。
11. 上記撮影制御部は、障害物の存在を判定するための判定用の撮影として、上記第１の画像よりも画素数の少ない撮影を行う
    ことを特徴とする請求項１０に記載のカメラ。
12. 上記撮影制御部は、第１の画像の撮影に先立って、障害物の存在を判定するための判定用画像の撮影を行う
    ことを特徴とする請求項１０に記載のカメラ。
13. 上記撮影制御部は、第１の画像の撮影の直後に障害物の存在を判定するための判定用画像の撮影を行う
    ことを特徴とする請求項１０に記載のカメラ。
14. 連写撮影して得られた画像を合成する合成画像撮影方法において、
    撮影画像の画面内に被写体を遮る障害物が写っていないかを判定し、
    連写撮影された画像の画面内に被写体を遮る障害物が写っていると判定されたときは、上記撮影画像の前後に連写撮影された画像であって、上記障害物の写っていない前後の画像から、障害物の写っている画像と同等な被写体アングルでかつ障害物の写っていない画像を合成する
    ことを特徴とする合成画像撮影方法。
15. 連写撮影して得られた画像を合成する合成画像撮影方法をコンピュータに実行させるプログラムにおいて、
    上記合成画像撮影方法は、撮影画像の画面内に被写体を遮る障害物が写っていないかを判定し、
    連写撮影された画像の画面内に被写体を遮る障害物が写っていると判定されたときは、上記撮影画像の前後に連写撮影された画像であって、上記障害物の写っていない前後の画像から、障害物の写っている画像と同等な被写体アングルでかつ障害物の写っていない画像を合成する
    ことを特徴とするプログラム。
16. 連写撮影して得られた画像を合成する合成画像撮影方法をコンピュータに実行させるプログラムが記録されるコンピュータ読取可能な記録媒体において、
    上記合成画像撮影方法は、撮影画像の画面内に被写体を遮る障害物が写っていないかを判定し、
    連写撮影された画像の画面内に被写体を遮る障害物が写っていると判定されたときは、上記撮影画像の前後に連写撮影された画像であって、上記障害物の写っていない前後の画像から、障害物の写っている画像と同等な被写体アングルでかつ障害物の写っていない画像を合成する
    ことを特徴とする記録媒体。

Images