JP2011124837A - 画像合成装置 - Google Patents

Abstract

【課題】 互いに異なった画像情報を含む複数の画像を合成して１枚の合成画像を得るとき複数の画像を高精度につなぎ合わせて合成できる良好なる合成画像が得られる画像合成装置を得ること。
【解決手段】 イメージサークルに画像を形成する撮像光学系、撮像光学系のイメージサークルの有効径よりも小さな有効径でイメージサークルに形成された画像の一部を記録する撮像素子を具えたカメラ本体、カメラ本体と撮像光学系の光軸に対し垂直方向の相対的な位置関係を変移させるシフト機構、シフト機構によってシフトされた撮像光学系とカメラ本体との相対的なシフト情報を測定するシフトセンサー、シフト機構のシフト動作毎に撮像素子で得られた複数の画像を各画像毎にシフトセンサーで得られたシフト情報とともに記録する記録媒体、記録媒体に記録された複数の画像と各画像毎のシフト情報を用いて各画像の位置決めをし、合成した画像を得る画像処理手段を有すること。
【選択図】 図１

Description

本発明は、互いに異なる複数の画像を合成して１枚の合成画像を得る画像合成装置に関するものである。

高解像度な画像や広い写野を持つ画像を得るために、互いに異なった複数の画像を合成して１枚の合成画像、例えばパノラマ画像を得る画像合成装置が知られている（特許文献１、２）。特許文献１には、撮像の方向を少しずつ変えることにより画角を複数に分割して撮像し、各画像で得た分割画像を合成し、パノラマ画像を得る画像処理方法が開示されている。特許文献２の合成写真の作成方法では、撮像素子の有効面よりも十分大きなイメージサークル（撮像範囲）を持つ撮像レンズを用いている。そして撮像レンズを光軸に対し垂直方向にシフトさせながらそのイメージサークル内の一部に撮像した画像を切り出して撮像した複数の画像を合成することで、高解像度の合成画像を得る方法が開示されている。

特開平１０−１８６５５１号公報 特開２００６−０７２２６５号公報

互いに異なった複数の画像より１枚の画像を合成するとき、撮像された画像を見ながら手作業で画像の合成を行なう方法は複数の画像を合成するのに被写体（画像）の状態に大きく依存してしまう傾向がある。複数の画像の撮像状態が悪いと複数の画像を合成して１枚の合成画像を得る際に複数の画像のつながりに不具合が生じ、良好な合成画像が得られないことがある。

本発明は、互いに異なった画像情報を含む複数の画像を合成して１枚の合成画像を得るとき複数の画像を高精度につなぎ合わせて合成することができる良好なる合成画像が得られる画像合成装置の提供を目的とする。

本発明の画像合成装置は、イメージサークルに画像を形成する撮像光学系、該撮像光学系のイメージサークルの有効径よりも小さな有効径で該イメージサークルに形成された画像の一部を記録する撮像素子を具えたカメラ本体、該カメラ本体と該撮像光学系の光軸に対し垂直方向の相対的な位置関係を変移させるシフト機構、該シフト機構によってシフトされた該撮像光学系と該カメラ本体との相対的なシフト情報を測定するシフトセンサー、該シフト機構のシフト動作毎に該撮像素子で得られた複数の画像を各画像毎に該シフトセンサーで得られたシフト情報とともに記録する記録媒体、該記録媒体に記録された複数の画像と各画像毎のシフト情報を用いて各画像の位置決めをし、合成した画像を得る画像処理手段を有することを特徴としている。

本発明によれば、互いに異なった画像情報を含む複数の画像を合成して１枚の合成画像を得るとき複数の画像を高精度につなぎ合わせて合成することができる良好なる合成画像が得られる画像合成装置が得られる。

本発明の実施例１の要部ブロック図 図１のシフト部の駆動機構の内観図 図１の撮像光学系のイメージサークルと撮像素子との位置関係の説明図 本実施例においてパノラマ画像を得るための撮像および合成の手順の説明図 複数の画像群からパノラマ画像の元となる画像を選び出す手順を示す説明図 パノラマ画像の元となる画像を選び出す処理の流れ図

本発明の画像合成装置の実施例を以下に説明する。本発明の画像合成装置は、イメージサークルに画像を形成する単一焦点距離又はズームレンズ等の撮像光学系ＯＬを有する。更に撮像光学系ＯＬのイメージサークルの面積よりも小さな面積でイメージサークルに形成された画像の一部を記録するＣＣＤ等の撮像素子１０３を具えたカメラ本体１００を有する。

カメラ本体１００と撮像光学系ＯＬの光軸に対し垂直方向の相対的な位置関係を変移させるシフト部２１１と回転機構部２０８を含むシフト機構を有する。シフト機構によってシフトされた撮像光学系ＯＬとカメラ本体１００との相対的なシフト情報、例えばシフト方向とシフト量を測定するシフト方向検出手段２１０とシフト量検出手段２１５を含むシフトセンサーを有する。シフト機構のシフト動作毎に撮像素子１０３で得られた複数の画像を各画像毎にシフトセンサー２１０、２１５で得られたシフト情報とともに記録する記録媒体３００を有する。記録媒体３００は、撮像光学系によって撮像素子１０３に画像を形成するときの撮像情報を記録している。

ここで撮像情報とは、例えば撮像光学系のフォーカス情報、焦点距離情報、光軸と撮像素子１０３のなす角度情報、撮像場所情報、撮像方向情報の少なくとも１つを含む。記録媒体３００に記録された複数の画像と各画像毎のシフト情報を用いて各画像の位置決めをし、合成した画像を得る画像処理手段４０１を有している。画像処理手段４０１は記録媒体３００に記録された複数の画像から撮像情報に変更がなく、かつシフト情報が変化している複数の画像を選択する画像選択手段４０２と、画像処理手段４０２で選択した複数の画像を合成する画像合成手段４０３とを有している。画像処理手段４０１はシフトセンサーによって測定されたシフト情報に基づいて、合成された合成画像の歪曲、周辺光量、色倍率のうち少なくとも一つを補正する。

この他、画像処理手段４０１は、撮像素子１０３で得られた画像の撮像時刻と、その画像の直前に得られた画像の撮像時刻との間隔を測定する。そしてこのとき測定した間隔が所定の時間を越えているときは、合成画像の画質が低下するおそれがあるので画像と直前に得られた画像を合成画像を得るときの画像として用いないようにしている。

［実施例１］
本発明の画像合成装置の実施例について、図１乃至図４を参照して説明する。図１は、本発明の画像合成装置に用いる元画像を撮像するためのカメラシステムの構成を示す要部ブロック図である。図１において、１００はカメラ（カメラ本体）、２００はカメラ１００に着脱可能な交換レンズ、３００は記録媒体、４００はパーソナルコンピュータ（ＰＣ）、５００は被写体である。２０１は第１レンズ群、２０２はフォーカスレンズ群、２０３は絞りであり、以降、これらの部材２０１、２０２、２０３をあわせて撮像光学系（シフト光学系）ＯＬと称する。撮像光学系ＯＬは単一焦点距離レンズやズームレンズ等から成っている。２０４はフォーカスレンズ群２０２の位置を検出するフォーカス位置検出手段である。２０５は絞り駆動手段であり、レンズＣＰＵ２０６からの信号に基づいて絞り２０３の開口径を制御する。レンズＣＰＵ（制御手段）２０６は、カメラＣＰＵ１０１とレンズ通信手段２０７およびカメラ通信手段１０２を介して各種の情報の送信と受信を行ない、また交換レンズ２００内全般の制御を司る。

２０８は撮像光学系ＯＬのシフト方向を決める回転機構部であり、回転機構部２０８よりも被写体側にあるレンズ全体ＯＬを光軸中心に回転させる機能を持っている。回転機構部２０８はカメラ１００との接続部であるマウント２０９に対して±９０°回転可能に連結されている。本実施例の回転機構部２０８は、３０°毎の計７個のクリック機構を備えている。また、シフト方向検出手段２１０によって回転機構部２０８は、その光軸中心の回転量（角度）が±９０°の範囲で検出される。２１１は撮像光学系ＯＬのシフト量を決めるシフト部であり、シフト部２１１よりも被写体側にあるレンズ全体ＯＬを、光軸に対して垂直な方向に平行移動させる機能を持ち、回転機構部２０８に対して平行移動可能に連結されている。

図２は本実施例に係るシフト部２１１の駆動機構の内観図である。本実施例では、シフト部２１１と回転機構部２０８がアリ溝を用いて平行移動可能に連結されている。そしてシフト操作ノブ２１２と同軸に直結されたシフト駆動ギア２１３とラック２１４により、シフト操作ノブ２１２による回転運動を直進運動に変換してシフト操作可能としている。アリ溝の両端には図示しないストッパーが設けてあり、両端のストッパーにあたるまでシフト操作が可能となっている。

シフト部２１１と回転機構部２０８はレンズシフト機構の一部を構成している。本実施例ではシフト量を大きくしたときの光学性能の劣化を避けるため、撮像光学系ＯＬ全体をシフトさせている。しかし、機械構成の簡略化のため一部のレンズのみをシフトさせる構成としても良い。２１５は撮像光学系ＯＬのシフト量を読み取るシフト量検出手段である。シフト操作ノブ２１２の回転に連動して回転し、回転量に応じて、電気抵抗の値が変更する。この電気抵抗値を読み取ることで、撮像光学系ＯＬのシフト量を検出している。シフト方向検出手段２１０とシフト量検出手段２１５はシフトセンサーの一部を構成している。なお、本実施例ではシフトセンサーの構成はどのようなものであっても良い。

本実施例のように電気抵抗を読み取るセンサーを用いる方法以外にも、例えばデジタルコードパターン、光学センサー、マグネットパターン＋磁気センサー等、公知のセンサーを使うことで同様の効果が実現できる。被写体５００からの入射光は、撮像光学系ＯＬを通過してカメラ本体１００内に入射される。カメラ本体１００では、撮像素子１０３に入射光が取り込まれ、被写体５００が撮像される。撮像素子１０３において光電変換により得られた出力信号は、不図示の画像処理回路で増幅され、デジタル映像信号（画像情報）としてカメラＣＰＵ１０１に入力される。

本実施例のカメラシステムでは、このデジタル映像信号を用いて、静止画像を形成する。撮像されたデジタル映像信号は、記録手段１０４によって記録媒体３００に保存される。このとき、撮像された画像情報（デジタル映像信号）とともに、撮像光学系ＯＬのシフト方向とシフト量を含むシフトデータ（シフト状態測定値）と撮像情報も記録される。撮像情報を測定する撮像状態測定手段は、測光センサー、測距センサー、ＧＰＳ等の撮像場所測定センサーを含む。ここで撮像情報とは、撮像光学系ＯＬのシフト状態のほかに、撮像光学系ＯＬの種類、撮像時刻、露出、フォーカス位置、絞り量、露出時間、撮像場所、撮像方向が挙げられる。また、ＩＳＯ感度、測光モード、ＡＥモードなどの撮像時の設定情報も記録される。１枚のパノラマ画像（合成画像）を得るために、上記構成によるカメラシステムを用いて、以下のように画像（被写体）の撮像を行なう。

図３は撮像光学系ＯＬが撮像素子１０３の面に作るイメージサークル５０１と、撮像素子１０３との位置関係を示す説明図である。図３のように、撮像光学系ＯＬが撮像可能なイメージサークル５０１の有効径（面積）は、撮像素子１０３の有効径（面積）よりも大きく設定されている。これにより、ユーザーは交換レンズ２００の位置を移動させなくても、撮像素子１０３で記録できる画像の構図を自由に選ぶことができる。
交換レンズ２００を三脚等に固定して、被写体５００と交換レンズ２００の位置が変わらないようにしておく。このときの被写体５００は、風景などの静止したものを選ぶ。そうすることで、シフトユニット（シフト部２１１、回転機構部２０８）を操作しても、イメージサークル５０１に結像される被写体の像は変化しない。回転機構部２０８およびシフト部２１１を操作することにより、カメラ本体１００内の撮像素子１０３はイメージサークル５０１内を回転移動および平行移動することができる。

図４（ａ）はシフト量を最大にして、シフト方向を３０°ずつ順次回転させて撮像素子１０３より得られる１２枚の画像を撮像するときの説明図である。このようにすることで、イメージサークル５０１の全体を複数の画像に分けて撮像することができる。撮像した画像は、図４（ｂ）の画像１〜画像４のようにシフト方向およびシフト量等のシフト情報が、画像情報とともに記録媒体３００上に記録される。次に、これらの撮像した複数の画像を用いて一枚のパノラマ画像（合成画像）を合成する。このパノラマ画像の合成の作業はたとえばパーソナルコンピュータ４００内の画像処理手段４０１に画像を取り込んで行なわれるが、カメラ本体１００内で行なっても良い。

まず、パノラマ合成用のデータ領域を用意する。このデータ領域は、イメージサークル５０１全体を表示できるようにしておく。それぞれの撮像画像には、シフト方向およびシフト量が記録されているので、その値に応じて画像の中心の座標を決定する。また、シフト方向に応じて、画像の回転角度も決定する。この作業を画像選択手段４０２で選択した１２枚の撮像画像に適用し、画像合成手段４０３で全体を１枚の画像に合成することで、図４（ｃ）に示す量なイメージサークル５０１全体を再現する合成画像を得ることができる。これによって、元画像よりも広い写野を持つ、高解像度のパノラマ画像（合成画像）が得られる。

ここで、画像処理手段４０１は記録されたシフト情報（シフト方向、シフト量）に応じて、合成した画像に、周辺減光補正、色収差補正、歪曲収差補正等のうち１以上を行なっても良い。これによれば、より画質の良い画像を得ることもできる。
これらの収差はイメージサークル５０１内の場所によって変わるため、記録されたシフト状態を利用することで、正確な収差補正が行なえる。収差補正は、パノラマ画像合成前にやっても良いし、パノラマ画像合成後にやっても良い。以上はイメージ−サークル全体を再現する円形写野の画像を得た例だが、画像選択手段で一部の撮像画像を選択して用いることで、横長や縦長のパノラマ画像を得るようにしても良い。

次に本発明の画像合成装置の効果について述べる。本実施例ではパノラマ画像の位置決めをする際に、従来のように撮像された画像を基にして位置決めする必要がない。このため、被写体に依存せずに正確に位置決めされたパノラマ画像を得ることができる。すなわち、境界の曖昧な画像でも、正確に位置がわかる。また、従来、手作業で行なわれた画像合成の位置決め作業を、自動化することができるため、ユーザーの負荷が軽減される。なお、以上では交換レンズ２００を固定し、交換レンズ２００に対してカメラ本体１００をシフト及び回転させたが、カメラ本体１００を三脚等で固定し、交換レンズ２００をカメラ本体１００に対してシフト及び回転させても良い。この場合は以下のようになる。

このときは、被写体５００に対して交換レンズ２００が移動するので、シフト動作によってイメージサークル５０１に形成される画像も変化する。しかし、被写体までの距離が十分に遠く、イメージサークル５０１の変化がほとんどない場合、上述の交換レンズ２００を固定した場合と同様のことが行なえる。すなわち、シフト動作をすることでイメージサークル５０１の全体を複数の画像に分割して撮像することができる。このときは、被写体５００に対して撮像素子１０３は回転しないので、パノラマ合成時に各画像を回転させず、シフト方向およびシフト量に応じた量を平行移動させたのちに合成する。カメラ本体１００を固定し、撮像素子１０３に対して交換レンズ２００を相対的にシフトさせた場合、被写体５００と交換レンズ２００の位置関係が変わり、合成前のそれぞれの画像での交換レンズ２００の作る画像はわずかに異なる。これは従来の複眼レンズを用いてパノラマ写真を作るのと同じ状態であるため、従来の技術を使って１枚のパノラマ写真を得ることができる。この場合も、本実施例によって各画像の位置関係が決まるため、計算時間の短縮やユーザーの作業の効率化に効果がある。以上のように本実施例によれば、互いに異なった画像情報を含む複数の画像を高精度に合成することができる。

［実施例２］
実施例１ではシフト状態を変更するのに、シフト方向を決める回転機構部２０８と、シフト量を決めるシフト部２１１によって構成した。しかし本発明はこの方法に限らず、第１のシフト方向を決める第１のシフト機構と、第１のシフト方向に直行する第２のシフト機構を用いても、同様の効果が得られる。第１のシフト機構は、マウント２０９に取り付けられ、マウント２０９よりも被写体側にあるレンズ全体を水平方向に平行移動させる機能を持つ。第２のシフト機構は、第１のシフト機構に取り付けられ、第１のシフト機構よりも被写体側にあるレンズ全体を垂直方向に平行移動させる機能を持つ。この２つの機構によっても、交換レンズのシフト状態を変えることができる。実施例１と同様、それぞれのシフト量を画像ともに記録することで、その値を画像合成時の位置決めに利用することができる。

［実施例３］
実施例１では、記録媒体３００にはパノラマ画像の元となる画像しか含まられていない場合を説明した。しかし、一般に記録媒体３００には、パノラマ画像の元となる画像以外の画像も含まれる。図１に示すカメラシステム構成を利用することで、画像選択手段４０２で複数の画像群からパノラマ画像の元となる画像を抽出することができる。このことについて説明する。

図５は記録媒体３００に複数の画像群が含まれている状態の説明図である。パノラマ画像の合成元となる画像としては、画像選択手段４０２でイメージサークル５０１内の画像が変わらず、シフト量のみが変わった画像を選び出せばよい。カメラの撮像状態の情報を用いてそれを選びだすための流れ図を、図６に示す。ここで、イメージサークル５０１に変化を与える撮像状態の情報の設定について説明する。前の撮像と比較して交換レンズのフォーカス位置（物体距離）（フォーカス情報）を変更するとイメージサークル５０１内の物体像が変わる。このような操作を検出した場合、前の画像と新しい画像はイメージサークル５０１内の画像が変化したことが分かる。ズーミングや交換レンズの変更により撮像光学系の焦点距離情報が変わった場合、前の画像と新しい画像はイメージサークル内の画像が変化したことが分かる。交換レンズ２００に撮像光学系ＯＬの光軸を傾けるティルト機能がついている場合、ティルト動作をすることでイメージサークル内の画像も変化する。したがってティルト量（角度情報）が変化したことを検出した場合、前の画像と新しい画像はイメージサークル内の画像が変化していることが分かる。

カメラの撮像場所が変化したことを検出した場合、前の画像と新しい画像はイメージサークル内の画像が変化したことが分かる。カメラの撮像場所情報は、例えばＧＰＳなどの測位センサーによって求めることができる。カメラの姿勢差が変化したことを検出した場合、前の画像と新しい画像はイメージサークル内の画像が変化したことが分かる。カメラの姿勢差（撮像方向情報）は、例えばジャイロや方位磁針などのセンサーによって知ることができる。直前の撮像と比較して、これらの測定結果に変化があった場合、撮像光学系ＯＬによって結像するイメージ（画像）が変化している。したがって本実施例ではこのような測定結果に変化があったとき直前の画像と新しく撮像した画像は、同じパノラマ画像の合成元画像となり得ない、と判断している。

また、露出時間、絞り値、ストロボの状態等の撮像条件を変更した場合、イメージサークル内の画像が変化していない場合でも、撮像された画像の明るさや被写界深度が変わる。したがって直前の画像と新しく撮像した画像は、同じパノラマ画像の合成元画像ではない、と判断するのが良い。また、撮像時間（撮像時刻）の間隔が所定時間を超えた場合は、イメージサークル内の画像が変わったと判断しても１枚の画像を合成するための画像として抽出しないようにしている。前の画像の撮像時間との間隔が、たとえば１時間以上過ぎた場合は、イメージサークル内の画像が変わり、別の画像を撮像しているとみなし、画像合成には抽出しない。これは必ずしも常に正しいわけではないが、閾値となる所定時間を適切な時間に設定することで、実用上十分に有効な判別手段となる。

上述の条件がすべて同じであったものの中で、シフト量のみが変更したものを選べば、パノラマ画像の元となる画像群を効率的に抽出することができる。以上の処理を図５に示す画像１〜６に適応した場合について説明する。まず画像１（画像情報１）と画像２（画像情報２）の間では撮像光学系ＯＬの焦点距離が変化している。したがってこの２つの画像１、２は共通のパノラマ画像の元画像ではないと判断できる。画像２と画像３を比較すると、シフト量（シフト情報）Ｘのみが変化していることが分かる。したがってこの２つの画像２、３は共通のパノラマ画像の元画像となると判断できる。この作業を繰り返すと、画像２〜画像５が共通のパノラマ画像の元画像となると判断できる。画像５と画像６の間は、撮像時間の間隔が２日以上たっている。これにより、共通のパノラマ画像の元画像となると判断する。このような手段により、合成するパノラマ画像の元画像を選び出すことができる。選び出された画像群からは、実施例１に示した方法により、１枚のパノラマ画像を合成することができる。

本実施例の画像合成装置はパノラマ画像を合成するとき、撮像された画像からでは判断するのではなく、撮像時の状態や撮像設定条件等の撮像状態情報から元画像を選び出している。このため、撮像する被写体に依存せずに、正確な画像選択が行なえる。このため被写体が類似していて、画像からは判別しにくいような状況で特に有効である。また、画像の選別を自動化することが容易になるため、ユーザーの作業を低減させることができる。以上のように各実施例によると、複数の元画像がイメージサークル内のどこを撮っていたかが分かるため、それぞれの画像の位置関係がわかる。したがって、被写体によらずに正確な画像合成ができる画像合成装置が得られる。

１００ カメラ、１０１ カメラＣＰＵ、１０３ 撮像素子、２００ レンズ、２０１ 第１レンズ群、２０２ フォーカスレンズ群、２０８ 回転機構部、２１０ シフト方向検出手段、２１１ シフト部、２１４ シフトセンサー、３００ 記録媒体、４００ パーソナルコンピュータ、５００ 被写体、５０１ イメージサークル

Claims (5)

1. イメージサークルに画像を形成する撮像光学系、該撮像光学系のイメージサークルの面積よりも小さな面積で該イメージサークルに形成された画像の一部を記録する撮像素子を具えたカメラ本体、
   該カメラ本体と該撮像光学系の光軸に対し垂直方向の相対的な位置関係を変移させるシフト機構、該シフト機構によってシフトされた該撮像光学系と該カメラ本体との相対的なシフト情報を測定するシフトセンサー、
   該シフト機構のシフト動作毎に該撮像素子で得られた複数の画像を各画像毎に該シフトセンサーで得られたシフト情報とともに記録する記録媒体、
   該記録媒体に記録された複数の画像と各画像毎のシフト情報を用いて各画像の位置決めをし、合成した画像を得る画像処理手段を有することを特徴とする画像合成装置。
2. 前記画像処理手段は前記シフトセンサーによって測定されたシフト情報に基づいて、合成された合成画像の歪曲、周辺光量、色倍率のうち少なくとも一つを補正することを特徴とする請求項１に記載の画像合成装置。
3. 前記記録媒体は、前記撮像光学系によって前記撮像素子に画像を形成するときの撮像情報を記録しており、前記画像処理手段は該記録媒体に記録された複数の画像から撮像情報に変更がなく、かつシフト情報が変化している複数の画像を選択し、選択した複数の画像を合成していることを特徴とする請求項１又は２の画像合成装置。
4. 前記撮像情報とは、前記撮像光学系のフォーカス情報、焦点距離情報、光軸と前記撮像素子のなす角度情報、撮像場所情報、撮像方向情報の少なくとも１つを含むことを特徴とする請求項３の画像合成装置。
5. 前記画像処理手段は、前記撮像素子で得られた画像の撮像時刻と、その画像の直前に得られた画像の撮像時刻との間隔が所定の時間を越えているときは、該画像と該直前に得られた画像を合成画像を得るときの画像として用いないことを特徴とする請求項１乃至４のいずれか１項の画像合成装置。