JP2010204773A - 撮影装置及び画像表示方法 - Google Patents
撮影装置及び画像表示方法 Download PDFInfo
- Publication number
- JP2010204773A JP2010204773A JP2009047338A JP2009047338A JP2010204773A JP 2010204773 A JP2010204773 A JP 2010204773A JP 2009047338 A JP2009047338 A JP 2009047338A JP 2009047338 A JP2009047338 A JP 2009047338A JP 2010204773 A JP2010204773 A JP 2010204773A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- shooting
- partial
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】撮影により得られる部分画像系列を受け取り(S101)、前記部分画像について撮影時の地理的位置関係を算出して画像位置を判定し(S102)、各部分画像について撮影領域を算出して画像領域を判定する(S103)。次に、前記画像位置判定手段と画像領域判定手段に基づいて全撮影領域を算出して撮影領域を判定し(S104)、前記部分画像系列から表示に用いる複数の部分画像を選択する(S105)。選択された複数の部分画像を、前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマイメージを作成し(S106)、パノラマ・プレビュー画像を表示する(S107)。
【選択図】図2
Description
そのような場合に、連続撮影した一連のフレームについて各フレーム画像間の位置関係を判定し、うまく接合して1枚の画像データを生成できれば、ユーザーは自分の撮影した画像データをより一層楽しむことができる。
このようなパノラマ画像を生成する場合、合成処理に利用する部分画像データをユーザーが手動で選別する作業は負荷が大きいため、撮影された複数の写真の地理的位置を判定することで、生成に利用する画像データを自動で選別する方法が特許文献2に記載されている。
したがって、連続撮影などで撮影した複数の画像を上記従来技術で接合してパノラマ画像を作成するためには、予め必要かつ十分な画像データを撮影する必要がある。
つまり、具体的には、撮影時には少なくとも
(1)対象がもれなく撮影されていること、
(2)所望の矩形領域にうまく収まっていること、が必要である。
具体的には、部分画像系列からカメラの3次元位置と姿勢の変化を時系列で算出し、その情報に基づいて部分画像間の変形を補正しながら部分画像の接合を行い、それによってパノラマ画像の生成を行っている。そのため、特許文献3に記載された発明は、パノラマ画像生成の際に、カメラと撮影対象の相対位置の変化や、カメラの姿勢の変化などを視覚的に提示したり、パノラマ生成に適した撮影方法を誘導すると共に、撮影中にカメラが異常な(画像の劣化に影響を与える)動きをした場合にそれを検知する機能をも備えている。
例えば、(1)測光のレベルが変化しているシーンでは、被写体において白飛びや黒沈みしている領域が変化する。このような領域では、近隣フレームの複数画像によって画素補間を行い、実際の解像度よりも高解像度の画像を得る超解像処理において基準画像からのずれが大きくなるため、補間処理に使用するフレームとしては適当でない。
(2)白色再現のためのホワイトバランスの検出レベルが変化しているシーンでは、同じ被写体でも色相が変化する。このような領域では上記超解像処理において基準画像からのずれが大きくなり、補間処理に使用するフレームとしては適当でない。
また、動画撮影時に予期せずに車などの高速で動く物体が写り込んでしまった場合、画像間のずれが大きく自然なパノラマ画像を生成することは難しい。
しかし、特許文献4の方法を用いても、撮影領域に不備がないかどうかを確認することはできない。
そこで、撮影装置において、撮影時に、撮影した領域を教えるだけでなく、高画質に再現するための画像データが正確に撮影されているかを検知し、ユーザーに知らせたり、撮影方法を誘導したりする機能が望まれている。
請求項2の発明は、請求項1に記載された撮影装置において、前記表示画像選択手段は、互いの撮影領域の重複度が予め指定された値以下となるように選択することを特徴とする撮影装置である。
請求項3の発明は、請求項2に記載された撮影装置において、前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記画像位置判定手段によって算出された画像の位置関係、および距離感を保持して配置し表示することを特徴とする撮影装置である。
請求項4の発明は、請求項3に記載された撮影装置において、前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記算出された撮影領域に対する表示画像サイズの倍率が一定となるように拡大又は縮小して表示することを特徴とする撮影装置である。
請求項5の発明は、請求項3に記載された撮影装置において、前記撮影領域判定手段において算出された全撮影領域内で撮影されていない領域を検出する空白領域検出手段を更に有し、前記パノラマ・プレビュー表示手段において、前記検出された空白領域をパノラマイメージと共に示すことを特徴とする撮影装置である。
請求項6の発明は、請求項3に記載された撮影装置において、前記撮影領域判定手段において算出された全撮影領域内で、撮影されていない領域を検出する空白領域検出手段を更に有し、前記空白領域の大きさを表す値が所定の値以下である場合には、パノラマイメージを作成しないことを特徴とする撮影装置である。
請求項7の発明は、請求項2に記載された撮影装置において、前記入力された部分画像系列から移動する物体を検知する移動物体検知手段を更に有し、前記画像選択手段は、前記移動物体を含む部分画像を選択対象から除外することを特徴とする撮影装置である。
請求項8の発明は、請求項3に記載された撮影装置において、前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、前記パノラマ・プレビュー表示手段は、前記算出されたフレーム密度がある所定の値よりも低い領域をパノラマイメージと共に示すことを特徴とする撮影装置である。
請求項9の発明は、請求項2に記載された撮影装置において、前記画像領域判定手段によって算出された撮影領域に基づき、領域外と判断される部分画像データを削除することを特徴とする撮影装置である。
請求項10の発明は、請求項9に記載された撮影装置において、前記画像領域判定手段において算出される画像領域が複数点在する場合において、ある所定の値よりも小さい領域を領域外の候補とすることを特徴とする撮影装置である。
請求項11の発明は、請求項9に記載された撮影装置において、前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、前記画像領域判定手段は、前記算出されたフレーム密度がある所定の値よりも低い場合に前記領域をユーザーの意図した撮影対象外領域として除外することを特徴とする撮影装置である。
請求項12の発明は、撮影により得られる部分画像系列を受け取る工程と、前記部分画像について撮影時の地理的位置関係を算出する画像位置判定工程と、各部分画像について撮影領域を算出する画像領域判定工程と、前記画像位置判定工程と画像領域判定工程に基づいて全撮影領域を算出する撮影領域判定工程と、前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択工程と、を有し、前記選択された複数の部分画像を、前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示することを特徴とする画像表示方法である。
また、本発明によれば連続撮影によって得られた画像系列の位置関係、及び撮影領域などを判定してパノラマ・イメージを作成し、パノラマプレビューとしてユーザーに提示するため、ユーザーはパノラマ画像生成に必要な画像が撮影されているかを容易に確認することができる。
本発明の撮影装置は、撮影レンズ101、シャッタ102と例えば、CCD、CMOS等の撮像素子104を備えた撮影ユニット100と、撮像レンズ101などの光学系を駆動する光学系駆動部105、上記撮像素子104を駆動する撮像素子駆動部106、撮影ユニットで撮影した撮影画像についての補正や処理を行う画像処理部107、撮影画像を表示する画像表示部108、撮影画像を蓄積する画像バッファ用メモリ109、画像記録部110、プログラム用メモリ111、操作部112、及び制御部113を備える。
即ち、まず撮影によって得られる部分画像系列を受け取り(S101)、各部分画像の位置関係を判定し(S102)、かつ、部分画像に収められた撮影対象の領域を判定する(S103)。続いて、これらの情報から撮影領域を判定し(S104)、部分画像系列から表示用の画像を選択する(S105)。最後に、パノラマイメージを作成し(S106)、パノラマ・プレビューを表示する(S107)。
同一のシーンを撮影した複数の画像を統合し、一枚の大きな画像を生成する方法は一般的にはモザイキングと呼ばれ、画像処理の基本的な手法の一つである。例えば、ある時点におけるフレームの画像(=画像1)上の点(x1、y1)を中心とする近傍の矩形領域のパターンをテンプレートとして、テンプレート画像を次フレーム画像(=画像2)において探索し、最もマッチする点(x2、y2)を画像1上の点の画像2上の対応点とし、この対応点との関係を射影変換行列として表現することで、カメラ位置姿勢情報を求めることが可能である。簡単な例として、ある撮影画像と、そこから縦横方向に少し移動させて撮影した画像について位置関係を算出する方法を示すと、図3Aにおいて、2つの画像間で対応点(x1、y1)と(x2、y2)が見つかった場合、x方向の位置ズレは、図3Bに示すように|x1−x2|、y方向の位置ズレは|y1−y2|となり、これが二つの部分画像の位置関係となる。
なお、位置合わせに関する方法は上述のものに限らず、この他にもSIFT(Scale Invariant Feature Transform)特徴点などを用いてモザイキングを行ってもよい。SIFTは局所不変特徴量を抽出する一手法であり、画像の拡大縮小、照明変動、視点の変化に強いという特徴を有する。視点や光学特性の異なる撮影画像間における対応点探索処理では、SIFTの持つ不変性が有効に機能することが期待される。SIFT特徴点同士のマッチングは、SIFT鍵の値に最近傍探索を適用することで行う。特徴量間の距離として、記述子間のユークリッド距離を用い、距離が最小となるものからマッチングの候補とする。2枚の画像において共通の対応点が観測されている場合、その対応点の、部分画像上の位置ズレを部分画像間の相対位置関係とする。
まず、ある時点におけるフレーム画像(=画像1)と次フレーム画像(=画像2)において前述のように特徴点と対応点を求める。図3Cにおいて、画像1における特徴点1と特徴点2のユークリッド距離をd1とし、画像2におけるそれぞれの対応点間のユークリッド距離をd2とする。画像1の撮影領域面積をS1とすると、画像2には縦横それぞれd1/d2倍広い領域が撮影されているため、撮影領域面積はS1×(d1/d2)×(d1/d2)となる。パノラマイメージを作成する際、あるフレームの画像における撮影領域面積を基準とし、撮影領域面積に合わせて画像を適宜拡大縮小表示した上で、イメージ上に配置することができるようになる。例えば、画像1を基準画像とした場合、画像2は縦と横それぞれ(d1/d2)倍に拡大してパノラマイメージ上に表示する。これにより、同一被写体を異なる焦点位置で撮影した場合にも被写体の大きさが、パノラマイメージを構成する部分画像上では一定に保たれ、パノラマイメージの視認性を維持する。
なお、この算出方法自体は本願発明を構成するものではなく、周知又は公知の算出方法を用いることができる。
ユーザーが撮影を意図した領域を予測する場合、いくつかの方法が考えられる。以下で説明する最も基本的な方法(方法1)の他に、手ぶれなど原因で意図しない撮影が行われた場合などに、余計な撮影領域を除去する方法など(方法2、3)が考えられる。なお、撮影領域が判定した場合には、撮影フレームの中で、撮影対象外となるフレームはデータから削除することで、無駄なデータを保持しない構成としてもよい。
(方法1)
この方法1では、撮影された全フレームに対応する撮影領域を含む最小の矩形を選択し、矩形領域を撮影領域と判定する。
以下、判定方法算出方法の1例を示す。
まず、フレーム1を基準フレームとした場合、図3Dに示すように、フレーム1とフレーム2の相対位置情報(フレーム1→フレーム2:右1、下3)、フレーム2とフレーム3(フレーム2→フレーム3:右−4、下2)の相対位置情報からフレーム1とフレーム3の相対位置情報は、(フレーム1→フレーム3:右1−4=-3、下3+2=5)のように算出される。このように、2フレーム間の相対位置情報から、ある1つの基準フレームに対する相対位置情報が算出され、絶対座標値が算出される。この絶対座標値内でx方向の最小座標値と最大座標値、y方向の最小座標値と最大座標値を有するフレーム画像を抽出する。この時、x方向の最小最大、y方向の最小最大となるフレームが複数抽出された場合、フレームに対する画像領域を判定し、画像領域の大きい方を選択することで、左上端、右上端、左下端、右下端の4フレームを選択する。x方向で最小となるフレームに対応する画像領域のx方向の最小値をxMin、x方向で最大となるフレームに対応する画像領域のx方向の最大値をxMax、y方向で最小となるフレームに対応する画像領域のy方向の最小値をyMin、y方向で最大となるフレームに対応する画像領域のy方向の最大値をyMaxとし、xMin、xMax、yMin、yMaxで決定される矩形領域を撮影領域と判定する。
この他に、各フレームから画像領域を算出して(方法は『0017』記載)、全フレームの画像領域の面積を撮影領域とする方法も考えられる。この方法の場合、撮影領域が斜め方向の直線上に並んだ場合など、外接矩形の面積が大きくても実際に撮影された領域は小さい、という場合があり得るので、誤って写り込んでしまった小領域(エリア)を、より適切に判断できるという利点がある。
撮影対象が複数の独立した領域から構成される場合に、各フレームの相対位置を算出した結果、図4のように撮影領域がいくつかの小領域(エリア)に分割されている場合が想定されるが、エリア4のように極めて小さな領域は、パノラマ画像の生成を意図した撮影として適切でなく、かつ誤操作によって写り込んでしまった可能性が高いため、この方法では、撮影領域の大きさがあるしきい値以上の領域のみを撮影対象領域と判定する。
小領域(エリア)構成法としては、例えば、上記のように外接矩形を用いて撮影領域を判定する場合、まず、あるフレームをエリア1の基準フレームとして任意に選択し、基準フレームとの相対位置情報から連結していると判断されるフレームをエリア1に含まれるフレームと判定する。以後、エリア1に含まれるフレームと連結しているフレームをエリア1に含まれるフレームと判定する。このようにして、エリア1に属するフレーム群を選択し、エリア1に含まれていないフレームの中からエリア2の基準フレームを選択し、同様にしてエリア2に属するフレーム群を判定していく。このようにして構成したエリアが2つ以上の場合、小領域(エリア)に分割されていると判定し、各小領域(エリア)に対して『0019』の方法で撮影領域を判定し、所定のしきい値を用いてノイズ領域を除去する。
この方法では、フレーム数との関係を見て撮影領域を予測する。
例えば動画撮影中に何らかの原因でカメラの向きや方向が意図しない方向にずれてしまうことがあるが、このような領域を撮影対象領域から除外するため、又は時間をかけて撮影されたデータを保護するために、方法1で判定される撮影領域に対して、ある大きさのウィンドウごとに、その領域を撮影しているフレームの数をカウントし、フレーム数がある所定の値(しきい値)よりも小さくなる場合は、その領域を撮影領域から除外する。具体的には、撮影領域内を左上から右下へウィンドウを走査させ、各位置においてウィンドウ領域と画像領域を有するフレームをカウントする。ある位置におけるカウント数が所定のしきい値よりも小さい場合、画像領域がウィンドウ内に完全に含まれるフレームを除外候補とする。走査終了後、除外候補となったフレームを除外する。
この方法によれば、撮影中にユーザーの誤操作で意図しない領域を撮影してしまうケースがあった場合に、そのような撮影領域を検出し、パノラマ画像の生成に関与しない画像データを保持しないようにすることができる。又、動画像の場合、ある特定の領域を時間をかけて撮影する場合があるが、このような場合、エリアは小さいが、ユーザーにとっては重要な撮影データである可能性が高い。この事を考慮して、撮影領域の面積だけでなく、その撮影領域に対応するフレームの数から重要度を判定することで、ユーザーの大切なデータが失われないように保護することができる。
パノラマイメージとは、撮影したフレーム画像から、適当な画像を選択し、それらを相互の位置関係に従って配置したイメージであり、撮影によって得られたいくつかの画像を、撮影対象領域における位置関係を崩さないように配置したものを一覧に表示したものである。これをパノラマ・プレビュー画面としてユーザーに提示することで、ユーザーは自分の撮影した部分画像系列でパノラマ画像を生成した場合のイメージを簡単に把握することができる。つまり、例えば、高層ビルの屋上から見える街並を、ビデオカメラを水平方向に動かしながら撮影した場合、パノラマ・プレビューでは、それら一連の画像の左右の距離感、相対位置を保持して配置し表示する。これによりユーザーは、パノラマ画像の生成に必要な画像が撮影されているか、不備がある場合、例えば建築物の並びなどを手がかりにどの領域を撮影し直すべきかを簡単に確認することができる。
最も基本的な方法を図5のフローチャートを用いて説明する。
まず撮影によって得られる部分画像系列を取得即ち入力し(S201)、各部分画像の位置関係を示すデータを参照して各部分画像をその始点座標で左上から順にソートする(S202)。続いて、ソート順に入力し(S203)、各画像の画像領域データを参照して、ソート順で1つ前の選定画像との撮影領域に関する重複度を算出する(S204)。ここで、算出した値が所定のしきい値以下であるかを判定し(S205)、判定がしきい値以下であれば(S205、YES)、選定画像として採用し(S206)、判定がしきい値を越えていれば選定画像には採用しない。次に全ての部分画像について判定処理が終了したか否かを判断し(S207)、判定がYesであれば(S207、YES)は処理を終了し、Noであれば(S207、NO)、ソート順に入力し次の部分画像についてステップS204以降の処理を行う。
撮影した画像群から生成されるパノラマ画像のイメージを把握するために、上記の手法で選択された画像データを撮影対象に関する相対位置関係を保ちながら配置して表示する必要がある。また、撮影時にはズーム機能を利用すると対象を様々な倍率で捉えることができるが、プレビュー時の視認性を考慮すると、各画像を異なる倍率で表示するよりも、同じ倍率で表示する方が好ましい。
まずパノラマイメージ用に選択された部分画像を入力し(S301)、ここで、入力した部分画像が先頭フレームであれば(S302、YES)、その部分画像の撮影領域に関するデータつまり位置データから撮影時の倍率を算出する(S303)。ここでは、算出された倍率を基本倍率として、以後の部分画像について、画像領域データと基本倍率情報に基づいて表示サイズを決定する(S304)。
ステップS302において、部分画像が先頭フレームでなければ(S302、NO)、ステップS303の表示倍率の算出は行わない。その後、全ての部分画像について処理が終了したかを判定し(S305)、終了していなければ(S305、NO)、次の部分画像に対して処理はステップS303に戻る。終了していれば(S305、YES)、表示用に選別された部分画像を撮影時の位置関係に基づいて配置し、ステップS101〜ステップS104で決定されたサイズで各部分画像を一覧表示したパノラマイメージを生成する。
次に、本願発明の第2の実施例について説明する。
撮影対象とする領域内に撮影されていない空白領域が存在すると、撮影画像の接合だけではパノラマ画像を作成することができない。しかし、一方で、撮影対象領域をくまなく撮影することは難しい。そのため後になって撮影の不備に気付く危険性がある。特に、主要なオブジェクトの領域に欠損がある場合、致命的である。
そこで、パノラマ・プレビュー上で未撮影領域を確認できる表示画像を提供し、そこでパノラマ・プレビュー上に表示されるパノラマイメージで未撮影領域を明示し、撮影時にユーザーの判断で、その領域を撮影し直すなどの対応ができるようにすることが望まれている。
図7、図8は、空白領域である未撮影領域を空白領域の検出方法の処理手順を示すフローチャートである。
図7は、未撮影領域の大きさを表す値としてそのウィンドウを撮影領域として含む部分画像の数を算出し、未撮影領域候補をデータとして記憶するまでの手順を示すフローチャートである。
即ち、まず、始めに全撮影領域内で十分小さいサイズのウィンドウ(例えば撮影したデータの1画素分)について、そのウィンドウを撮影領域として含む部分画像の数をカウントする(S401)。続いて、撮影領域内で、カウント数が連続して0となる領域の面積を算出する(S402)。各領域と面積の情報を未撮影候補データとして記憶する(S403)。
即ち、まず、面積がある所定の値以下となる候補データを入力し(S501)、その面積が、指定された面積(Th)より大となるかを判定し(S502)、その面積が、指定された面積(Th)より大であれば(S502、YES)、その領域を未撮影領域として検出し(S503)、指定された面積(Th)以下であれば(S502、NO)検出しない。続いて、全ての候補について判定が終了したか否かを判定し(S504)、終了していなければ(S504、NO)次の候補データを入力し(S501)、終了していれば(S503、YES)この処理を終了する。
即ち、パノラマ画像として表現したい領域の画像データが十分に撮影されている場合、画像の接合によってパノラマ画像を作成することができる。そこで、上記の処理を通じて検出される未撮影領域が存在しない場合には、パノラマ・プレビューを作成しない仕組みとしてもよい。
パノラマ画像の撮影では、時間の変化を感じさせないことが重要な場合がある。しかしながら、通常の撮影では、例えば移動する車や鳥など、意図しない移動物体が部分画像に紛れ込む可能性が高く、このようなデータを基にパノラマ画像を作成すると、複数の場所に同一の鳥や車が存在するなど、不自然な画像になりかねない。撮影中の動物体検知は、パノラマ・プレビュー表示でも見落としてしまう可能性が高いため、ここでは、移動物体が写り込んでしまった場合にそれを検知し、パノラマイメージ用の部分画像としては採用しないようにすることにより、移動物体混入によるパノラマ画像撮影の不備を効果的にユーザーに提示する方法について説明する。
動画像から移動物体を検知する方法としては、既存の技術を利用することができる。
例えば、特許文献5には、背景変化の存在する動画像から、変化する背景を検出せず、静止・移動する対象物体を検出する技術が開示されており、これを用いると、動画像の各フレームの中で移動物体を含むフレームを判定し、パノラマプレビュー用画像からは除外することが可能となる。
即ち、まず撮影によって得られる部分画像系列を取得即ち入力し(S601)、前記画像データが移動物体を含むか否かを例えば上記方法で判定する(S602)。前記画像データが移動物体を含む場合は(S602、YES)、前記部分画像データを表示用画像候補として検出する(S603)。前記画像データが移動物体を含まない場合は(S602、NO)、表示用画像としては採用しない。
続いて、表示用画像データの候補について、実施例1に記述したような処理フローに従って重複度を考慮しながら表示用画像データを選択していくことができる。全ての部分画像を判定したときは(S604、YES)、処理を終了する。
連続撮影によって得られた部分画像系列を利用して、近隣フレームの複数画像によって画素補間を行い、実際の解像度よりも高解像度の画像を得る超解像技術があるが、これには撮影領域に対して十分な数のフレームが必要である。しかし、ユーザーが手動で広範囲な領域を撮影する場合、フレーム数を考慮して撮影することは困難であり、結果的に、領域に対するフレームの密度が非常に少ない領域が発生することが考えられる。特に、撮影領域内に主要なオブジェクトが存在している場合など、特定の領域は正確に、かつ高画質に再現したい場合などがあるが、このような場合も、フレーム数の少ない領域を簡単に確認できる機能があることが望ましい。
次に、高品質なパノラマ画像をより確実に生成するために、パノラマ・プレビュー画面上でフレーム数の少ない領域をユーザーに提示する方法について図11のフローチャートを用いて説明する。
即ち、始めに全撮影領域内で所定サイズのウィンドウを動かし、そのウィンドウを撮影領域として含む部分画像の数をカウントする(S701)。その後、カウント数がしきい値よりも小さいか否かを判定し(S702)、カウント数がしきい値よりも小さくなければ(S702、NO)、次の領域へウィンドウを動かす。カウント数がしきい値よりも小さければ(S702、YES)、その領域範囲をデータ(領域データ)として保存する(S703)。パノラマ・プレビュー表示では、前述の領域をフレーム数の少ない領域を特徴付けて(色を付けるなどして)表示する。異なるクラスの全ての事例データを比較したときは(S705、YES)この処理を終了する。
表示方法としては、上述のようにフレーム数の少ない領域のみを提示してもよいし、フレーム数の範囲によって色づけするなどの方法で、全撮影領域における各領域のフレーム数を特徴付けた表示を行ってもよい。
Claims (12)
- 撮影により得られる部分画像系列を受け取る手段と、
前記部分画像について撮影時の地理的位置関係を算出する画像位置判定手段と、
各部分画像について撮影領域を算出する画像領域判定手段と、
前記画像位置判定手段と画像領域判定手段に基づいて全撮影領域を算出する撮影領域判定手段と、
前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択手段と、
前記選択された複数の部分画像を前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示するパノラマ・プレビュー表示手段を有することを特徴とする撮影装置。 - 請求項1に記載された撮影装置において、
前記表示画像選択手段は、互いの撮影領域の重複度が予め指定された値以下となるように選択することを特徴とする撮影装置。 - 請求項2に記載された撮影装置において、
前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記画像位置判定手段によって算出された画像の位置関係、および距離感を保持して配置し表示することを特徴とする撮影装置。 - 請求項3に記載された撮影装置において、
前記パノラマ・プレビュー表示手段は、前記表示画像選択手段により選択された各画像について前記算出された撮影領域に対する表示画像サイズの倍率が一定となるように拡大又は縮小して表示することを特徴とする撮影装置。 - 請求項3に記載された撮影装置において、
前記撮影領域判定手段において算出された全撮影領域内で撮影されていない領域を検出する空白領域検出手段を更に有し、
前記パノラマ・プレビュー表示手段において、
前記検出された空白領域をパノラマイメージと共に示すことを特徴とする撮影装置。 - 請求項3に記載された撮影装置において、
前記撮影領域判定手段において算出された全撮影領域内で撮影されていない領域を検出する空白領域検出手段を更に有し、
前記空白領域の大きさを表す値がある所定の値以下である場合には、パノラマイメージを作成しないことを特徴とする撮影装置。 - 請求項2に記載された撮影装置において、
前記入力された部分画像系列から移動する物体を検知する移動物体検知手段を更に有し、
前記画像選択手段は、前記移動物体を含む部分画像を選択対象から除外することを特徴とする撮影装置。 - 請求項3に記載された撮影装置において、
前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、
前記パノラマ・プレビュー表示手段は、
前記算出されたフレーム密度がある所定の値よりも低い領域をパノラマイメージと共に示すことを特徴とする撮影装置。 - 請求項2に記載された撮影装置において、
前記画像領域判定手段によって算出された撮影領域に基づき領域外と判断される部分画像データを削除することを特徴とする撮影装置。 - 請求項9に記載された撮影装置において、
前記画像領域判定手段において算出される画像領域が複数点在する場合において、ある所定の値よりも小さい領域を領域外の候補とすることを特徴とする撮影装置。 - 請求項9に記載された撮影装置において、
前記入力された部分画像系列から領域あたりのフレーム数を算出するフレーム密度算出手段を更に有し、
前記画像領域判定手段は、前記算出されたフレーム密度がある所定の値よりも低い場合に前記領域をユーザーの意図した撮影対象外領域として除外することを特徴とする撮影装置。 - 撮影により得られる部分画像系列を受け取る工程と、前記部分画像について撮影時の地理的位置関係を算出する画像位置判定工程と、各部分画像について撮影領域を算出する画像領域判定工程と、前記画像位置判定工程と画像領域判定工程に基づいて全撮影領域を算出する撮影領域判定工程と、前記部分画像系列から表示に用いる複数の部分画像を選択する表示画像選択工程と、を有し、
前記選択された複数の部分画像を、前記画像位置、画像領域、及び撮影領域の情報に基づいてパノラマ・プレビュー画像を表示することを特徴とするパノラマ・プレビュー画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047338A JP5268025B2 (ja) | 2009-02-27 | 2009-02-27 | 撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047338A JP5268025B2 (ja) | 2009-02-27 | 2009-02-27 | 撮影装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010204773A true JP2010204773A (ja) | 2010-09-16 |
JP5268025B2 JP5268025B2 (ja) | 2013-08-21 |
Family
ID=42966216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009047338A Expired - Fee Related JP5268025B2 (ja) | 2009-02-27 | 2009-02-27 | 撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5268025B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012222541A (ja) * | 2011-04-07 | 2012-11-12 | Casio Comput Co Ltd | 撮像装置、画像合成方法、及びプログラム |
CN103024422A (zh) * | 2011-09-22 | 2013-04-03 | 富士施乐株式会社 | 图像处理装置和图像处理方法 |
CN104823219A (zh) * | 2012-12-06 | 2015-08-05 | 高通股份有限公司 | 全景图像的环形视图 |
CN110536526A (zh) * | 2019-08-28 | 2019-12-03 | 深圳市海洋王照明工程有限公司 | 一种防爆照明装置、后台监控装置及防爆照明系统 |
JP2020202583A (ja) * | 2015-06-23 | 2020-12-17 | 東芝テック株式会社 | 画像処理装置 |
US11528411B2 (en) | 2018-07-03 | 2022-12-13 | Fujifilm Corporation | Imaging plan presentation apparatus and method for updating and re-generating an imaging plan |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10186551A (ja) * | 1996-12-26 | 1998-07-14 | Canon Inc | 画像処理方法及び装置並びに記憶媒体 |
JP2000244814A (ja) * | 1999-02-24 | 2000-09-08 | Hitachi Ltd | 画像合成装置、画像合成方法が記録された記録媒体 |
JP2005309921A (ja) * | 2004-04-23 | 2005-11-04 | Seiko Epson Corp | 複数の画像からの画像合成 |
JP2007081973A (ja) * | 2005-09-15 | 2007-03-29 | Fujifilm Corp | カメラシステム及びプリントシステム |
-
2009
- 2009-02-27 JP JP2009047338A patent/JP5268025B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10186551A (ja) * | 1996-12-26 | 1998-07-14 | Canon Inc | 画像処理方法及び装置並びに記憶媒体 |
JP2000244814A (ja) * | 1999-02-24 | 2000-09-08 | Hitachi Ltd | 画像合成装置、画像合成方法が記録された記録媒体 |
JP2005309921A (ja) * | 2004-04-23 | 2005-11-04 | Seiko Epson Corp | 複数の画像からの画像合成 |
JP2007081973A (ja) * | 2005-09-15 | 2007-03-29 | Fujifilm Corp | カメラシステム及びプリントシステム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012222541A (ja) * | 2011-04-07 | 2012-11-12 | Casio Comput Co Ltd | 撮像装置、画像合成方法、及びプログラム |
US9253365B2 (en) | 2011-04-07 | 2016-02-02 | Casio Computer Co., Ltd. | Image processing device for generating composite image having predetermined aspect ratio |
CN103024422A (zh) * | 2011-09-22 | 2013-04-03 | 富士施乐株式会社 | 图像处理装置和图像处理方法 |
JP2013070212A (ja) * | 2011-09-22 | 2013-04-18 | Fuji Xerox Co Ltd | 画像処理装置、画像処理プログラム |
CN103024422B (zh) * | 2011-09-22 | 2016-10-05 | 富士施乐株式会社 | 图像处理装置和图像处理方法 |
CN104823219A (zh) * | 2012-12-06 | 2015-08-05 | 高通股份有限公司 | 全景图像的环形视图 |
JP2016506648A (ja) * | 2012-12-06 | 2016-03-03 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | パノラマ画像のための環状ビュー |
US9888173B2 (en) | 2012-12-06 | 2018-02-06 | Qualcomm Incorporated | Annular view for panorama image |
JP2020202583A (ja) * | 2015-06-23 | 2020-12-17 | 東芝テック株式会社 | 画像処理装置 |
US11528411B2 (en) | 2018-07-03 | 2022-12-13 | Fujifilm Corporation | Imaging plan presentation apparatus and method for updating and re-generating an imaging plan |
US11895396B2 (en) | 2018-07-03 | 2024-02-06 | Fujifilm Corporation | Imaging plan presentation apparatus and method for updating and re-generating an imaging plan |
CN110536526A (zh) * | 2019-08-28 | 2019-12-03 | 深圳市海洋王照明工程有限公司 | 一种防爆照明装置、后台监控装置及防爆照明系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5268025B2 (ja) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798130B2 (en) | User feedback for real-time checking and improving quality of scanned image | |
EP3092603B1 (en) | Dynamic updating of composite images | |
US7424218B2 (en) | Real-time preview for panoramic images | |
JP4912117B2 (ja) | 追跡機能付き撮像装置 | |
JP4341629B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP5760324B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体 | |
JP5096302B2 (ja) | 撮像装置 | |
EP0940978A2 (en) | High resolution camera | |
JP5268025B2 (ja) | 撮影装置 | |
JP5237721B2 (ja) | 撮像装置 | |
US20130235086A1 (en) | Electronic zoom device, electronic zoom method, and program | |
JP2006148260A (ja) | 自動追尾装置、画像異常検出装置、自動追尾方法、画像異常検出方法、プログラムおよび記憶媒体 | |
JP2009110486A (ja) | 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法 | |
JP2007074578A (ja) | 画像処理装置、撮影装置、及びプログラム | |
JP5142825B2 (ja) | 画像表示装置及び画像表示方法 | |
JP2007142507A (ja) | 撮像装置 | |
JP5209100B2 (ja) | 撮像装置 | |
JP4936222B2 (ja) | 動きベクトル照合装置、画像合成装置及びプログラム | |
JP2008211534A (ja) | 顔検知装置 | |
JP2019087924A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2006253806A (ja) | 撮影装置及び撮影方法 | |
JP2008306284A (ja) | 撮影装置、表示方法、及びプログラム | |
JP2009169884A (ja) | 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム | |
JP2009042900A (ja) | 撮像装置および画像選択装置 | |
JP2021097351A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130428 |
|
LAPS | Cancellation because of no payment of annual fees |