JP2012080204A - 画像処理装置及び方法、並びにプログラム - Google Patents
画像処理装置及び方法、並びにプログラム Download PDFInfo
- Publication number
- JP2012080204A JP2012080204A JP2010221329A JP2010221329A JP2012080204A JP 2012080204 A JP2012080204 A JP 2012080204A JP 2010221329 A JP2010221329 A JP 2010221329A JP 2010221329 A JP2010221329 A JP 2010221329A JP 2012080204 A JP2012080204 A JP 2012080204A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image data
- unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title description 135
- 239000000203 mixture Substances 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims description 182
- 239000002131 composite material Substances 0.000 claims description 38
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 120
- 238000006073 displacement reaction Methods 0.000 description 72
- 230000001186 cumulative effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000003825 pressing Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【解決手段】画像合成部52は、デジタルカメラ1が所定量だけ移動する毎に、画像処理部17から1つの画像データを取得する。そして、画像合成部52は、これまでに取得された複数の画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。合成位置判定部53は、画像合成部52の合成対象のうち、隣接する2つの画像データ同士の対応する領域内で前記画像データ同士を比較するためのラインを設定し、対応するライン同士の少なくとも一部についての類似度を、複数のラインについて算出し、最も類似度の高いラインに基づいて、隣接する2つの画像データの合成位置を決定する。
【選択図】図2
Description
したがって、パノラマ撮像など、ハードスペックを越えるような広角画像を取得する場合は、一定方向に撮像装置を動かしながら連写し、得られた複数の画像を合成することで広角画像を生成する技術がある(例えば、特許文献1参照)。
すると、デジタルカメラは、その間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像(以下、「撮像画像」と呼ぶ)の画像データを横方向(水平方向)に合成することによって、パノラマ画像の画像データを生成する。
特許文献1には、複数回の撮像処理の毎に撮像画像における特徴点を検出し、隣接する2枚の撮像画像の特徴点同士が一致するように、複数の撮像画像の画像データを横方向に合成することによって、パノラマ画像の画像データを生成する手法が開示されている。
その結果、2枚の撮像画像の合成位置近辺では、同一の被写体が二重に存在して記録されたり、逆に本来存在するはずの被写体が含まれていない、といった違和感のある合成画像が得られることになる。
ROM12はまた、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶している。
なお、後述する図2の撮像制御部51乃至合成位置判定部53の各機能のうち少なくとも一部を、画像処理部17に移譲することも可能である。
AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部16の出力信号として出力する。
なお、以下、撮像部16の出力信号を、「撮像画像の画像データ」と呼ぶ。従って、撮像部16からは撮像画像の画像データが出力されて、画像処理部17等に適宜供給される。
画像処理部17は、CPU11と協働して、撮像部16から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
ここで、以下、特に断りのない限り、「画像データ」とは、撮像部16から一定時間毎に入力される撮像画像の画像データ、又は、当該画像データが加工等されたものを呼ぶ。即ち、本実施形態では、当該画像データが処理単位として採用されている。
なお、上述したように、撮像制御部51乃至合成位置判定部53の各機能は、本実施形態のようにCPU11に搭載されている必要は特になく、これらの各機能のうち少なくとも一部を、画像処理部17に移譲させることも可能である。
撮像制御部51は、撮像処理の実行全体を制御する。例えば、撮像制御部51は、デジタルカメラ1の動作モードとして、通常撮像モードと、パノラマ撮像モードとを選択的に切り替えて、切り替え後の動作モードに従った処理を実行することができる。
パノラマ撮像モードになると、画像合成部52及び合成位置判定部53が、撮像制御部51の制御の下で動作する。
詳細には、図3(A)は、通常撮像モードでの撮像操作を説明する図である。図3(B)は、パノラマ撮像モードでの撮像操作を説明する図である。
図3(A)及び図3(B)のそれぞれにおいて、デジタルカメラ1の奥にある絵は、デジタルカメラ1の被写体を含む実世界の様子を示している。また、図3(B)に示す縦の点線は、デジタルカメラ1の移動方向の各位置a、b、cを示している。デジタルカメラ1の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ1の撮像方向(角度)を変化させた場合における、デジタルカメラ1の光軸が移動する方向をいう。
通常撮像モードでは、図3(A)に示すように、ユーザは、デジタルカメラ1を固定させた状態で、操作部20のシャッタスイッチ41を下限まで押下する。なお、このように、シャッタスイッチ41を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
撮像制御部51は、全押し操作がなされた直後に画像処理部17から出力された画像データを、記録対象としてリムーバブルメディア31に記録させるまでの一連の処理の実行を制御する。
以下、このように、通常撮像モードにおいて撮像制御部51の制御により実行される一連の処理を、「通常撮像処理」と呼ぶ。
パノラマ撮像モードでは、図3(B)に示すように、ユーザは、シャッタスイッチ41の全押し操作を維持した状態で、デジタルカメラ1を同図中黒矢印の方向に移動させる。
撮像制御部51は、全押し操作が維持されている間、画像合成部52等を制御して、角速度センサ22からの角度変位量が一定値に達する毎に、その直後に画像処理部17から出力された画像データを記憶部18に一時的に記憶していくことを繰り返す。
その後、ユーザは、全押し操作を解除する操作、即ちシャッタスイッチ41から指等を離す操作(以下、このような操作を「リリース操作」と呼ぶ)をすることで、パノラマ撮像の終了を指示する。
撮像制御部51は、画像合成部52等を制御して、パノラマ撮像の終了が指示されると、これまでに記憶部18に記憶された複数の画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
そして、撮像制御部51は、画像合成部52等を制御して、パノラマ画像の画像データを、記録対象としてリムーバブルメディア31に記録させる。
このように、撮像制御部51は、パノラマ撮像モードにおいて、画像合成部52等を制御して、パノラマ画像の画像データを生成し、それを記録対象としてリムーバブルメディア31に記録させるまでの一連の処理を制御する。
以下、このように、パノラマ撮像モードにおいて撮像制御部51の制御により実行される一連の処理を「パノラマ撮像処理」と呼ぶ。
即ち、画像合成部52は、デジタルカメラ1が所定量だけ移動する毎に(角度変位量が一定値になる毎)に、撮像制御部51から発行される取得指令を受けて、画像処理部17から1つの画像データを取得する。そして、画像合成部52は、これまでに取得された複数の画像データを、記憶された順番で水平方向に合成することによって、パノラマ画像の画像データを生成する。
即ち、パノラマ撮像モードにおいて、図3(B)に示すような撮像操作が行われると、撮像制御部51の制御の下、画像合成部52により、図4に示すようなパノラマ画像P3の画像データが生成され、リムーバブルメディア31に記録される。
ここで、ラインとは、画像データを構成する各画素のうち、線、又は長方形を構成する画素の集合体をいう。ここで、線の方向又は長方形の長手方向を「長さ方向」と呼び、その長さ方向の長さを「ライン長」と呼び、長さ方向と直交する方向を「幅方向」と呼び、その幅方向の長さを「ライン幅」と呼ぶ。
この場合、線とは、幅方向の画素数が「1」であって、長さ方向の画素数が「L(Lは2以上の整数値)」の画素の集合体を指す。ここで、ライン長及びライン幅の単位を画素数で表現するものとすると、線とは、ライン長が「L」でライン幅が「1」の画素の集合体である。一方、長方形とは、ライン長が「L」であって、ライン幅が「W(Wは、2以上の整数値であって、Lよりも小さい整数値)」の画素の集合体を指す。要するに、ライン幅を示すWとして「1」も含めるならば、ライン長が「L」であって、ライン幅が「W」の画素の集合体が、ここでいうラインである。
ラインの長さ方向は、特に限定されず任意の方向でよいが、複数の画像データが合成される方向に対して垂直方向が好適である。ラインの長さ方向が、隣接する撮像画像が合成される場合の境界線の方向と一致するためである。本実施形態では、複数の画像データは水平方向(横方向)に合成されるので、ラインの長さ方向は垂直方向であるものとする。よって、本実施形態の説明をしている範囲内では、以下、特に断りのない限り、ラインとは垂直方向のラインを意味するものとする。
図5において、画像データFaは、パノラマ撮像中に、K回目(Kは2以上の整数値)の撮像により得られた撮像画像の画像データを示している。画像データFbは、同パノラマ撮像中に、K+1回目の撮像により得られた撮像画像の画像データを示している。即ち、画像データFaが得られた次の回に、画像データFbが得られたことになる。
ここで、画像データFaと画像データFbとの重なり部分(同一の被写体が含まれている部分)の検出手法は、特に限定されず、画像データFaと画像データFbとを画像処理により比較する手法等任意の手法を採用することができる。
ただし、本実施形態では、上述したように、デジタルカメラ1が所定量だけ移動する毎に(角度変位量が一定値になる毎)に1回の画像データの撮像が行われる。従って、当該所定量(角度変位量の一定値)に基づいてある程度の重なり部分は推定することができる。そこで、本実施形態では、当該所定量(角度変位量の一定値)に基づいて推定された部分を、重なり部分とするといった手法が採用されている。
次に、合成位置判定部53は、例えば、画像データFaと画像データFbとの各々の検索範囲となっている領域の左端を基準として、基準から右方に同距離の位置にある画像データFaと画像データFbとの各々のライン同士の類似度を算出する。
類似度を算出するラインの位置及び本数は、特に限定されないが、ここでは説明の簡略上、予め定められた等間隔で4本のラインがあるものとする。即ち、図5(A)に示すように、画像データFaからは4本のラインa1乃至a4が選択され、画像データFbからは4本のラインb1乃至b4が選択されている。そして、ラインa1とラインb1との類似度、ラインa2とラインb2との類似度、ラインa3とラインb3との類似度、及び、ラインa4とラインb4との類似度がそれぞれ算出される。
なお、類似度の算出手法は、特に限定されないが、本実施形態では、比較対象の2本のラインの画素単位の輝度値の差分の二乗和、即ち、SSD(Sum of Squared Differences)を用いて類似度を算出する手法が採用されている。
この場合、図5(C)に示すように、画像データFaのラインa2と、画像データFbのラインb2とが端同士として張り合わされるように、画像データFaの一部分Fapの画像データと、画像データFbの一部分Fbpの画像データとが合成されることになる。
即ち、画像データFaにとってはラインa2がいわゆる合成ラインとなり、画像データFbにとってはラインb2がいわゆる合成ラインとなる。
次に、図6を参照して、このような機能的構成を有するデジタルカメラ1が実行する撮像処理について説明する。
本実施形態では、撮像処理は、デジタルカメラ1の図示せぬ電源がオン状態になると開始する。
操作検出処理とは、操作部20の各スイッチの状態を検出する処理をいう。撮像制御部51は、操作検出処理を実行することにより、動作モードとして、通常撮像モードが設定されているのか、それともパノラマ撮像モードが設定されているのかを検出することができる。
また、本実施形態の初期設定処理の1つとして、角度変位量の一定値と、角度変位量の最大限界である閾値(例えば、360度)とを設定する処理が採用されている。
具体的には、角度変位量の一定値と、角度変位量の最大限界である閾値(例えば、360度)は、図1のROM12に予め記憶されており、ROM12から読み出されてRAM13に書き込まれることで設定される。なお、角度変位量の一定値は、後述する図7のステップS35の判定処理で用いられる。一方、角度変位量の最大限界である閾値(例えば、360度)は、同図のステップS44の判定処理で用いられる。
また、本実施形態では、後述する図7のステップS34,S39等に示すように、角速度センサ22によって検出された角度変位量は累積加算されて、その累積加算値としての累積角度変位量や総合角度変位量(両者の違いは後述する)がRAM13に格納される。そこで、これらの累積角度変位量や総合角度変位量を0にリセットする処理が、本実施形態の初期設定処理の1つとして採用されている。なお、累積角度変位量は、後述する図7のステップS35の判定処理で、上述した一定値と比較される。一方、総合角度変位量は、後述する図7のステップS44の判定処理で、上述した閾値と比較される。
さらにまた、本実施形態の初期設定処理の1つとして、エラーフラグを0にリセットする処理が採用されている。エラーフラグとは、パノラマ撮像処理中にエラーが発生した時に1にセットされるフラグをいう(後述する図7のステップS43参照)。
即ち、撮像制御部51は、撮像部16や画像処理部17を制御して、撮像部16による撮像動作を継続させる。そして、撮像制御部51は、撮像部16による撮像動作が継続されている間、当該撮像部16を介して画像処理部17から順次出力される画像データを、メモリ(本実施形態では記憶部18)に一時的に記憶させる。このような撮像制御部51による一連の制御処理が、ここでいう「スルー撮像処理」である。
また、撮像制御部51は、表示制御部54を制御して、スルー撮像時にメモリ(本実施形態では記憶部18)に一時的に記録された各画像データを順次読み出して、各々に対応する画像データの画像を表示部19に順次表示させる。このような撮像制御部51による一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部19に表示されている画像データの画像を、以下、「スルー画像」と呼ぶ。
ここで、半押しとは、操作部20のシャッタスイッチ41の途中(下限に至らない所定の位置)まで押下する操作をいい、以下、「半押し操作」とも適宜呼ぶ。
シャッタスイッチ41が半押しされていない場合、ステップS3においてNOであると判定されて、処理はステップS12に進む。
処理の終了指示は、特に限定されないが、本実施形態では、デジタルカメラ1の図示せぬ電源がオフ状態になった旨の通知が採用されているものとする。
従って、本実施形態では電源がオフ状態になりその旨が撮像制御部51に通知されると、ステップS12においてYESであると判定されて、撮像処理全体が終了となる。
これに対して、電源がオン状態の場合には、電源がオフ状態になった旨の通知はなされないので、ステップS12においてNOであると判定され、処理はステップS2に戻され、それ以降の処理が繰り返される。即ち、本実施形態では電源がオン状態を維持している限り、シャッタスイッチ41が半押しされるまでの間、ステップS3:NO及びステップS12:NOのループ処理が繰り返し実行されて、撮像処理は待機状態となる。
シャッタスイッチ41が全押しされない場合には、ステップS5においてNOであると判定される。この場合には、処理はステップS4に戻され、それ以降の処理が繰り返される。即ち、本実施形態では、シャッタスイッチ41が全押しされるまでの間、ステップS4、及びステップS5:NOのループ処理が繰り返し実行されて、AF処理がその都度実行される。
ステップS6において、撮像制御部51は、現在設定されている撮像モードがパノラマ撮像モードであるか否かを判定する。
パノラマ撮像モードでない場合、即ち通常撮像モードが現在設定されている場合、ステップS6においてNOであると判定され、処理はステップS7に進む。
ステップS7において、撮像制御部51は、上述した通常撮像処理を実行する。
即ち、全押し操作がなされた直後に画像処理部17から出力された1つの画像データが、記録対象としてリムーバブルメディア31に記録される。これにより、ステップS7の通常撮像処理が終了して、処理はステップS12に進む。なお、ステップS12以降の処理については上述したので、ここではその説明は省略する。
ステップS8において、撮像制御部51は、上述したパノラマ撮像処理を実行する。
パノラマ撮像処理の詳細については図7を参照して後述するが、原則として、パノラマ画像の画像データが生成されて、記録対象としてリムーバブルメディア31に記録される。これにより、ステップS8のパノラマ撮像処理が終了して、処理はステップS9に進む。
詳細については、図7を参照して後述するが、パノラマ画像の画像データが記録対象としてリムーバブルメディア31に記録されて、ステップS8のパノラマ撮像処理が適正に終了すると、エラーフラグは0になっている。このような場合には、ステップS9においてNOであると判定されて、処理はステップS12に進む。なお、ステップS12以降の処理は上述したので、ここではその説明は省略する。
これに対して、ステップS8のパノラマ撮像処理中に何らかのエラーが発生すると、当該パノラマ撮像処理は不適正に終了する。このような場合には、エラーフラグは1になっているため、ステップS9においてYESであると判定されて、処理はステップS10に進む。
ステップS11において、撮像制御部51は、パノラマ撮像モードを解除し、エラーフラグを0にリセットする。
その後、処理はステップS1に戻され、それ以降の処理が繰り返される。即ち、撮像制御部51は、ユーザによる次の新たな撮像操作に備える。
次に、図7を参照して、図6の撮像処理のうち、ステップS8のパノラマ撮像処理の詳細な流れについて説明する。
上述したように、パノラマ撮像モードの状態でシャッタスイッチ41が全押しされると、図6のステップS5及びS6においてYESとあると判定されて、処理はステップS8に進み、パノラマ撮像処理として次のような処理が実行される。
ユーザがデジタルカメラ1を移動させていない状態では、角度変位量は0になるため、ステップS32においてNOであると判定され、処理は、ステップS33に進む。
所定時間が経過していない場合には、ステップS33においてNOであると判定され、処理はステップS31に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ1を移動させていない状態の継続時間が所定時間より短い場合には、撮像制御部51は、ステップS31乃至ステップS33:NOのループ処理を繰り返し実行することで、パノラマ撮像処理を待機状態にする。
ここで、本実施形態では、ユーザがデジタルカメラ1を一定量移動させる度に、パノラマ途中画像の画像データ生成用の1つの画像データ(合成対象)が、画像処理部17から画像合成部52に供給されるものとする。
これを実現すべく、デジタルカメラ1の移動量としての「一定量」に対応する累積角度変位量が、図6のステップS1の初期設定処理により「一定値」として予め与えられている。
即ち、本実施形態では、累積角度変位量が一定値に達する毎に、1つの画像データ(合成対象)が画像処理部17から画像合成部52に供給されると共に、累積角度変位量が0にリセットされる。
このような一連の処理が、次のステップS35以降の処理として実行される。
累積角度変位量が一定値に達していない場合には、ステップS35においてNOであると判定され、処理はステップS31に戻され、それ以降の処理が繰り返される。即ち、ユーザがデジタルカメラ1を一定量移動させることによって、累積角度変位量が一定値に達しない限り、撮像制御部51は、ステップS31乃至S35のループ処理を繰り返し実行する。
その後、ユーザがデジタルカメラ1を一定量移動させることによって、累積角度変位量が一定値に達したときは、ステップS35においてYESであると判定されて、処理はステップS36に進む。
即ち、撮像制御部51は、累積角度変位量が一定値に達したとして、処理をステップS36に進めると、画像合成部52に対して取得指令を発行する。
この取得指令を受けた画像合成部52は、ステップS36の処理として、画像処理部17から1つの画像データを取得する。
例えば上述の図5の例でいえば、ステップS36の処理で取得された画像データが、画像データFbに該当し、前回の画像データが、画像データFaに該当する。そして、画像データFbのラインb1乃至b4の各々と、画像データFaのラインa1乃至a4の各々との類似度が演算される。
パノラマ途中画像とは、パノラマ撮像モードが選択されている状態で全押し操作がなされた場合、生成予定のパノラマ画像のうち、現在までに撮像された領域を示す画像をいう。
即ち、K回目(Kは2以上の整数値)のステップS38の処理の場合、その直前のK回目のステップS36の処理では、K回目の画像データが得られたことになる。よって、1乃至K−1回目の画像データの各々の一部が合成された画像(K−1回目に生成されたパノラマ途中画像)の右方の合成ラインの部分(図5の例のラインa2に該当する部分)と、K回目の画像データの左方の合成ラインの部分(図5の例のラインb2に該当する部分)とで貼りあわせたような画像が、K回目(今回)のパノラマ途中画像となる。
したがって、撮像制御部51は、累積角度変位量を用いても、パノラマ撮像処理が開始されてから現在までにデジタルカメラ1がどこまで移動したのかを認識することができない。
そこで、このような認識を可能にすべく、本実施形態では、累積角度変位量とは別に、総合角度変位量が採用されている。
即ち、総合角度変位量とは、角度変位量が累積加算された値であるが、一定量に達しても0にリセットされずに、パノラマ撮像処理が終了するまでの間(詳細には後述するステップS46の処理が実行されるまでの間)累積加算され続ける値である。
リリース操作が行われていない場合、即ち、ユーザによるシャッタスイッチ41の全押しが継続されている場合には、ステップS41においてNOであると判定されて、処理はステップS42に進む。
画像取得のエラーについては、特に限定されないが、例えば、本実施形態では、デジタルカメラ1が斜め方向、上下方向、又は逆方向に一定量以上移動したことがエラーとして採用されている。
ステップS44において、撮像制御部51は、総合角度変位量が閾値を超えたか否かを判別する。
上述したように、総合角度変位量とは、パノラマ撮像処理が開始されてから(全押し操作がなされてから)、ステップS44の処理が実行される時点までの角度変位量の累積加算値である。
ここで、本実施形態では、パノラマ撮像中にユーザがデジタルカメラ1を移動させることが可能な最大移動量が予め決定されている。このようなデジタルカメラ1の移動量としての「最大移動量」に対応する総合角度変位量が、図6のステップS1の初期設定処理により「閾値」として予め与えられている。
このように、本実施形態では、総合角度変位量が閾値に達したことは、デジタルカメラ1が最大移動量だけ移動したことを意味する。
従って、総合角度変位量が閾値に達していない場合、即ちデジタルカメラ1の移動量が最大移動量まで達していない場合、ユーザはデジタルカメラ1をまだ移動し続けることができるので、ステップS44においてNOであると判定されて、処理はステップS31に戻され、それ以降の処理が繰り返される。
即ち、角度変位量0の継続が所定時間経過すること(デジタルカメラ1が所定時間移動しないこと)もエラーの1つに含めると、エラーが発生しない状態で、全押し操作が継続されている限り、ステップS31乃至S44:NOのループ処理が繰り返し実行される。
ステップS45において、撮像制御部51は、画像合成部52を介して、パノラマ画像の画像データを生成し、記録対象の画像データとしてリムーバブルメディア31に記録させる。
なお、本実施形態では、画像データが取得される毎に、パノラマ途中画像の画像データが生成されているので、ステップS45の処理時点で生成されているパノラマ途中画像の画像データが、最終的なパノラマ画像の画像データとして採用される。
これにより、パノラマ撮像処理は適正に終了する。即ち、図6のステップS8の処理は適正に終了して、次のステップS9の処理でNOであると判定される。なお、ステップS9の処理でNOであると判定された後の処理については、上述したので、ここではその説明は省略する。
ステップS43において、撮像制御部51は、エラーフラグを1にセットする。
この場合、ステップS45の処理は実行されずに、即ち、パノラマ画像の画像データは記録されずに、パノラマ撮像処理は不適正に終了する。
即ち、図6のステップS8の処理は不適正に終了して、次のステップS9の処理でYESであると判定されて、ステップS10の処理でエラーの内容が表示される。
この場合のエラー内容の表示は、上述したように特に限定されないが、例えば、「画像取得に失敗しました」や「時間オーバーです」等のメッセージ表示を採用することができる。
本実施形態のデジタルカメラ1はまた、画像合成部52と、合成位置判定部53と、を備えている。
画像合成部52は、デジタルカメラ1が所定量だけ移動する毎(上述した累積角度変位量が一定値に到達する毎)に、撮像部16から出力される画像データを画像処理部17を介して取得して、記憶部18に保持させる。そして、画像合成部52は、これまでに記憶部18に累積的に保持された複数の画像データの少なくとも一部を合成することによって、パノラマ途中画像(合成画像)の画像データを順次生成する。
合成位置判定部53は、画像合成部52の合成対象のうち、隣接する2つの画像データ同士の対応する領域内で、対応するライン同士の類似度を、複数のラインについて算出し、最も類似度の高いラインに基づいて、隣接する2つの画像データの合成位置を判定する。
これにより、図5を参照して上述したように、適切な位置で複数の画像データの一部が合成されていく。よって、2つの画像データの合成位置近辺で、同一の被写体がだぶって含まれるように合成されてしまうことや、本来存在するはずの被写体が含まれないように合成されてしまうことが防止される。その結果、違和感のないパノラマ画像の画像データが得られることになる。
しかしながら、ライン全体である必要は特に無く、ラインの一部分同士の類似度が判定されるようにしてもよい。
しかしながら、ライン長、ライン幅、ライン位置、及び、本数のうち少なくとも一部について、可変設定できるようにしてもよい。即ち、合成位置判定部53は、類似度を求めるラインについて、ライン長、ライン幅、ライン位置、及び本数のうちの少なくとも一部を可変設定する機能を有するようにしてもよい。
例えば、スルー画像を解析する画像処理によってデジタルカメラ1の角度変位量を検出する手法を採用してもよい。
しかしながら、本発明は、特にこれに限定されず、パノラマ画像の生成が可能になる機能を有する電子機器一般に適用することができ、例えば、本発明は、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
Claims (6)
- 所定時間毎に撮像することによって順次得られた第1の画角の画像を複数取得する取得手段と、
前記取得手段によって取得された複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する画像合成手段を備え、
前記画像合成手段は、前記画像合成手段の合成対象のうち、隣接する複数の画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する複数の画像の合成位置を決定する合成位置決定手段
を含むことを特徴とする画像処理装置。 - 前記合成位置判定手段は、前記隣接する複数の画像同士の対応する領域内で、複数のラインを設定し、設定したラインのうち前記最も類似度の高いライン同士を、それぞれの合成位置として判定する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記合成位置判定手段は、さらに、類似度を求める前記ラインについて、ライン長、ライン幅、ライン位置及び本数のうちの少なくとも一部を可変設定する設定手段を含む、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 撮像手段を備え、
前記取得手段は、前記撮像手段によって所定時間毎に撮像することによって順次得られた第1の画角の画像を複数取得する、
ことを特徴とする請求項1乃至3の何れかに記載の画像処理装置。 - 所定時間毎に撮像することによって順次得られた第1の画角の画像を複数取得する取得手段を備える画像処理装置の画像処理方法であって、
前記取得手段によって取得された複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する画像合成ステップと、
を含み、
前記画像合成ステップは、前記画像合成ステップにおける合成対象のうち、隣接する2つの画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する2つの画像の合成位置を決定する合成位置決定ステップ
を含むことを特徴とする画像処理方法。 - 所定時間毎に撮像することによって順次得られた第1の画角の画像を複数取得する取得手段を備える画像処理装置を制御するコンピュータに、
前記取得手段によって取得された複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する画像合成機能を実現させ、
前記画像合成機能は、前記画像合成手段の合成対象のうち、隣接する2つの画像同士の対応する領域内で前記画像同士を比較するためのラインを設定し、対応するライン同士の類似度に基づいて、前記隣接する2つの画像の合成位置を決定する合成位置決定機能
を実現させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221329A JP5696419B2 (ja) | 2010-09-30 | 2010-09-30 | 画像処理装置及び方法、並びにプログラム |
US13/240,729 US9699378B2 (en) | 2010-09-30 | 2011-09-22 | Image processing apparatus, method, and storage medium capable of generating wide angle image |
CN201110303864.7A CN102547104B (zh) | 2010-09-30 | 2011-09-28 | 能生成广角图像的图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010221329A JP5696419B2 (ja) | 2010-09-30 | 2010-09-30 | 画像処理装置及び方法、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012080204A true JP2012080204A (ja) | 2012-04-19 |
JP2012080204A5 JP2012080204A5 (ja) | 2013-11-14 |
JP5696419B2 JP5696419B2 (ja) | 2015-04-08 |
Family
ID=45889461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010221329A Active JP5696419B2 (ja) | 2010-09-30 | 2010-09-30 | 画像処理装置及び方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9699378B2 (ja) |
JP (1) | JP5696419B2 (ja) |
CN (1) | CN102547104B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6045254B2 (ja) * | 2012-08-20 | 2016-12-14 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
JP6340785B2 (ja) * | 2013-12-18 | 2018-06-13 | カシオ計算機株式会社 | 動画処理装置、動画処理方法、及び、プログラム |
CN105100886B (zh) * | 2014-04-22 | 2019-03-15 | 腾讯科技(北京)有限公司 | 网络媒介信息的发布控制方法、及装置、服务器和系统 |
JP6604831B2 (ja) * | 2015-11-30 | 2019-11-13 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP2017212698A (ja) * | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
CN106899781B (zh) * | 2017-03-06 | 2020-11-10 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像处理方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11195104A (ja) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 画像読み取り装置、画像データ合成方法および画像データ合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2003060888A (ja) * | 2001-08-10 | 2003-02-28 | Minolta Co Ltd | 画像読取装置 |
JP2004266317A (ja) * | 2003-01-20 | 2004-09-24 | Sony Corp | 監視装置 |
JP2008167092A (ja) * | 2006-12-28 | 2008-07-17 | Casio Comput Co Ltd | 画像合成装置、画像合成プログラム及び画像合成方法 |
JP2010050521A (ja) * | 2008-08-19 | 2010-03-04 | Olympus Corp | 撮像装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07115534A (ja) * | 1993-10-15 | 1995-05-02 | Minolta Co Ltd | 画像読取装置 |
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
JPH10178564A (ja) * | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
JP3403060B2 (ja) | 1998-03-27 | 2003-05-06 | 三洋電機株式会社 | パノラマ画像撮影装置、およびパノラマ画像生成装置 |
US7292261B1 (en) * | 1999-08-20 | 2007-11-06 | Patrick Teo | Virtual reality camera |
DE60043452D1 (de) * | 1999-08-20 | 2010-01-14 | Emaki Inc | System und verfahren zur berichtigung eines durch eine mobile kamera aufgezeichneten mosaikaehnlichen bildes |
US6798923B1 (en) * | 2000-02-04 | 2004-09-28 | Industrial Technology Research Institute | Apparatus and method for providing panoramic images |
US7095905B1 (en) * | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
JP4551018B2 (ja) * | 2001-04-05 | 2010-09-22 | 富士通株式会社 | 画像結合装置 |
US20050063608A1 (en) * | 2003-09-24 | 2005-03-24 | Ian Clarke | System and method for creating a panorama image from a plurality of source images |
US7746404B2 (en) * | 2003-11-10 | 2010-06-29 | Hewlett-Packard Development Company, L.P. | Digital camera with panoramic image capture |
US7606441B2 (en) * | 2003-11-27 | 2009-10-20 | Seiko Epson Corporation | Image processing device and a method for the same |
US7436438B2 (en) * | 2004-03-16 | 2008-10-14 | Creative Technology Ltd. | Digital still camera and method of forming a panoramic image |
US20070147812A1 (en) * | 2005-12-22 | 2007-06-28 | Nokia Corporation | Digital panoramic camera |
JP4396674B2 (ja) * | 2006-08-11 | 2010-01-13 | 船井電機株式会社 | パノラマ撮像装置 |
US8275215B2 (en) * | 2007-05-08 | 2012-09-25 | Arcsoft (Shanghai) Technology Company, Ltd | Merging images |
US8103134B2 (en) * | 2008-02-20 | 2012-01-24 | Samsung Electronics Co., Ltd. | Method and a handheld device for capturing motion |
CN101276465B (zh) * | 2008-04-17 | 2010-06-16 | 上海交通大学 | 广角图像自动拼接方法 |
US8253815B2 (en) * | 2008-09-16 | 2012-08-28 | Altia Systems Inc. | Synchronized multiple imager system and method |
CN101739674B (zh) | 2008-11-19 | 2012-10-03 | 深圳迈瑞生物医疗电子股份有限公司 | 影像序列自动拼接方法与装置以及拼接系统 |
US20110069148A1 (en) * | 2009-09-22 | 2011-03-24 | Tenebraex Corporation | Systems and methods for correcting images in a multi-sensor system |
JP5347890B2 (ja) * | 2009-10-09 | 2013-11-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US8385689B2 (en) * | 2009-10-21 | 2013-02-26 | MindTree Limited | Image alignment using translation invariant feature matching |
US10080006B2 (en) * | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
US20110141229A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama imaging using super-resolution |
CN101751659B (zh) | 2009-12-24 | 2012-07-25 | 北京优纳科技有限公司 | 大容量快速图像拼接方法 |
EP2582127B1 (en) * | 2010-06-11 | 2018-04-18 | Panasonic Intellectual Property Corporation of America | Image processing apparatus and image processing method |
-
2010
- 2010-09-30 JP JP2010221329A patent/JP5696419B2/ja active Active
-
2011
- 2011-09-22 US US13/240,729 patent/US9699378B2/en active Active
- 2011-09-28 CN CN201110303864.7A patent/CN102547104B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11195104A (ja) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 画像読み取り装置、画像データ合成方法および画像データ合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2003060888A (ja) * | 2001-08-10 | 2003-02-28 | Minolta Co Ltd | 画像読取装置 |
JP2004266317A (ja) * | 2003-01-20 | 2004-09-24 | Sony Corp | 監視装置 |
JP2008167092A (ja) * | 2006-12-28 | 2008-07-17 | Casio Comput Co Ltd | 画像合成装置、画像合成プログラム及び画像合成方法 |
JP2010050521A (ja) * | 2008-08-19 | 2010-03-04 | Olympus Corp | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US9699378B2 (en) | 2017-07-04 |
US20120081510A1 (en) | 2012-04-05 |
CN102547104A (zh) | 2012-07-04 |
CN102547104B (zh) | 2015-04-01 |
JP5696419B2 (ja) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5413344B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
JP5574423B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
JP5764740B2 (ja) | 撮像装置 | |
JP2012075018A (ja) | 再生装置及び方法、並びにプログラム | |
JP6385212B2 (ja) | 画像処理装置及び方法、撮像装置、及び画像生成装置 | |
JP5729237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20130286254A1 (en) | Image capturing apparatus, control method, and recording medium | |
JP2009284394A (ja) | 撮像装置および撮像方法 | |
JP5696419B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP2012222495A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5115731B2 (ja) | 撮像装置及び画像処理方法並びにプログラム | |
JP2018148512A (ja) | 撮像装置と撮像装置の制御方法、及びプログラム | |
JP2012090216A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6717354B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015233211A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP5831492B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
JP6289070B2 (ja) | 撮像装置およびその制御方法 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5648563B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5683898B2 (ja) | 追尾装置および追尾方法 | |
JP2013074573A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6107882B2 (ja) | 撮像装置、表示制御方法及びプログラム | |
JP6539114B2 (ja) | 撮像装置およびその制御方法、並びにプログラム | |
JP2017135732A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008227840A (ja) | 撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5696419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |