JP2015019397A - 画像合成装置、画像合成方法、及びプログラム - Google Patents
画像合成装置、画像合成方法、及びプログラム Download PDFInfo
- Publication number
- JP2015019397A JP2015019397A JP2014178630A JP2014178630A JP2015019397A JP 2015019397 A JP2015019397 A JP 2015019397A JP 2014178630 A JP2014178630 A JP 2014178630A JP 2014178630 A JP2014178630 A JP 2014178630A JP 2015019397 A JP2015019397 A JP 2015019397A
- Authority
- JP
- Japan
- Prior art keywords
- image
- texture
- images
- overlapping
- predetermined threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【課題】合成画像同士の重複領域の画素値を平滑化し、合成後の画像の違和感を低減させることができる撮像装置を提供する。【解決手段】CPU7は、パノラマ撮影時においてユーザがデジタルカメラ1を動かしている間に、所定の時間間隔で順次撮像し、終端に到達するか、パノラマ撮影が終了するまで、所定の位置(合成画像取得位置)に到達する度に撮像画像を合成用画像として取り込む。このとき、画像処理部4は、該取り込んだ複数の合成用画像同士の重複領域において、テクスチャがない領域が所定の閾値以上あれば、そのテクスチャがない領域の輝度がほぼ同一となるように、合成用画像同士(あるいは後から撮像された合成用画像)の輝度を調整した後、合成用画像同士を合成する。【選択図】図1
Description
本発明は、パノラマ画像を撮影するのに好適な撮像装置、画像合成方法、及びプログラムに関する。
従来の技術として、ユーザがシャッタスイッチを押し下げ操作した状態を維持しながら、デジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させながら撮像する。これにより、デジタルカメラは、これら撮像した画像同士の一部の領域を継ぎ合わせるように合成することで、パノラマ画像を生成するという技術が知られている(例えば、特許文献1参照)。
しかしながら、上記特許文献1の技術では、画像を撮像する際にシャッターを切るタイミングと撮像素子の露光のタイミングとを完全に一致させることが一般に困難であるため、撮像した画像の露出値が一つ一つ異なってしまう。上記のような理由により、上記特許文献1では、合成されたパノラマ画像の輝度等のバランスに違和感が生じるという問題があった。
そこで本発明は、連続的に撮像した画像を合成する際に、合成画像同士の重複領域における画素値が所定の許容範囲に入るように調整することで、合成後の画像の違和感を低減させることができる撮像装置、画像合成方法、及びプログラムを提供することを目的とする。
上記課題を解決するため、本発明は、画像を連続的に撮像する撮像手段と、前記撮像手段により連続的に撮像された画像同士の重複領域を特定する重複領域特定手段と、前記重複領域特定手段により特定された重複領域内のテクスチャの量が所定の閾値以下か否かを判定するテクスチャ判定手段と、前記テクスチャ判定手段による判定結果に基づいて、前記重複領域における画素値が所定の範囲に入るように前記画像同士の画素値を調整する調整手段と、前記調整手段により画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段とを備えたことを特徴とする撮像装置である。
本発明によれば、連続的に撮像した画像を合成する際に、合成画像同士の重複領域における画素値が所定の許容範囲に入るように調整することで、合成後の画像の違和感を低減させることができる。
以下、本発明の実施の形態を、図面を参照して説明する。
A.第1実施形態
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像部2、撮像制御部3、画像処理部4、移動距離計測部5、CPU7、RAM8、ROM9、記録部10、表示部11、及びキー入力部12を備えている。
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像部2、撮像制御部3、画像処理部4、移動距離計測部5、CPU7、RAM8、ROM9、記録部10、表示部11、及びキー入力部12を備えている。
撮像部2は、フォーカスレンズ、ズームレンズなどのレンズ群、撮像素子(CCDなど)を含み、撮像制御部3からの制御信号に従って、オートフォーカシング、絞り、ズーミングなどを調整し、撮像素子によりレンズ群を介して投影された被写体の光を電気信号に変換し、撮像信号として出力する。撮像制御部3は、CPU7の制御の下、撮像部2の撮像動作を制御する。
画像処理部4は、撮像部2により撮像された画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やMotion−JPEG形式又はMPEG形式の圧縮・伸張)の処理、複数の撮像画像を合成する処理などを行う。
特に、本第1実施形態では、画像処理部4は、重複領域判定部20と、特徴点判定部21と、輝度調整部22と、画像位置調整部23と、画像合成部24とを備えている。重複領域判定部20は、パノラマ撮影時に所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像される画像(全てが合成用画像として取り込まれるわけではない)の重複領域を判定する他、水平移動中に所定の位置(合成用画像の取り込み位置)で撮像された合成用画像同士の重複領域を判定する。
特徴点判定部21は、上記重複領域における特徴点からテクスチャ(画素レベルに変化がある領域)がない(少ない)領域を判定する。特徴点の抽出としては、DOGや、HOG、Harris法や、主曲率法などを用いたコーナ検出や、他の手法を用いてもよい。輝度調整部22は、上記重複領域にテクスチャがない領域が所定の閾値以上存在する場合に、そのテクスチャがない領域の輝度がほぼ同一となるように(双方の輝度の平均値が所定の許容範囲に入るように)、合成用画像同士の輝度を調整する。画像位置調整部23は、上記重複領域の特徴点に基づいて、隣り合う画像同士の位置を調整する。画像合成部24は、位置が調整された隣り合う画像同士を合成し、1つの繋がった合成画像(パノラマ画像)を生成する。
移動距離計測部5は、パノラマ撮影時にデジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させる際のデジタルカメラの移動距離を計測する。パノラマ撮影時には、デジタルカメラ1は、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像している。実際にパノラマ画像を合成するためには、順次撮像されている画像のうち、デジタルカメラ1が所定の位置に到達する度に、その時点で撮像された画像を、合成用画像としてRAM8に取り込んで保存すればよい。
そのためには、デジタルカメラ1が所定の位置に到達したこと、あるいは所定の位置まで移動したことを検知する必要、すなわちデジタルカメラ1の移動距離を計測する必要がある。ゆえに、移動距離計測部5としては、デジタルカメラ1の移動を検出可能なジャイロセンサや、加速度センサ、あるいは、画像処理を用いればよい。
本第1実施形態では、画像処理を用いて、デジタルカメラ1が所定の位置に到達したことを検出している。パノラマ撮影時には、デジタルカメラ1は、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像している。そこで、順次撮像される画像の重複領域の程度を逐次判定することにより、デジタルカメラ1が所定の位置(合成画像取得位置)まで移動したか否かを判定する。
例えば、1つの前の合成用画像の1/3程度重なっている画像が撮像された場合、デジタルカメラ1が所定の位置(合成画像取得位置)まで移動したと判定し、該撮像画像を合成用画像としてRAM8に取り込めばよい。このように、順次撮像される画像の重複領域の程度を判定することにより、デジタルカメラ1が所定の位置(合成画像取得位置)に到達する度に、その時点で撮像した画像を合成用画像としてRAM8に取り込めばよい。
CPU7は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、CPU7は、パノラマ撮影時においてユーザがデジタルカメラ1を動かしている間に、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像し、終端に到達するか、パノラマ撮影が終了するまで、所定の位置(合成画像取得位置)に到達する度に撮像画像を合成用画像としてRAM8に取り込むべく、撮像制御部3、画像処理部4、移動距離計測部5などを制御する。
また、CPU7は、該取り込んだ複数の撮像画像を、一部が重複するように(例えば、透過度を変えながら)合成し、広角で撮像したような1枚の合成画像(パノラマ画像)を生成すべく各部を制御する。このとき、重複領域における輝度ムラがなくなるように、合成する画像同士の輝度を調整するようになっている。なお、画像合成の詳細については後述する。
RAM8は、撮像部2によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、CPU7のワーキングメモリとして使用される。ROM9は、CPU7によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されている。CPU7は、このプログラムに従って処理を行う。
記録部10は、複数の撮像から合成された合成画像(パノラマ画像)を記録する。表示部11は、カラーLCDとその駆動回路を含み、撮像待機状態にあるときには、撮像部2によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、記録部10から読み出され、伸張された記録画像を表示させる。キー入力部12は、シャッタSW(スイッチ)、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU7に出力する。
図2は、通常の撮像モードを説明するための概念図である。デジタルカメラ1で、通常の撮像モードで撮影する場合には、図2に示すように、当該デジタルカメラ1の撮像系が有する画角の範囲の画像30しか撮影できない。
図3は、本第1実施形態によるデジタルカメラ1でのパノラマ撮像モードを説明するための概念図である。ユーザは、所望する景色に対して、デジタルカメラ1を構え、例えば、左端でシャッタSWを押下(半押し→全押し)し、図3に示す矢印のように、シャッタSWを押下した左端から右方向に動かしていく。デジタルカメラ1では、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像し、終端に到達するか、パノラマ撮影が終了するまで、所定の位置に到達する度に撮像した画像(合成用画像)をRAM8に取り込み、取り込んだ合成用画像を順次合成することで、1つの合成画像(パノラマ画像)31を生成する。
次に、上述した第1実施形態の動作について説明する。
図4は、本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。まず、CPU7は、シャッタSWが半押しされると(ステップS10)、AF(オートフォーカス)処理を実行するよう撮像制御部3を制御する(ステップS12)。ユーザは、シャッタSWを全押した後、デジタルカメラ1を水平方向に回転させるように移動させる(図3を参照)。
図4は、本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。まず、CPU7は、シャッタSWが半押しされると(ステップS10)、AF(オートフォーカス)処理を実行するよう撮像制御部3を制御する(ステップS12)。ユーザは、シャッタSWを全押した後、デジタルカメラ1を水平方向に回転させるように移動させる(図3を参照)。
CPU7は、シャッタSWが全押しされると(ステップS14)、撮像制御部3を制御し、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像させ、所定の位置に到達する度に撮像した画像をRAM8に取り込むとともに、カメラ移動速度を計算し、取り込んだ画像を順次合成することで、1つの合成画像(パノラマ画像)31を生成する(ステップS18)。なお、連写処理&合成処理の詳細については後述する。
次に、CPU7は、連写終了であるか否かを判断する(ステップS20)。連写終了は、例えば、ユーザ(ユーザ操作)により終了信号が発生した場合や、カメラ移動が大きく外れるなどして画像取得にエラーが発生した場合、パノラマ画像の最大サイズを超えるなど、画像取得方向への移動距離が閾値を超えた場合などを契機とする。そして、連写が終了していない場合には(ステップS20のNO)、CPU7による処理は、ステップS18に戻り、連写処理&合成処理を継続する。一方、連写が終了した場合には(ステップS20のYES)、当該処理を終了する。
図5は、本第1実施形態によるデジタルカメラ1での連写処理&合成処理の動作を説明するためのフローチャートである。また、図6、及び図7は、本第1実施形態による、合成処理での動作を説明するための概念図である。なお、該連写処理&合成処理の実行中、CPU7は、撮像制御部3を制御し、撮像部2により、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像している。該撮像画像は、全て合成用画像としてRAM8に取り込まれるわけでなく、取り込み位置で撮像された画像でなければ廃棄される。
まず、CPU7は、デジタルカメラ1が一定距離動いたか否かを判断する(ステップS30)。重複領域判定部20は、所定の時間間隔で順次撮像されている画像の重複領域を判定することにより、撮像された画像が合成用画像としてRAM8に取り込むべき画像であるか否かを判断している。合成用画像として取り込むべき画像とは、1つ前に取り込んだ合成用画像と所定の領域(例えば、1/3など)だけ重複した画像のことである。
つまり、合成用画像として取り込むべき画像であれば、所定の位置に到達したことになり、デジタルカメラ1が一定距離動いたことになる。言い換えると、重複している領域が大きければ、まだ、所定の位置に到達しておらず、重複している領域が小さければ、所定の位置を通りすぎたことになる。
そして、デジタルカメラ1が一定距離動いていない場合には(ステップS30のNO)、まだ、所定の位置に到達していないので、CPU7は、ステップS30を繰り返し実行する。一方、デジタルカメラ1が一定距離動いた場合には(ステップS30のYES)、CPU7は、そのときの撮像画像をRAM8に取り込んで保存する(ステップS32)。
次に、特徴点判定部21は、画像同士の重複領域で特徴点の有無を判定することで、テクスチャの有無を判定する(ステップS34)。図6に示すように、画像合成部24は、合成用画像40−1と合成用画像40−2とを、重複領域41−1、41−2が重なるように合成する。重複領域41−1と重複領域41−2とでは、その上部にテクスチャがない領域(画素レベルで平坦な領域)が存在する。
次に、特徴点判定部21は、テクスチャがない領域が所定の閾値(例えば、全体の1/3)以上であるか否かを判断する(ステップS36)。これは、テクスチャがない領域が小さい場合には、輝度平滑化の効果があまり得られないためである。そして、テクスチャがない領域が所定の閾値(例えば、全体の1/3)以上ない場合には、画像合成部24は、1つ前の合成用画像と今回取り込んだ合成用画像とをそのまま合成する(ステップS40)。その後、処理は、図4に示すメインルーチンに戻る。
一方、図7に示すように、テクスチャのない領域42−1、42−2が全体のほぼ半分程度ある場合、すなわち、テクスチャがない領域が所定の閾値(例えば、全体の1/3)以上である場合には、輝度調整部22により、テクスチャのない領域42−1、42−2の輝度がほぼ同一となるように平滑化することで(双方の輝度の平均値が所定の許容範囲に入る程度に同一となるようにすることで)、合成用画像同士(あるいは後から撮像された合成用画像)の輝度を調整する(ステップS38)。その後、画像合成部24は、1つ前の合成用画像と今回取り込んだ合成用画像とをそのまま合成する(ステップS40)。その後、処理は、図4に示すメインルーチンに戻る。
そして、パノラマ撮影による連写が終了するまで、順次取り込まれる複数の合成用画像のそれぞれに対して、合成用画像の輝度調整、輝度調整後の合成用画像の合成を行うことにより、1つの繋がった合成画像(パノラマ画像)が得られることになる。
上述した第1実施形態によれば、合成用画像の一部を重複させて合成する際に、重複領域内のテクスチャがない領域の輝度がほぼ同一となるように平滑化することで(双方の輝度の平均値が所定の許容範囲に入る程度に同一となるようにすることで)、合成用画像同士(あるいは後から撮像された合成用画像)の輝度を調整した後、合成用画像同士を合成するようにしたので、連続的に撮像した画像を合成する際に、合成後の画像の違和感を低減させることができる。
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、画像合成を行う際に、重複領域の幅(ブレンド幅)を、テクスチャが存在する領域と、テクスチャが存在しない領域とで変えることで、重複領域の輝度差をより緩和することを特徴とする。
次に、本発明の第2実施形態について説明する。
本第2実施形態では、画像合成を行う際に、重複領域の幅(ブレンド幅)を、テクスチャが存在する領域と、テクスチャが存在しない領域とで変えることで、重複領域の輝度差をより緩和することを特徴とする。
図8から図10は、本第2実施形態の動作を説明するための概念図である。図8に示すように、前述した図6と同様に、合成用画像40−1と合成用画像40−2とを、重複領域41−1、41−2が重なるように合成する。重複領域41−1と重複領域41−2とでは、その上部にテクスチャがない領域(空の部分)が存在する。
テクスチャが多いか否かは、特徴点の数の違いで判断すればよい。特徴点の数が所定の閾値以下であれば、テクスチャが少ないと判断し、特徴点の数が所定の閾値より多ければ、テクスチャが多いと判断する。そして、図9に示すように、テクスチャが少ない部分では、重複領域41−1、41−2の幅(ブレンド幅)を大きくし、テクスチャが多い部分では、相対的に重複領域41−1、41−2の幅(ブレンド幅)を小さくする。
そして、図10に示すように、輝度調整部22により、重複領域41−1、41−2の輝度がほぼ同一となるように平滑化することで(双方の輝度の平均値が所定の許容範囲に入る程度に同一となるようにすることで)、合成用画像同士(あるいは後から撮像された合成用画像)の輝度を調整した後、画像合成部24により、合成用画像同士を合成する。
上述した第2実施形態によれば、画像合成を行う際に、重複領域の幅(ブレンド幅)を、テクスチャが多い領域と、テクスチャが少ない領域とで変えることで、重複領域の輝度差をより緩和することができる。
図11は、本発明による合成処理の効果を示す模式図である。図11に示すように、従来技術のように、単純に画像合成を行うと、画像を撮像する際にシャッターを切るタイミングと撮像素子の受光タイミングとを完全に一致させることが一般に困難であるため、合成後のパノラマ画像50において重ね合わせた部分に明暗差が生じてしまう。
これに対して、本発明では、合成用画像の一部を重複させて合成する際に、重複領域内のテクスチャがない(テクスチャが少ない)領域の輝度がほぼ同一となるように平滑化することで(双方の輝度の平均値が所定の許容範囲に入る程度に同一となるようにすることで)、合成用画像同士(あるいは後から撮像された合成用画像)の輝度を調整した後、合成用画像同士を合成するようにしたので、合成後のパノラマ画像60において重ね合わせた部分での違和感を低減させることができる。
なお、上述した第1、第2実施形態では、実際のパノラマ撮影での連写中にその都度合成するようにしたが、デジタルカメラ1が所定の位置に到達する度に撮像された画像を、合成用画像として取り込んで保存した後、全ての合成用画像が得られた時点で、全体の輝度のばらつきを判別し、例えば、その中の中間の輝度を有する合成用画像を基準に、それぞれの重複領域内のテクスチャがない領域の輝度がほぼ同一となるように平滑化することで(双方の輝度の平均値が所定の許容範囲に入る程度に同一となるようにすること)、合成用画像の輝度を調整した後、合成用画像同士を合成するようにしてもよい。
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
(付記1)
付記1に記載の発明は、画像を連続的に撮像する撮像手段と、前記撮像手段により連続的に撮像された画像同士に重複領域があるか否かを判断する判断手段と、前記判断手段により重複領域があると判断されると、前記重複領域における画素値が所定の許容範囲に入るように前記画像の画素値を調整する調整手段と、前記調整手段により画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段とを備えたことを特徴とする撮像装置である。
付記1に記載の発明は、画像を連続的に撮像する撮像手段と、前記撮像手段により連続的に撮像された画像同士に重複領域があるか否かを判断する判断手段と、前記判断手段により重複領域があると判断されると、前記重複領域における画素値が所定の許容範囲に入るように前記画像の画素値を調整する調整手段と、前記調整手段により画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段とを備えたことを特徴とする撮像装置である。
(付記2)
付記2に記載の発明は、前記重複領域に占めるテクスチャが少ない領域の割合が所定の閾値以上であるか否かを判定する判定手段を更に備え、前記調整手段は、前記判定手段によりテクスチャが少ない領域の割合が所定の閾値以上であると判定された場合には、前記テクスチャが少ない領域における画素値が所定の許容範囲に入るように、前記画像の画素値を調整し、前記判定手段によりテクスチャが少ない領域の割合が所定の閾値以上でないと判定された場合には、前記画像の画素値を調整しないことを特徴とする付記1記載の撮像装置である。
付記2に記載の発明は、前記重複領域に占めるテクスチャが少ない領域の割合が所定の閾値以上であるか否かを判定する判定手段を更に備え、前記調整手段は、前記判定手段によりテクスチャが少ない領域の割合が所定の閾値以上であると判定された場合には、前記テクスチャが少ない領域における画素値が所定の許容範囲に入るように、前記画像の画素値を調整し、前記判定手段によりテクスチャが少ない領域の割合が所定の閾値以上でないと判定された場合には、前記画像の画素値を調整しないことを特徴とする付記1記載の撮像装置である。
(付記3)
付記3に記載の発明は、前記調整手段は、前記判定手段によりテクスチャが少ない領域の割合が所定の閾値以上であると判定された場合には、テクスチャがある領域に比べ、前記テクスチャが少ない領域の幅を広げて、前記重複領域における画素値が所定の許容範囲に入るように前記画像の画素値を調整することを特徴とする付記2に記載の撮像装置である。
付記3に記載の発明は、前記調整手段は、前記判定手段によりテクスチャが少ない領域の割合が所定の閾値以上であると判定された場合には、テクスチャがある領域に比べ、前記テクスチャが少ない領域の幅を広げて、前記重複領域における画素値が所定の許容範囲に入るように前記画像の画素値を調整することを特徴とする付記2に記載の撮像装置である。
(付記4)
付記4に記載の発明は、前記判定手段は、前記重複領域の特徴点を検出し、前記重複領域における特徴点の分布状態に基づいて、テクスチャがある領域とテクスチャが少ない領域とを判別することを特徴とする付記2または3に記載の撮像装置である。
付記4に記載の発明は、前記判定手段は、前記重複領域の特徴点を検出し、前記重複領域における特徴点の分布状態に基づいて、テクスチャがある領域とテクスチャが少ない領域とを判別することを特徴とする付記2または3に記載の撮像装置である。
(付記5)
付記5に記載の発明は、前記画素値とは、輝度値であることを特徴とする付記1から4のいずれかに記載の撮像装置である。
付記5に記載の発明は、前記画素値とは、輝度値であることを特徴とする付記1から4のいずれかに記載の撮像装置である。
(付記6)
付記6に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、前記撮像手段に画像を連続的に撮像させる撮像制御ステップと、前記撮像ステップにて連続的に撮像された画像同士に重複領域があるか否かを判断する判断ステップと、前記判断ステップにて重複領域があると判断されると、前記重複領域における画素値が所定の許容範囲に入るように、前記画像の画素値を調整する調整ステップと、前記調整ステップにて画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成ステップとを含むことを特徴とする画像合成方法である。
付記6に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、前記撮像手段に画像を連続的に撮像させる撮像制御ステップと、前記撮像ステップにて連続的に撮像された画像同士に重複領域があるか否かを判断する判断ステップと、前記判断ステップにて重複領域があると判断されると、前記重複領域における画素値が所定の許容範囲に入るように、前記画像の画素値を調整する調整ステップと、前記調整ステップにて画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成ステップとを含むことを特徴とする画像合成方法である。
(付記7)
付記7に記載の発明は、撮像手段を備える撮像装置のコンピュータを、前記撮像手段に画像を連続的に撮像させる撮像制御手段、前記撮像手段により連続的に撮像された画像同士に重複領域があるか否かを判断する判断手段、前記判断手段により重複領域があると判断されると、前記重複領域における画素値が所定の許容範囲に入るように、前記画像の画素値を調整する調整手段、前記調整手段で画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段として機能させることを特徴とするプログラムである。
付記7に記載の発明は、撮像手段を備える撮像装置のコンピュータを、前記撮像手段に画像を連続的に撮像させる撮像制御手段、前記撮像手段により連続的に撮像された画像同士に重複領域があるか否かを判断する判断手段、前記判断手段により重複領域があると判断されると、前記重複領域における画素値が所定の許容範囲に入るように、前記画像の画素値を調整する調整手段、前記調整手段で画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段として機能させることを特徴とするプログラムである。
1 デジタルカメラ
2 撮像部
3 撮像制御部
4 画像処理部
5 移動距離計測部
7 CPU
8 RAM
9 ROM
10 記録部
11 表示部
12 キー入力部
20 重複領域判定部
21 特徴点判定部
22 輝度調整部
23 画像位置調整部
24 画像合成部
2 撮像部
3 撮像制御部
4 画像処理部
5 移動距離計測部
7 CPU
8 RAM
9 ROM
10 記録部
11 表示部
12 キー入力部
20 重複領域判定部
21 特徴点判定部
22 輝度調整部
23 画像位置調整部
24 画像合成部
本発明は、複数の画像を合成する画像合成装置、画像合成方法、及びプログラムに関する。
そこで本発明は、合成画像の領域における違和感を低減させることができる画像合成装置、画像合成方法、及びプログラムを提供することを目的とする。
上記課題を解決するため、本発明は、連続して撮像された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像同士の重複領域を特定する重複領域特定手段と、前記重複領域特定手段により特定された重複領域内のテクスチャの量が所定の閾値以下か否かを判定するテクスチャ判定手段と、前記テクスチャ判定手段による判定結果に基づいて、前記重複領域における前記画像同士の少なくとも何れか一方の画素値を調整する調整手段と、前記画像同士を前記重複領域が合致するように合成する合成手段とを備えたことを特徴とする画像合成装置である。
本発明によれば、合成画像の領域における違和感を低減させることができる。
Claims (11)
- 画像を連続的に撮像する撮像手段と、
前記撮像手段により連続的に撮像された画像同士の重複領域を特定する重複領域特定手段と、
前記重複領域特定手段により特定された重複領域内のテクスチャの量が所定の閾値以下か否かを判定するテクスチャ判定手段と、
前記テクスチャ判定手段による判定結果に基づいて、前記重複領域における画素値が所定の範囲に入るように前記画像同士の画素値を調整する調整手段と、
前記調整手段により画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段と
を備えたことを特徴とする撮像装置。 - 前記重複領域内のテスクチャの量を算出する算出手段を更に備え、
前記テクスチャ判定手段は、前記算出手段により算出されたテスクチャの量が所定の閾値以下か否かを判定することを特徴とする請求項1に記載の撮像装置。 - 前記テクスチャ判定手段により判定された前記重複領域に占めるテクスチャの量が前記所定の閾値以下の領域の割合が所定の閾値以上であるか否かを判定する割合判定手段を更に備え、
前記調整手段は、前記割合判定手段によりテクスチャの量が前記所定の閾値以下の領域の割合が所定の閾値以上であると判定された場合には、前記テクスチャの量が前記所定の閾値以下の領域における画素値が所定の範囲に入るように、前記画像の画素値を調整する
ことを特徴とする請求項1又は2に記載の撮像装置。 - 前記調整手段は、前記割合判定手段によりテクスチャの量が前記所定の閾値以下の領域の割合が所定の閾値以上であると判定された場合には、テクスチャの量が前記所定の閾値以下ではない領域に比べ、前記テクスチャの量が前記所定の閾値以下の領域の幅を広げて、前記重複領域における画素値が所定の範囲に入るように前記画像の画素値を調整する
ことを特徴とする請求項3に記載の撮像装置。 - 前記割合判定手段は、前記重複領域の特徴点を検出し、前記重複領域における特徴点の分布状態に基づいて、テクスチャの量が前記所定の閾値以下ではない領域とテクスチャの量が前記所定の閾値以下の領域との割合が所定値以上であるか否かを判定する
ことを特徴とする請求項3又は4に記載の撮像装置。 - 前記連続的に撮像された画像の各画像は、撮像範囲が略一方向に移動されながら撮像された画像であることを特徴とする請求項1から5の何れか1項に記載の撮像装置。
- 前記画素値とは、輝度値であることを特徴とする請求項1から6のいずれかに記載の撮像装置。
- 連続的に撮像された画像同士の重複領域を特定する重複領域特定手段と、
前記重複領域特定手段により特定された重複領域内のテクスチャの量が所定の閾値以下か否かを判定するテクスチャ判定手段と、
前記テクスチャ判定手段による判定結果に基づいて、前記重複領域における画素値が所定の範囲に入るように前記画像の画素値を調整する調整手段と、
前記調整手段により画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段と
を備えたことを特徴とする画像合成装置。 - 前記連続的に撮像された画像の各画像は、撮像範囲が略一方向に移動されながら撮像された画像であることを特徴とする請求項8に記載の画像合成装置。
- 画像合成装置における画像合成方法において、
連続的に撮像された画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された画像同士の重複領域を特定する重複領域特定ステップと、
前記重複領域特定ステップにより特定された重複領域内のテクスチャの量が所定の閾値以下か否かを判定するテクスチャ判定ステップと、
前記テクスチャ判定ステップによる判定結果に基づいて、前記重複領域における画素値が所定の範囲に入るように、前記画像同士の画素値を調整する調整ステップと、
前記調整ステップにて画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成ステップと
を含むことを特徴とする画像合成方法。 - コンピュータを、
連続的に撮像された画像を取得する画像取得手段、
前記画像取得手段により取得された画像同士に重複領域を特定する重複領域特定手段、
前記重複領域特定手段により特定された重複領域内のテクスチャの量が所定の閾値以下か否かを判定するテクスチャ判定手段、
前記テクスチャ判定手段による判定結果に基づいて、前記重複領域における画素値が所定の範囲に入るように、前記画像同士の画素値を調整する調整手段、
前記調整手段で画素値が調整された前記画像同士を前記重複領域が合致するように合成する合成手段
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014178630A JP5790858B2 (ja) | 2014-09-03 | 2014-09-03 | 画像合成装置、画像合成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014178630A JP5790858B2 (ja) | 2014-09-03 | 2014-09-03 | 画像合成装置、画像合成方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011077723A Division JP5609742B2 (ja) | 2011-03-31 | 2011-03-31 | 撮像装置、画像合成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015019397A true JP2015019397A (ja) | 2015-01-29 |
JP5790858B2 JP5790858B2 (ja) | 2015-10-07 |
Family
ID=52439935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178630A Active JP5790858B2 (ja) | 2014-09-03 | 2014-09-03 | 画像合成装置、画像合成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5790858B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101636481B1 (ko) * | 2015-07-31 | 2016-07-06 | 고려대학교 산학협력단 | 컴파운드뷰 이미지 생성 방법 및 장치 |
JP2017212698A (ja) * | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
CN110678116A (zh) * | 2017-06-05 | 2020-01-10 | 索尼公司 | 医疗系统和控制单元 |
CN110930303A (zh) * | 2018-09-19 | 2020-03-27 | 宅妆股份有限公司 | 全景图形成方法及系统 |
-
2014
- 2014-09-03 JP JP2014178630A patent/JP5790858B2/ja active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101636481B1 (ko) * | 2015-07-31 | 2016-07-06 | 고려대학교 산학협력단 | 컴파운드뷰 이미지 생성 방법 및 장치 |
JP2017212698A (ja) * | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
CN110678116A (zh) * | 2017-06-05 | 2020-01-10 | 索尼公司 | 医疗系统和控制单元 |
CN110678116B (zh) * | 2017-06-05 | 2022-11-04 | 索尼公司 | 医疗系统和控制单元 |
CN110930303A (zh) * | 2018-09-19 | 2020-03-27 | 宅妆股份有限公司 | 全景图形成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5790858B2 (ja) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5609742B2 (ja) | 撮像装置、画像合成方法、及びプログラム | |
JP5655667B2 (ja) | 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム | |
US20080024619A1 (en) | Image Processing Apparatus, Image Processing Method and Program | |
US9241109B2 (en) | Image capturing apparatus, control method, and recording medium for moving image generation | |
WO2016011859A1 (zh) | 拍摄光绘视频的方法、移动终端和计算机存储介质 | |
KR101433121B1 (ko) | 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치 | |
US9185294B2 (en) | Image apparatus, image display apparatus and image display method | |
JP6116299B2 (ja) | 撮像装置及びその制御方法 | |
JP6361931B2 (ja) | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 | |
US9071766B2 (en) | Image capturing apparatus and control method thereof | |
JP2009065573A (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP5790858B2 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP5896102B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP2011193062A (ja) | パノラマ画像撮像装置及びパノラマ画像合成方法 | |
JP5359343B2 (ja) | 電子カメラ | |
JP2017220833A (ja) | 撮像装置、その制御方法とプログラム | |
JP2009253925A (ja) | 撮像装置及び撮像方法と、撮影制御プログラム | |
JP4887840B2 (ja) | 撮影装置及びプログラム | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP7292961B2 (ja) | 撮像装置およびその制御方法 | |
JP7353821B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP2018074523A (ja) | 撮像装置、その制御方法、プログラムならびに記録媒体 | |
JP2022083147A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP5541956B2 (ja) | 画像合成方法、画像合成プログラムおよび画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5790858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |