JP2015167334A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 複数の画像を合成する際に、画質の劣化等を抑止して適切な画像合成処理を行う画像処理装置、画像処理方法及びプログラム等を提供すること。【解決手段】 画像処理装置１００は、連続する画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部１０４と、変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成する画像変形処理部１０５と、変形画像と第２の画像とから、第２の画像のうち第１の画像により被覆されない非被覆領域を演算する非被覆領域演算部１０６と、複数の画像の合成処理を行う合成処理部１０８を含み、画像変形処理部１０５は、少なくとも非被覆領域を含む領域を、変形情報に基づいて第１の画像に対して変形投影した変形非被覆領域画像を生成し、合成処理部１０８は、変形非被覆領域画像と第１の画像を合成する。【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法及びプログラム等に関する。

動画像や、連続する膨大な画像列を扱うとき、各画像間に重複する領域が生じるが、これらの重複する領域は冗長な領域であるため、冗長性を省くことにより有用な画像を抽出して要約された画像列を生成することは、短時間で全体の概要を把握するという観点から、有用な技術分野となっている。

例えば、現在用いられている一般的なカプセル型内視鏡で撮影される被検体内画像は、カプセル型内視鏡を口から飲み込んで体外に排出されるまでに約０．５秒毎に撮影され、約６０，０００枚もの連続する画像列となる。これらの画像は、消化管内を順次撮影しており、ワークステーション等において画像を表示させて観察することにより診断を行うものである。しかし、約６０，０００枚にも及ぶ大量の画像の全てを順次観察するには膨大な時間がかかり、観察を効率的に行うための技術が望まれている。

これに対して、特許文献１や特許文献２に示すように、画像中の特徴点や類似点を用いることで、複数の画像を１枚の画像に合成する手法が開示されている。また、特許文献３には、変形情報に基づき求められる被覆率を用いることで、画像を削除することで観察することができなくなる被写体領域の割合を制御する画像要約手法が開示されている。

特開２０１１−１３８９０号公報 特開２００６−３１４８０５号公報 特開２０１３−１８３８７４号公報 特開２００７−２５７２８７号公報

特許文献１や特許文献２では、複数の画像を重ね合わせることで画像を合成する。そのため、複数の画像が重複した領域では、各画像の画素値の平均値等を合成画像の画素値として用いることになり、画質の劣化が生じる。また、特許文献３では、削除により観察できなくなる領域の割合等を所定以下に制御することができる。しかし逆に言えば、当該割合等に満たない程度であれば、削除により観察できなくなる領域が生じてしまうことになる。

本発明のいくつかの態様によれば、複数の画像を合成する際に、画質の劣化等を抑止して適切な画像合成処理を行う画像処理装置、画像処理方法及びプログラム等を提供することができる。

本発明の一態様は、連続する画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、前記変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成する画像変形処理部と、前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない非被覆領域を演算する非被覆領域演算部と、複数の画像の合成処理を行う合成処理部と、を含み、前記画像変形処理部は、少なくとも前記非被覆領域を含む領域を、前記変形情報に基づいて前記第１の画像に対して変形投影した変形非被覆領域画像を生成し、前記合成処理部は、前記変形非被覆領域画像と、前記第１の画像とを合成する画像処理装置に関係する。

本発明の一態様では、変形情報を用いて第２の画像のうち第１の画像により被覆されない非被覆領域を演算し、少なくとも非被覆領域を含む領域を第１の画像に対して変形投影した変形非被覆領域画像を合成する。変形非被覆領域画像は第１の画像と連続的に合成可能なことが期待されるため、従来手法のように画素値の混合等を行う必要性が低く、画質の劣化を抑止した画像合成処理を行うこと等が可能になる。

また、本発明の一態様では、少なくとも前記第１の画像と、前記第２の画像と、第３の画像とを含む複数の画像を合成する場合に、前記画像変形処理部は、前記変形情報に基づいて、前記第１の画像を前記第２の画像に対して変形投影した前記変形画像と、前記第１の画像を前記第３の画像に対して変形投影した第２の変形画像と、を生成し、前記非被覆領域演算部は、前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない前記非被覆領域を演算し、前記第２の変形画像と前記第３の画像とから、前記第３の画像のうち前記第１の画像により被覆されない第２の非被覆領域を演算し、前記画像変形処理部は、前記変形情報に基づいて、前記非被覆領域を第１の画像に対して変形投影した前記変形非被覆領域画像と、前記第２の非被覆領域を第１の画像に対して変形投影した第２の変形非被覆領域画像と、を求め、前記合成処理部は、前記第１の画像と、前記変形非被覆領域画像と、前記第２の変形非被覆領域画像とに基づいて、前記合成処理を行ってもよい。

これにより、３枚以上の画像合成処理を適切に行うことが可能になる。

また、本発明の一態様では、前記変形非被覆領域画像と、前記第２の変形非被覆領域画像が重複領域を有する場合に、前記合成処理部は、前記重複領域に関して、前記変形非被覆領域画像の評価値と、前記第２の変形非被覆領域画像の前記評価値を求め、前記評価値に基づいて、前記変形非被覆領域画像と前記第２の変形非被覆領域画像のうちの一方を選択し、前記重複領域では選択された画像を合成してもよい。

これにより、所与の変形非被覆領域画像と他の変形非被覆領域画像とが重複する場合に一方を選択できるため、画質の劣化を抑止した画像合成処理を行うこと等が可能になる。

また、本発明の一態様では、前記合成処理部は、前記評価値として、画質、コントラスト、シャープネス及びテクスチャ特徴の少なくとも１つに関する情報を求めてもよい。

これにより、画質等の情報を重複領域での選択処理における評価値として用いることが可能になる。

また、本発明の一態様では、前記合成処理部は、前記評価値として、前記変形情報の信頼度に関する情報を用いてもよい。

これにより、変形情報の信頼度に関する情報を重複領域での選択処理における評価値として用いることが可能になる。

また、本発明の一態様では、前記画像列のうち選択された要約画像を要約画像列として残し、他の画像を削除画像と判定することで画像要約処理を行う場合に、前記第１の画像は、前記要約画像であり、前記第２の画像は、前記削除画像であってもよい。

これにより、画像要約処理と画像合成処理を併せて用いること等が可能になる。

また、本発明の一態様では、第１の要約画像と第２の要約画像を前記要約画像列に残し、前記画像列において、前記第１の要約画像と前記第２の要約画像の間の画像を前記削除画像と判定することで画像要約処理を行う場合に、前記画像変形処理部は、前記変形情報に基づいて、前記第１の要約画像を前記削除画像に対して変形投影した第１の変形要約画像と、前記第２の要約画像を前記削除画像に対して変形投影した第２の変形要約画像を、前記変形画像として生成し、前記非被覆領域演算部は、前記第１の変形要約画像と、前記第２の変形要約画像と、前記削除画像とから、前記削除画像のうち前記第１の要約画像と前記第２の要約画像のいずれによっても被覆されない領域を、前記非被覆領域として演算してもよい。

これにより、要約画像（第１の画像）が複数ある場合にも、適切な画像合成処理を行うこと等が可能になる。

また、本発明の一態様では、前記画像変形処理部は、少なくとも前記非被覆領域を含む領域を前記第１の要約画像に対して変形投影した第１の変形非被覆領域画像、及び少なくとも前記非被覆領域を含む領域を前記第２の要約画像に対して変形投影した第２の変形非被覆領域画像の少なくとも一方を、前記変形非被覆領域画像として生成してもよい。

これにより、要約画像（第１の画像）が複数ある場合にも、変形非被覆領域画像を適切に求めること等が可能になる。

また、本発明の一態様では、前記変形情報算出部は、前記２つの画像の各画像内の少なくとも１つの設定された位置の画像間動きベクトルを、前記変形情報として算出してもよい。

これにより、変形情報として動きベクトル等を求めることが可能になる。

また、本発明の一態様では、前記画像変形処理部は、前記変形非被覆領域画像と前記第１の画像とを合成した合成画像を、所与の形状に変形する第１の変形処理、又は、前記合成画像が前記所与の形状となるように、前記変形非被覆領域画像及び前記第１の画像を変形する第２の変形処理を行ってもよい。

これにより、合成処理後の画像を所与の形状とすることが可能になる。

また、本発明の一態様では、前記第１の変形処理又は前記第２の変形処理が、前記第１の画像の一部又は全部に対する縮小処理を含む場合に、前記画像変形処理部は、少なくとも前記縮小処理の対象となる領域を含む領域を拡大処理した後に、前記第１の変形処理又は前記第２の変形処理を行ってもよい。

これにより、第１の変形処理又は第２の変形処理による、第１の画像の情報の欠落を抑止すること等が可能になる。

また、本発明の一態様では、前記合成処理部は、前記変形非被覆領域画像と前記第１の画像とが重複領域を有する場合には、前記変形非被覆領域画像と前記第１の画像の一方を選択し、前記重複領域では選択された画像を合成してもよい。

これにより、重複領域が生じた場合に、当該重複領域に対して適切な処理を行うことが可能になる。

また、本発明の一態様では、前記合成処理部は、前記変形非被覆領域画像と前記第１の画像との間に隙間領域が生じる場合には、前記隙間領域を補間する補間処理を行ってもよい。

これにより、隙間領域が生じた場合に、当該隙間領域に対して適切な処理を行うことが可能になる。

また、本発明の一態様では、前記合成処理部は、前記変形非被覆領域画像と前記第１の画像との色調を調整する調整処理を行ってもよい。

これにより、合成の境界における色調変化を抑止した視認性の高い合成画像を生成すること等が可能になる。

また、本発明の他の態様は、連続する画像列において、２つの画像間の変形を表す変形情報を求め、前記変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成し、前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない非被覆領域を演算し、少なくとも前記非被覆領域を含む領域を、前記変形情報に基づいて前記第１の画像に対して変形投影した変形非被覆領域画像を生成し、前記変形非被覆領域画像と、前記第１の画像とを合成する画像処理方法に関係する。

また、本発明の他の態様は、連続する画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、前記変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成する画像変形処理部と、前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない非被覆領域を演算する非被覆領域演算部と、複数の画像の合成処理を行う合成処理部として、コンピュータを機能させ、前記画像変形処理部は、少なくとも前記非被覆領域を含む領域を、前記変形情報に基づいて前記第１の画像に対して変形投影した変形非被覆領域画像を生成し、前記合成処理部は、前記変形非被覆領域画像と、前記第１の画像とを合成するプログラムに関係する。

本実施形態に係る画像処理装置の構成例。 本実施形態に係る画像処理装置の詳細な構成例。 第１の実施形態の手法を説明する図。 図４（Ａ）〜図４（Ｃ）は被覆領域、非被覆領域、変形非被覆領域画像の説明図。 第１の実施形態の画像合成処理を説明するフローチャート。 変形情報の精度が低い場合の変形処理の例。 図７（Ａ）、図７（Ｂ）は変形非被覆領域画像、重複領域、隙間領域の説明図。 図８（Ａ）、図８（Ｂ）は第２の実施形態の手法を説明する図。 図９（Ａ）〜図９（Ｃ）は非被覆領域、変形非被覆領域画像の説明図。 図１０（Ａ）は重複領域の説明図、図１０（Ｂ）、図１０（Ｃ）は変形非被覆領域画像から重複領域を除いた領域の説明図。 第２の実施形態の画像合成処理を説明するフローチャート。 変形情報の信頼度から画像合成処理の対象を決定する処理の説明図。 図１３（Ａ）〜図１３（Ｄ）は第３の実施形態の手法を説明する図。 第３の実施形態の非被覆領域、変形非被覆領域画像の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば０．５秒に１回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、診断等において有用性の高くない画像も多数存在してしまう。

それに対して、特許文献３には、変形情報により求められた被覆率を用いることで、削除により観察することができなくなる被写体領域を制御する画像要約手法が開示されている。しかし、特許文献３では、観察できなくなる領域の割合を制御することが可能ではあるが、当該領域がある程度発生することを許容している。

また、特許文献１や特許文献２にように、複数の画像を合成して（狭義には１枚の）画像を生成する手法が知られている。画像合成処理を行えば、画像に含まれる被写体の情報の損失を抑止しつつ、画像枚数を削減することができる。しかし、特許文献１や特許文献２では、画素値の平均値をとる等、画像を重ね合わせる処理が行われるため、重複領域では画質が劣化してしまう。

そこで本出願人は、特許文献３と同様の画像間の変形情報を用いて、画質の劣化を抑止する画像合成手法を提案する。具体的には、本実施形態にかかる画像処理装置１００は図１に示すように、連続する画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部１０４と、変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成する画像変形処理部１０５と、変形画像と第２の画像とから、第２の画像のうち第１の画像により被覆されない非被覆領域を演算する非被覆領域演算部１０６と、複数の画像の合成処理を行う合成処理部１０８を含む。そして、画像変形処理部１０５は、少なくとも非被覆領域を含む領域を、変形情報に基づいて第１の画像に対して変形投影した変形非被覆領域画像を生成し、合成処理部１０８は、変形非被覆領域画像と、第１の画像とを合成する。

ここで、第１の画像の第２の画像に対する変形投影とは、第１の画像から第２の画像への変形情報を用いて、第１の画像を変形する処理であり、特に、撮像された被写体が同一となる領域については、画像上での位置が一致するように位置決めを行う処理を表す。そのため、第１の画像（図３左のＩ１）と、第１の画像を変形情報により変形投影して求められる変形画像（図３中央のＩ１’）とは、対応する（変形情報が全く誤差を含まない理想的な情報であれば同一の）被写体範囲を撮像した画像となる。つまり、当該変形画像と第２の画像との共通領域である被覆領域（図４（Ａ）のＩＡ）とは、第１の画像と重複する被写体が撮像されていることになる。また、第２の画像のうち変形画像と重複しない非被覆領域（図４（Ｂ）のＩＢ）とは、第２の画像のうち第１の画像には被覆されない領域となり、言い換えれば、非被覆領域に撮像された被写体は第１の画像とは重複していない。

従来手法と同様の画像合成処理であれば、第２の画像を単純に変形して、変形後の画像と第１の画像を重ね合わせて合成すればよい。しかし、第２の画像のうち、被覆領域については被写体が第１の画像と重複している以上、変形したとしても第１の画像と重なる画像にしかならず、当該画像を合成処理に用いても、上述したように画質劣化の要因となってしまう。

そこで本実施形態では、非被覆領域を第１の画像に対して変形して変形非被覆領域画像を求める。変形非被覆領域画像とは、理想的には図４（Ｃ）のＩＢ’に示した領域となり、その境界を第１の画像を共有する。すなわち、変形非被覆領域画像と第１の画像は、理想的には重複領域もなく、且つ、間に隙間領域も生じない。よって、変形非被覆領域画像と第１の画像との合成処理は、狭義には接合処理により実現できることになり画質の劣化を抑止した画像合成処理が可能になる。

ただし、変形情報を全く誤差のない情報とするのは現実的ではなく、実際には変形非被覆領域画像と第１の画像とは重複したり、間に隙間が生じたりする。よって本実施形態では、第２の画像から第１の画像への変形投影（図３中央から図３右への変形投影）については、少なくとも非被覆領域を含む領域を対象とする。少なくとも非被覆領域を含む領域とは、非被覆領域そのものであってもよいし、第２の画像全体の領域であってもよいし、第２の画像全体と変形画像の和集合となる領域であってもよい。

たとえば、画像変形処理部１０５は、第２の画像Ｉ２全体を変形して図３右のＩ２’で示した領域を求めておき、その上で第１の画像に対応する部分を除外することで変形非被覆領域画像を求めてもよい。つまり本実施形態における変形非被覆領域画像とは、必ずしも非被覆領域そのものを変形した画像である必要はなく、第２の画像のうち第１の画像に被覆されない（第１の画像と重複しない）領域を第１の画像上に変形投影した領域に拡張して考えることが可能である。

以下、第１〜第３の実施形態について説明する。第１の実施形態では、上記の手法を用いて２枚の画像を合成する手法について説明する。第２の実施形態では、３枚以上の画像を合成する手法について説明する。また、第３の実施形態では、特許文献３等の画像要約手法と上記の手法を併せて用いる手法について説明する。特に、２枚の要約画像の間の削除画像を削除する場合に、削除画像の非被覆領域の求め方や、当該非被覆領域に基づいて、前方の要約画像と後方の要約画像の少なくとも一方について、変形非被覆領域画像を求める手法について説明する。

２．第１の実施形態
図２に本実施形態にかかる画像処理装置の具体的な構成例を示す。図２に示したように、画像処理装置１００は、画像列取得部１０１と、変形情報算出部１０４と、画像変形処理部１０５と、非被覆領域演算部１０６と、合成処理部１０８を含む。ただし、画像処理装置は図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、画像入力部１０２や画像データベース１０３、出力部１０９は、画像処理装置外に設けられることを想定しているが、画像処理装置１００がそれらを含んで構成されてもよい。

画像列取得部１０１は、画像入力部１０２や画像データベース１０３から画像列（画像データ）を読み込む。変形情報算出部１０４は、画像間の変形推定を行うことにより、変形情報を算出する。ここで、変形情報とは画像中の点における動きベクトルであってもよく、動きベクトルの導出は、一般的に行われているブロックマッチングによる手法等、種々の手法により実現可能である。また、特許文献４に開示されているように画像間の変形パラメータを算出してもよく、当該変形パラメータを変形情報としてもよいし、当該変形パラメータに基づいて求められる動きベクトルを変形情報としてもよい。以下では、変形情報が動きベクトルであるものとして説明するが、他の変形情報に拡張して考えることが可能である。

また、動きベクトルを算出する際には、２枚の画像間で順方向の動きベクトル及び逆方向の動きベクトルの双方向の動きベクトルを算出する。例えば、第１の画像と第２の画像の間の動きベクトルとして、第１の画像から第２の画像への変形を表す動きベクトルと、第２の画像から第１の画像への変形を表す動きベクトルの２つが求められる。なお、動きベクトル等の変形情報を算出する際には、その信頼性を併せて求めてもよい。

また、画像間の動きベクトルを算出する際には、すべての隣接する画像間の動きベクトルを求めたり、又は、すべての画像列のすべての組合せにおける画像間の動きベクトルを求めたりする方法もある。複数枚離れている画像間の変形投影を行う際には、隣接画像間の動きベクトルにより、隣接画像への変形投影を累積的に行うことにより対象としている画像への変形投影を行うことや、すべての組合せの画像間の動きベクトルが算出されている場合には、直接対象となっている２枚の画像間の動きベクトルにより変形投影を行うこともできる。

画像変形処理部１０５は、第１の画像変形処理部１０５１と、第２の画像変形処理部１０５２を含んでもよい。第１の画像変形処理部１０５１は、算出された動きベクトルに基づいて、合成の基準となる画像（第１の画像）を合成対象となる画像（第２の画像）へと変形投影して変形画像を求める。非被覆領域演算部１０６は、変形画像と第２の画像から、非被覆領域を演算する。第２の画像変形処理部１０５２は、少なくとも非被覆領域を含む領域を第１の画像に対して変形投影し、変形非被覆領域画像を求める。各部の処理の詳細については後述する。なお、後述するように画像変形処理部１０５は、合成後の画像を所定形状とする変形処理を行う等、上記以外の画像変形処理を行ってもよい。

合成処理部１０８は、第１の画像と変形非被覆領域画像の合成処理（接合処理）を行い、合成処理により得られた画像を出力部１０９に対して出力する。

次に、図３を用いて本実施形態の処理の概要を説明する。図３左側のうち、Ｉ１で示した領域が第１の画像である。同様に図３中央のうち、Ｉ２で示した領域が第２の画像である。なお、以下では第１の画像Ｉ１及び第２の画像Ｉ２の形状は正方形である例について説明するが、各画像の形状はこれに限定されるものではない。

ここでは、第１の画像Ｉ１に対して第２の画像Ｉ２を合成する処理を考える。まず、第１の画像Ｉ１から第２の画像Ｉ２への動きベクトルに基づいて、第１の画像Ｉ１の変形投影を行うことにより、第１の画像Ｉ１の第２の画像Ｉ２への変形画像である変形画像Ｉ１’を求める。変形画像Ｉ１’は第１の画像Ｉ１を変形投影した画像であるため、第１の画像Ｉ１に撮像された被写体と変形画像Ｉ１’に撮像された被写体は対応（狭義には一致）する。

そのため、図３中央において、第２の画像Ｉ２と変形画像Ｉ１’とが重複する領域に撮像された被写体とは、第１の画像Ｉ１と第２の画像Ｉ２で共通して撮像された被写体となる。本実施形態ではこの領域を被覆領域ＩＡと定義する。図３中央から被覆領域ＩＡを抜き出したものが図４（Ａ）である。被覆領域ＩＡについては、第１の画像Ｉ１にも撮像されている以上、ＩＡを第１の画像Ｉ１に対して合成する処理を行ったとしても有用性は高くない。

一方、第２の画像Ｉ２のうち、被覆領域ＩＡ以外の領域は、第２の画像Ｉ２で撮像されており、且つ第１の画像Ｉ１で撮像されていない領域である。図３中央から当該領域を抜き出したものが図４（Ｂ）であり、本実施形態ではこの領域を非被覆領域ＩＢと定義する。非被覆領域ＩＢを第１の画像Ｉ１と合成すれば、第１の画像Ｉ１と第２の画像Ｉ２の重複を抑止した合成画像の生成が可能になる。

ただし、図３中央の画像は、第１の画像Ｉ１から第２の画像Ｉ２への変形投影の結果であるため、第２の画像Ｉ２を第１の画像Ｉ１に合成するには、再度第１の画像Ｉ１への変形投影を行う必要がある。具体的には、第２の画像Ｉ２から第１の画像Ｉ１への動きベクトルに基づいて、非被覆領域ＩＢを変形投影して変形非被覆領域画像ＩＢ’を求める。第２の画像Ｉ２の全体を、第１の画像Ｉ１に対して変形投影した領域が、図３右のＩ２’で示した領域となる場合、図３右から変形非被覆領域画像ＩＢ’を抜き出した画像が、図４（Ｃ）となる。

上述してきたように、非被覆領域ＩＢは第２の画像Ｉ２に撮像され、且つ第１の画像Ｉ１では撮像されていない領域である。つまり、理想的に画像間の動きベクトルが算出されており、画像の変形も理想的であれば、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１とは重複領域を有さない。また、図３中央からわかるように、非被覆領域ＩＢと被覆領域ＩＡは隣接する（境界を共有する）ため、変形非被覆領域画像ＩＢ’の第１の画像Ｉ１に接する輪郭線は、第１の画像Ｉ１の輪郭線と一致することが期待される。すなわち、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１は、接合可能な形状になると考えられる。

よって、変形非被覆領域画像ＩＢ’を第１の画像Ｉ１と合成することにより、第１の画像Ｉ１と第２の画像Ｉ２の合成画像を生成することができる。この際、上述したように連続性が保たれた合成画像が生成される。

図５に本実施形態の処理の流れを示す。この処理が開始されると、まず変形情報算出部１０４が合成の対象となる画像間の動きベクトルを算出する（Ｓ３０１）。このとき、双方向の動きベクトルを算出しておく。次に、第１の画像変形処理部１０５１は、算出された動きベクトルに基づいて、合成の基準となる画像Ｉ１を合成の対象としている画像Ｉ２まで変形処理を行い、変形画像Ｉ１’を求める（Ｓ３０２）。

そして、非被覆領域演算部１０６は、変形画像Ｉ１’をＩ２に重ね合わせることにより、Ｉ２内におけるＩ１に撮影されていない領域（非被覆領域ＩＢ）を求める（Ｓ３０３）。そして、第２の画像変形処理部１０５２は、求められた非被覆領域ＩＢを、逆方向の動きベクトルに基づいて画像Ｉ１に対して変形し、合成すべき変形非被覆領域画像ＩＢ’を求める（Ｓ３０４）。

最後に、合成処理部１０８は、求められた変形非被覆領域画像ＩＢ’を画像Ｉ１に対して合成することにより合成画像を生成する。

以上では、動きベクトルが理想的に算出された例を説明した。そのため、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１とは連続的に合成可能であった。しかし、動きベクトルを算出する際に誤差が発生していて画像の変形が理想的に行われない場合には、合成の際の境界が理想的に連続していない状況が考えられ、合成した際に、領域に隙間が生じてしまう場合や、重複する領域が発生してしまう場合がある。

このような際には、隙間領域や重複領域に対して処理を行うとよい。具体的には、隙間領域が生じた場合には、隙間を補完する処理を行う。また、重複領域が生じた場合には、第１の画像Ｉ１と変形非被覆領域画像ＩＢ’のいずれか一方を選択して合成に用いる等の処理を行う。

以下、図６を用いて具体例を説明する。図６左のＩ１で示した領域が合成の対象となる第１の画像である。第１の画像Ｉ１を第２の画像Ｉ２へ変形投影した変形画像が、図６中央のＩ１’で示した領域である。そして、変形画像Ｉ１’を第１の画像Ｉ１に対して逆変形投影した領域が、図６右の点線で囲まれた領域Ｉ１’’である。

理想的には、Ｉ１’’とＩ１とは一致するはずである。しかし、動きベクトルに誤差があればＩ１’’とＩ１が、誤差のため一致しないという現象が発生する。

この場合、非被覆領域ＩＢを変形した変形非被覆領域画像は、例えば図７（Ａ）に示した領域ＩＢ’となる。この場合、変形非被覆領域画像ＩＢ’の境界は第１の画像Ｉ１の境界と一致せず、図７（Ｂ）に示したように、第１の画像Ｉ１との重複領域７０１が生じたり、第１の画像Ｉ１との隙間領域７０２が生じたりする。従って、７０１、および７０２のような領域に関して評価を行った上で合成処理を行う必要がある。

例えば、重複領域７０１と、当該領域と重複している原画像である第１の画像Ｉ１の領域とを比較し、画質や、重要な対象物が撮影されているか等を比較し適切な領域の方を選択して合成処理を行ってもよい。或いは、比較処理をスキップして、第１の画像Ｉ１を優先して用いてもよい。

或いは、重複領域では、第１の画像Ｉ１と変形非被覆領域画像ＩＢ’の双方の画素合成を行ってもよい。画素合成を行った場合、従来例と同様に画質の劣化が生じるが、動きベクトルをある程度の精度で求めることができるのであれば、第１の画像Ｉ１に占める重複領域の割合をある程度に制限することが可能である。つまり、第１の画像Ｉ１のうち、大部分については画素合成を伴わない画像合成処理が可能になるため、重複領域で画素合成を行ったとしても、従来手法に比べて画質の劣化を抑止することができる。

また、隙間領域７０２については、当該領域と隣接する変形非被覆領域画像ＩＢ’と第１の画像Ｉ１とを用いて補間処理を行ってもよい。例えば、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１を比較し、画質や、重要な対象物が撮影されているか等を比較し適切な領域の方を選択し、選択した画像の画素値を隙間領域７０２の画素値とする処理を行う。或いは、双方の領域の画素合成を行ってもよい。

以上のように、変形推定の誤差が発生することによる合成領域の重複、または隙間が生じる場合であってもそれらの領域に対して適切な評価を行うことにより合成画像を生成することが可能である。

以上の本実施形態では、変形情報算出部１０４は、２つの画像の各画像内の少なくとも１つの設定された位置の画像間動きベクトルを、変形情報として算出してもよい。

これにより、動きベクトルを変形情報として用いることが可能になる。動きベクトルは、一般的に行われるようなブロックマッチングによる手法や、濃度勾配法を用いた画像間の変形パラメータを算出することにより画像内の適切な位置における動きベクトルを算出する手法等、種々の算出手法が知られており、本実施形態ではこれらの手法を広く適用可能である。

また、画像変形処理部１０５は、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１とを合成した合成画像を、所与の形状に変形する第１の変形処理、又は、合成画像が所与の形状となるように、変形非被覆領域画像ＩＢ’及び第１の画像Ｉ１を変形する第２の変形処理を行ってもよい。

図３右等からもわかるように、第１の画像Ｉ１とＩＢ’を合成して得られる合成画像は、種々の形状を取りうるため、一般的には液晶ディスプレイ等の表示部の表示領域の形状とは一致しない。そのため、合成画像をそのまま表示部に表示すると、表示画面内に被写体が撮像されていない部分が生じたり、逆に合成画像の一部が表示されないといった問題が生じうる。また、上述したカプセル内視鏡のように、合成後の画像列にもある程度の枚数の画像が含まれる場合がある。その場合、画像ごとに形状が異なるのでは、各画像に対する画像処理（例えば生体内画像に対する病変部検出処理）において、画像ごとの対処が必要となるおそれもある。

よって本実施形態では、合成画像が所与の形状となるような変形処理を行ってもよい。一例としては、合成画像を縦Ｈピクセル、横Ｗピクセルの長方形とする変形処理が考えられる。その際には、上述した第１の変形処理のように、合成画像を作ってしまってから当該合成画像を変形してもよい。或いは、変形非被覆領域画像ＩＢ’が求められれば、合成画像の形状は特定できることから、変形非被覆領域画像ＩＢ’の演算後に、第１の画像Ｉ１と変形非被覆領域画像ＩＢ’をそれぞれ変形する第２の変形処理を行ってもよい。第２の変形処理後の第１の画像Ｉ１と変形非被覆領域画像ＩＢ’を合成（接合）すれば、所望の形状の合成画像を取得可能である。

なお、ここでの変形処理は、変形情報（動きベクトル）を特に必要としない点で、第１の画像変形処理部１０５１での処理や、第２の画像変形処理部１０５２での処理とは異なる。よって、画像変形処理部１０５は、不図示の第３の画像変形処理部を含み、当該第３の画像変形処理部において上述の変形処理が行われるものとしてもよい。

また、第１の変形処理又は前記第２の変形処理が、第１の画像Ｉ１の一部又は全部に対する縮小処理を含む場合に、画像変形処理部１０５は、少なくとも縮小処理の対象となる領域を含む領域を拡大処理した後に、第１の変形処理又は第２の変形処理を行ってもよい。

変形処理により縮小処理が行われると、縮小部分で被写体がつぶれる（画素の情報が失われる）おそれがある。特に、第１の画像Ｉ１とは、画像合成処理の基準となる側の画像であり、後述する第３の実施形態の要約画像のように、第２の画像Ｉ２に比べて重要度が高い画像と考えられる。そのため、第１の画像Ｉ１の画素の情報が失われることは好ましくない。その点、まず第１の画像Ｉ１を拡大しておけば、合成画像に占める第１の画像Ｉ１の割合が上がり、第２の画像Ｉ２の割合が下がる。そのため、その後の第１の変形処理又は第２の変形処理により結局縮小処理は実行されるものの、上記所定の形状に変形された後の合成画像における第１の画像Ｉ１の割合を高くできる。すなわち拡大処理を行わない場合に比べて、上記所定の形状に変形された後の合成画像に占める第１の画像Ｉ１の画素数を多くでき、これは第１の画像Ｉ１の画素の情報が失われる可能性を抑止していることに他ならない。

また、合成処理部１０８は、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１とが重複領域を有する場合には、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１の一方を選択し、重複領域では選択された画像を合成してもよい。

ここで重複領域とは、例えば図７（Ｂ）における領域７０１に対応する。上述したように、本実施形態では重複領域において、ＩＢ’とＩ１の画素値を合成する処理を行うことは妨げられない。しかし、従来手法のように画質の劣化をまねくため、一方を選択することが望ましい。

また、合成処理部１０８は、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１との間に隙間領域が生じる場合には、隙間領域を補間する補間処理を行ってもよい。

ここで隙間領域とは、例えば図７（Ｂ）における領域７０２に対応する。ここでの補間処理は一般的に広く知られている種々の補間処理を広く適用可能である。或いは、ＩＢ’とＩ１の情報から補間するのではなく、被覆領域ＩＡを変形した画像の情報を用いてもよい。理想的には非被覆領域ＩＢを変形したＩＢ’はＩ１と境界が重なるが、図７（Ａ）、図７（Ｂ）では誤差により隙間が生じた。これを図６中央において考えてみれば、非被覆領域ＩＢを狭く見積もってしまったことによるものと捉えられる。Ｉ２のうちＩ１により被覆される被覆領域ＩＡを広く考えすぎたことで、非被覆領域ＩＢが狭くなり、結果として変形非被覆領域画像ＩＢ’も狭くなってＩ１との間に隙間領域７０２が生じた、という考えである。そのように考えれば、本来隙間領域７０２にあるべき被写体の像は、図６中央の被覆領域ＩＡ（特にＩＢとの境界付近の領域）に撮像されている可能性がある。よって隙間領域７０２の補間において、被覆領域ＩＡ（場合によっては第２の画像Ｉ２全体）を変形した画像を用いることが可能と考えられる。

また、合成処理部１０８は、変形非被覆領域画像ＩＢ’と第１の画像Ｉ１との色調を調整する調整処理を行ってもよい。

第１の画像Ｉ１と第２の画像Ｉ２では、撮像される位置やタイミングが異なることが想定され、結果として光源の状態、撮像部と被写体の相対的な位置関係、レンズや撮像素子に関するパラメータ等が異なることで、画像間の色調が一致しない場合がある。そのような画像を単純に合成したのでは、境界部分での色味の変化が目立ってしまい被写体の観察等において好ましくない。よって合成処理部１０８では色調調整を行うことで、ユーザにとって見やすい画像を生成するとよい。

なお、本実施形態の画像処理装置１００等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置１００等が実現される。具体的には、情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

また、本実施形態の画像処理装置１００等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る画像処理装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスタやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

３．第２の実施形態
第２の実施形態として３枚以上の画像を合成する手法について述べる。なお、以下では具体例として３枚の画像を合成する（第ｍの画像Ｉｍ及び第ｎの画像Ｉｎを第１の画像Ｉ１に対して合成する）手法を説明するが、４枚以上の画像合成に拡張して考えることが可能である。

図８（Ａ）〜図９（Ｃ）を用いて処理の概要を述べる。第１の実施形態と同様、第ｍの画像Ｉｍ、および第ｎの画像Ｉｎから第１の画像Ｉ１に撮影されていない領域を求める。具体的には、図８（Ａ）左の第１の画像Ｉ１を、第１の画像Ｉ１と第ｍの画像Ｉｍの間の動きベクトルに基づいて変形投影した第ｍの変形画像Ｉ１’から、第ｍの被覆領域ＩＡｍを求める。そして、ＩｍのうちＩＡｍ以外の領域を第ｍの非被覆領域ＩＢｍとする。なお、図８（Ａ）については図３と同様の形状としているため、ＩＡｍ、ＩＢｍについては図４（Ａ）のＩＡ、図４（Ｂ）のＩＢと同様の領域を考えればよい。

同様に図８（Ｂ）に示したように、第１の画像Ｉ１を、第１の画像Ｉ１と第ｎの画像Ｉｎの間の動きベクトルに基づいて変形投影した第ｎの変形画像Ｉ１’から、第ｎの被覆領域ＩＡｎを求め、ＩｎのうちＩＡｎ以外の領域を第ｎの非被覆領域ＩＢｎとする。ここで、図８（Ｂ）は図８（Ａ）と同様の図であり、図８（Ｂ）左のＩ１で示した領域が第１の画像、図８（Ｂ）中央のＩｎが第ｎの画像、Ｉ１’が第１の画像Ｉ１を変形投影した変形画像Ｉ１’を表す。また、図８（Ｂ）右のＩ１が第１の画像、Ｉｎ’が第ｎの画像を変形投影した変形画像を表す。この場合、図８（Ｂ）中央から非被覆領域ＩＢｎを抽出したものが図９（Ａ）となる。

そして、非被覆領域ＩＢｍ及び非被覆領域ＩＢｎをそれぞれ、第１の画像Ｉ１に対して逆方向の動きベクトルに基づいて変形投影した領域を変形非被覆領域画像ＩＢｍ’、変形非被覆領域画像ＩＢｎ’とする。ＩＢｍ’は図９（Ｂ）に示したように、図４（Ｃ）のＩＢ’と同様の領域である。また、ＩＢｎ’は図９（Ｃ）に示した領域となる。

第１の実施形態と同様に、動きベクトルが理想的に算出されていれば、第１の画像Ｉ１と変形非被覆領域画像ＩＢｎ’とは連続的に合成可能であり、第１の画像Ｉ１と変形非被覆領域画像ＩＢｍ’とは連続的に合成可能である。しかし、変形非被覆領域ＩＢｍ’と変形非被覆領域ＩＢｎ’とは、重複領域ＩＢｍｎを有する可能性がある。ＩＢｍ’が図９（Ｂ）に示した領域であり、ＩＢｎ’が図９（Ｃ）に示した領域であるとすれば、ＩＢｍｎは図１０（Ａ）に示した領域となる。

この重複領域ＩＢｍｎに関しては、共通の被写体が撮像されていると考えられるため、変形非被覆領域ＩＢｍ’、変形非被覆領域ＩＢｎ’のどちらか一方を用いればよい。例えばＩＢｍ’とＩＢｎ’を重ね合わせて（画素値の平均処理等を行い）、重複領域ＩＢｍｎとして第１の画像Ｉ１に合成してもよい。しかし、良質な合成画像を生成するという観点からは、重複領域ＩＢｍｎではＩＢｍ’とＩＢｎ’の適切な方を合成するのがよい。

そこで、上記重複領域におけるＩＢｍ’とＩＢｎ’の画質を比較する。例えば、コントラストやシャープネス等、画質の評価値に基づいて、合成する方の画像を選択する。その上で、選択された方の変形非被覆領域に関しては重複領域ＩＢｍｎを含むような領域を合成の対象とし、選択されなかった方の変形非被覆領域に関しては、重複領域を除外した領域を合成の対象として第１の画像Ｉ１に合成することにより、第１の画像、第ｍの画像、及び第ｎの画像の合成画像を生成する。

図１０（Ａ）の例において、変形非被覆領域画像ＩＢｎ’が選択されたとすれば、第１の画像Ｉ１と、変形非被覆領域画像ＩＢｎ’と、変形非被覆領域画像ＩＢｍ’から重複領域ＩＢｍｎを除外した領域（図１０（Ｂ）に示した領域）とを合成すればよい。逆に、変形非被覆領域画像ＩＢｍ’が選択されたとすれば、第１の画像Ｉ１と、変形非被覆領域画像ＩＢｍ’と、変形非被覆領域画像ＩＢｎ’から重複領域ＩＢｍｎを除外した領域（図１０（Ｃ）に示した領域）とを合成すればよい。

画像がさらに多い場合でも、同様に重複領域の選択処理を行うことにより、合成の対象となる各画像に対してそれぞれ適切な合成領域を求めたうえで合成処理を行うことができる。

図１１に本実施形態の処理の流れを示す。この処理が開始されると、まず合成する画像間の動きベクトルを算出する（Ｓ５０１）。そして、合成する画像の枚数分の繰り返し処理を開始する（Ｓ５０２）

繰り返し処理では、合成基準画像をＩ１として、合成の対象画像Ｉｊまで変形投影を行って変形画像Ｉ１’を求める（Ｓ５０３）。そして変形投影された画像とＩｊとを重ね合わせて第ｊの非被覆領域ＩＢｊを求め（Ｓ５０４）、ＩＢｊを合成の基準画像Ｉ１まで変形して変形非被覆領域画像ＩＢｊ’を求める（Ｓ５０５）。

繰り返し処理が終了することで、Ｎ−１個の変形非被覆領域画像ＩＢ２’〜ＩＢＮ’が求められる。そして、ＩＢ２’〜ＩＢＮ’の重複領域を求め、重複領域の内、適切なものを選択する（Ｓ５０６）。また、ＩＢ２’〜ＩＢＮ’のうち他の領域と重複しない領域についても特定する（Ｓ５０７）。

そして、Ｉ１に対して、Ｓ５０６、Ｓ５０７で求められた領域を合成する合成処理を行い、合成画像を生成する（Ｓ５０８）。

ところで、各画像間の動きベクトルを算出する際には算出の信頼性のデータも算出しているが、複数の画像を合成する際には、画像間の動きベクトルの信頼性が低い場合には、正確な合成画像を生成することが困難となるため、合成処理を行わないような制限を加える必要が生じる場合もある。

また、合成の枚数が増加するに従って合成画像が大きくなっていき、表示上の支障が生じる可能性もあるため、適切な合成枚数、適切な合成後の形状や大きさを閾値として設定しておくことによる制限を加えておくことも可能である。

以上の本実施形態では、少なくとも第１の画像と、第２の画像と、第３の画像とを含む複数の画像を合成する場合に、画像変形処理部１０５は、変形情報に基づいて、第１の画像Ｉ１を第２の画像（上述したＩｍに対応）に対して変形投影した変形画像と、第１の画像Ｉ１を第３の画像（上述したＩｎに対応）に対して変形投影した第２の変形画像と、を生成する。非被覆領域演算部１０６は、変形画像と第２の画像とから、第２の画像のうち第１の画像Ｉ１により被覆されない非被覆領域（ＩＢｍ）を演算し、第２の変形画像と第３の画像とから、第３の画像のうち第１の画像Ｉ１により被覆されない第２の非被覆領域（ＩＢｎ）を演算する。画像変形処理部１０５は、変形情報に基づいて、非被覆領域を第１の画像Ｉ１に対して変形投影した変形非被覆領域画像（ＩＢｍ’）と、第２の非被覆領域を第１の画像Ｉ１に対して変形投影した第２の変形非被覆領域画像（ＩＢｎ’）と、を求め、合成処理部１０８は、第１の画像Ｉ１と、変形非被覆領域画像ＩＢｍ’と、第２の変形非被覆領域画像ＩＢｎ’とに基づいて、合成処理を行う。

これにより、図８（Ａ）〜図９（Ｃ）に示した流れに従って、３枚以上の画像の合成処理を行うことが可能になる。本実施形態では、第１の画像Ｉ１を基準として、Ｉ１に対して複数の画像を合成していく。つまり、第１の画像Ｉ１と第２の画像の組、第１の画像Ｉ１と第３の画像の組に分けて考えれば、変形非被覆領域画像の演算までを第１の実施形態と同様に行うことが可能である。

また、変形非被覆領域画像ＩＢｍ’と、第２の変形非被覆領域画像ＩＢｎ’が重複領域（上述したＩＢｍｎに対応）を有する場合に、合成処理部１０８は、重複領域に関して、変形非被覆領域画像の評価値と、第２の変形非被覆領域画像の評価値を求め、評価値に基づいて、変形非被覆領域画像と第２の変形非被覆領域画像のうちの一方を選択し、重複領域では選択された画像を合成してもよい。

これにより、重複領域ＩＢｍｎにおいても、複数の画像の画素値の混合を行うことなく画像合成を行うことができ、画質の劣化を抑止することが可能になる。なお、「重複領域では選択された画像を合成」するとは、例えば、選択された方では領域全体（ＩＢｍ’全体又はＩＢｎ’全体）を用い、選択されなかった方では、領域全体から重複領域を除外した領域（図１０（Ｂ）又は図１０（Ｃ）に示した領域）を用いて合成処理を行うことで実現することができる。

また、合成処理部１０８は、評価値として、画質、コントラスト、シャープネス及びテクスチャ特徴の少なくとも１つに関する情報を求めてもよい。

本実施形態における合成処理は変形情報を用いたものであり、複数の画像を結合する境界を連続的にすることや、後述する第３の実施形態のように、削除される画像にしか撮像されていない被写体を合成画像に適切に残すことが可能である。しかし、合成画像における被写体の視認性が低ければ、被写体の範囲自体が適切であったとしてもユーザにとっての有用性は高くない。よってここでは、上記の情報を評価値として用いることで、合成画像における被写体の視認性を高くする。

また、合成処理部１０８は、評価値として、変形情報の信頼度に関する情報を用いてもよい。

ここでの信頼度とは、算出された変形情報の精度の高さを表す指標であり、例えば動きベクトル等の変形情報を算出する際に求められるものであってもよい。或いは、図６に示したように第１の画像Ｉ１を第２の画像Ｉ２に変形投影して変形画像を求め、当該変形画像を第１の画像Ｉ１に対して再度変形投影した画像を求めてもよい。上述したように、双方向での２度の変形投影を行えば、理想的には領域は元の形状に戻るはずであるから、２回の変形投影後の画像の形状と、元の画像の形状の類似度を、上記信頼度として用いることが可能である。

変形情報の信頼度が低い場合、図７（Ｂ）に示したように重複領域や隙間領域が生じる等、第１の画像と、変形非被覆領域画像との被写体の連続性が弱くなり、合成画像の合成境界付近で被写体が欠落、重複するような画像となる。変形情報の信頼度を指標値とすれば、そのようなユーザの観察を妨げる画像の生成を抑止できる。

なお、ここでは変形情報の信頼度を重複領域における選択処理に用いるものとしたがこれに限定されない。例えば、画像列において第１の画像に対して合成させる画像を決定するために用いられてもよい。一般的に、所与の画像と他の画像の画像列における位置が離れるほど、当該画像間の変形情報の信頼度は下がる傾向にある。このことは、例えば、隣接しない画像間の変形情報を、隣接画像間の変形情報の累積として求める場合、累積する回数が多いほど誤差が蓄積することからも理解できる。

上述したように、変形情報の信頼度が低ければ合成画像も適切なものとならないため、あまりに信頼度が低い変形情報を用いて画像合成処理を行うことは好ましくない。よって本実施形態では、合成処理の対象となる画像を変形情報の信頼度から決定してもよい。例えば所与の信頼度閾値Ｔｈを設けておき、図１２に示すように第１の画像と第ｊの画像の間の変形情報の信頼度Ｐ_ｊを求める。そして、ｊ＝２〜ｋの範囲でＰ_ｊ≧Ｔｈとなり、且つＰ_ｋ＋１＜Ｔｈとなった場合には、第１の画像Ｉ１に対して合成する画像の範囲を、第２〜第ｋの画像とする。このようにすれば、合成処理の対象となる画像については、第１の画像Ｉ１との間の変形情報の信頼性が高いことを保証できるため、不適切な合成処理を抑止できる。一方、第ｋ＋１の画像や、画像列においてそれ以降の画像については、変形情報の信頼度が十分ではないため、第１の画像Ｉ１に対しては合成処理を行わない。

４．第３の実施形態
第３の実施形態として、連続する画像列から冗長な画像を削除することにより有用な画像のみを選択して生成された要約画像列に対し、削除画像内の要約画像列に撮影されていない領域を要約画像に合成する方法に関する方法について述べる。

特許文献３で述べられているような時系列画像に対する要約処理を行った画像列があるものとする。特許文献３では、要約画像に撮影されている領域の削除画像における占有率（被覆率）を設定することにより要約画像列を生成しているが、削除された画像に、要約画像の撮影範囲に含まれない領域を含むため要約画像列のみでは、撮影された全領域を表示することができない。よって本実施形態では、削除画像のうち要約画像で被覆されない領域を、要約画像に対して合成することで、観察することができなくなる領域の発生を抑止する。

図１３（Ａ）〜図１４を用いて処理の概要を述べる。ここでは、隣接する要約画像Ｓ（ｉ）とＳ（ｉ＋１）によって、間の画像が十分カバーされているものとして、当該間の画像Ｒ（ｊ）が削除画像と判定されたものとする。この場合、Ｒ（ｊ）に関し、前側の要約画像であるＳ（ｉ）に対する非被覆領域、または後ろ側の要約画像であるＳ（ｉ＋１）に対する非被覆領域を考えることができる。

例えば、図１３（Ａ）に示したように、Ｓ（ｉ）をＲ（ｊ）に対して変形投影した変形画像がＳ’（ｉ）であるとすれば、Ｒ（ｊ）のうちＳ（ｉ）で被覆されない非被覆領域は図１３（Ａ）右のＩＢｉとなる。また、図１３（Ｂ）に示したように、Ｓ（ｉ＋１）をＲ（ｊ）に対して変形投影した変形画像がＳ’（ｉ＋１）であるとすれば、Ｒ（ｊ）のうちＳ（ｉ＋１）で被覆されない非被覆領域は図１３（Ｂ）左のＩＢｉ＋１となる。本実施形態では、ＩＢｉとＩＢｉ＋１をそれぞれ非被覆領域として、変形非被覆領域画像を求めてもよい。

しかし、ＩＢｉのうち、Ｓ’（ｉ＋１）との共通領域（図１３（Ｃ）の８０１で示した領域）については、Ｓ（ｉ＋１）でカバー可能である。同様に、ＩＢｉ＋１についても、Ｓ’（ｉ）との共通領域（図１３（Ｃ）の８０２で示した領域）については、Ｓ（ｉ）で被覆されている。つまり、非被覆領域はＩＢｉとＩＢｉ＋１の２つがあるが、削除画像のうち要約画像で被覆されない領域としては、図１３（Ｄ）に示した領域を考えればよい。本実施形態では、図１３（Ｄ）に示した領域を削除画像Ｒ（ｊ）の非被覆領域ＩＢとする。

非被覆領域ＩＢが求められたら、第１，第２の実施形態と同様にＩＢを合成の基準である画像に対して変形すればよい。ただし、本実施形態では合成の基準となる画像が要約画像Ｓ（ｉ）とＳ（ｉ＋１）の２枚となる。

そのため、Ｒ（ｊ）の非被覆領域から変形非被覆領域画像を求める際には、Ｓ（ｉ）に対して変形投影してもよいし、Ｓ（ｉ＋１）に対して変形投影してもよいし、両方に対して変形投影してもよい。以上の例であれば、非被覆領域は図１４中央に示したようにＩＢｊ１とＩＢｊ２の２つの領域を考えることができる。そして、変形非被覆領域画像としては図１４左右に示したように、ＩＢｊ１をＳ（ｉ）に変形したＩＢｊ１’（ｉ）と、ＩＢｊ２をＳ（ｉ）に変形したＩＢｊ２’（ｉ）と、ＩＢｊ１をＳ（ｉ＋１）に変形したＩＢｊ１’（ｉ＋１）と、ＩＢｊ２をＳ（ｉ＋１）に変形したＩＢｊ２’（ｉ＋１）の４つを考えることができる。そして、ＩＢｊ１’（ｉ）とＩＢｊ１’（ｉ＋１）の少なくとも一方、及びＩＢｊ２’（ｉ）とＩＢｊ２’（ｉ＋１）の少なくとも一方を変形非被覆領域画像として用いればよい。

さらに、Ｓ（ｉ）とＳ（ｉ＋１）の間の削除画像はＲ（ｊ）１枚に限定されるものではなく、複数あってもよい。そのため、Ｓ（ｉ）に対して合成される画像が複数存在したり、Ｓ（ｉ＋１）に対して合成される画像が複数存在したりする。つまり、Ｓ（ｉ）との合成対象である変形非被覆領域が複数あり、それらの間に重複領域が生じることになる。その場合には、第２の実施形態で述べたのと同様に、複数の変形非被覆領域画像のうち、良好な領域を選択した上で合成処理を行えばよい。

以上の本実施形態では、画像列のうち選択された要約画像を要約画像列として残し、他の画像を削除画像と判定することで画像要約処理を行う場合に、第１の実施形態で上述した第１の画像（合成の基準となる画像）は、要約画像であり、第２の画像（基準となる画像に対して合成される画像）は、削除画像である。

これにより、画像要約処理と本実施形態に係る合成処理を併せて用いることが可能になる。削除画像を削除してしまえば、当該削除画像の情報は失われる。よって、削除画像に撮像され、且つ要約画像に撮像されていない被写体があれば、当該被写体の情報は画像要約処理で失われてしまう。その点、本実施形態のように変形情報を用いた画像合成処理を行えば、失われるはずの被写体を要約画像への合成画像上に残すことができ、被写体の見逃しを抑止すること等が可能になる。

また、第１の要約画像（Ｓ（ｉ）に対応）と第２の要約画像（Ｓ（ｉ＋１）に対応）を要約画像列に残し、画像列において、第１の要約画像と第２の要約画像の間の画像を削除画像（Ｒ（ｊ）に対応）と判定することで画像要約処理を行う場合に、画像変形処理部１０５は、変形情報に基づいて、第１の要約画像を削除画像に対して変形投影した第１の変形要約画像（Ｓ’（ｉ））と、第２の要約画像を削除画像に対して変形投影した第２の変形要約画像（Ｓ’（ｉ＋１））を、変形画像として生成する。そして、非被覆領域演算部１０６は、第１の変形要約画像と、第２の変形要約画像と、削除画像とから、削除画像のうち第１の要約画像と第２の要約画像のいずれによっても被覆されない領域を、非被覆領域（図１３（Ｄ）のＩＢ）として演算する。

これにより、要約画像が複数ある場合にも、適切に非被覆領域を演算することが可能になる。上述したように、削除画像を要約画像に合成する際には、削除することで観察できなくなる被写体であるか否かが重要となる。その場合、画像列において削除画像の前後に２つの要約画像がある場合、削除画像中の被写体は、前方の要約画像Ｓ（ｉ）に撮像されている可能性もあるし、後方の要約画像Ｓ（ｉ＋１）に撮像されている可能性もあるし両方で撮像されている可能性もある。そして、どちらか一方に撮像されていれば、当該被写体は合成処理の対象とならなくても、Ｓ（ｉ）又はＳ（ｉ＋１）において観察可能である。よって、第１の画像Ｉ１が複数考えられる状況での非被覆領域を、上述したように、複数の第１の画像（第１の要約画像と第２の要約画像）のいずれによっても被覆されない領域とすることで、合成処理後の要約画像列での被写体の重複を抑止した効率的な処理が可能になる。

また、画像変形処理部１０５は、少なくとも非被覆領域ＩＢを含む領域を第１の要約画像に対して変形投影した第１の変形非被覆領域画像、及び少なくとも非被覆領域ＩＢを含む領域を第２の要約画像に対して変形投影した第２の変形非被覆領域画像の少なくとも一方を、変形非被覆領域画像として生成する。

これにより、要約画像が複数ある場合にも、変形非被覆領域画像を適切に生成することが可能になる。ここで、第１の変形非被覆領域画像とは図１４左のＩＢｊ１’（ｉ）やＩＢｊ２’（ｉ）に対応し、第２の変形非被覆領域画像とは図１４右のＩＢｊ１’（ｉ＋１）やＩＢｊ２’（ｉ＋１）に対応する。ＩＢｊ１’（ｉ）とＩＢｊ１’（ｉ＋１）は、ともにＩＢｊ１を変形投影した領域であるから撮像されている被写体は共通である。つまりＩＢｊ１に撮像された被写体を要約画像列に残すという観点から考えれば、ＩＢｊ１’（ｉ）とＩＢｊ１’（ｉ＋１）のどちらか一方を生成すれば十分である。ただし、ＩＢｊ１に撮像された被写体を複数の要約画像に残してもよいため、本実施形態ではＩＢｊ１’（ｉ）とＩＢｊ１’（ｉ＋１）の両方を生成することも許容している。ＩＢｊ２についても同様である。

以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

Ｉ１ 第１の画像、Ｉ２ 第２の画像、ＩＡ 被覆領域、ＩＢ 非被覆領域、
ＩＢ’ 変形非被覆領域画像、ＩＢｍｎ 重複領域、１００ 画像処理装置、
１０１ 画像列取得部、１０２ 画像入力部、１０３ 画像データベース、
１０４ 変形情報算出部、１０５ 画像変形処理部、１０６ 非被覆領域演算部、
１０８ 合成処理部、１０９ 出力部、７０１ 重複領域、７０２ 隙間領域、
１０５１ 第１の画像変形処理部、１０５２ 第２の画像変形処理部

Claims (16)

1. 連続する画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、
   前記変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成する画像変形処理部と、
   前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない非被覆領域を演算する非被覆領域演算部と、
   複数の画像の合成処理を行う合成処理部と、
   を含み、
   前記画像変形処理部は、
   少なくとも前記非被覆領域を含む領域を、前記変形情報に基づいて前記第１の画像に対して変形投影した変形非被覆領域画像を生成し、
   前記合成処理部は、
   前記変形非被覆領域画像と、前記第１の画像とを合成することを特徴とする画像処理装置。
2. 請求項１において、
   少なくとも前記第１の画像と、前記第２の画像と、第３の画像とを含む複数の画像を合成する場合に、
   前記画像変形処理部は、
   前記変形情報に基づいて、前記第１の画像を前記第２の画像に対して変形投影した前記変形画像と、前記第１の画像を前記第３の画像に対して変形投影した第２の変形画像と、を生成し、
   前記非被覆領域演算部は、
   前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない前記非被覆領域を演算し、前記第２の変形画像と前記第３の画像とから、前記第３の画像のうち前記第１の画像により被覆されない第２の非被覆領域を演算し、
   前記画像変形処理部は、
   前記変形情報に基づいて、前記非被覆領域を第１の画像に対して変形投影した前記変形非被覆領域画像と、前記第２の非被覆領域を第１の画像に対して変形投影した第２の変形非被覆領域画像と、を求め、
   前記合成処理部は、
   前記第１の画像と、前記変形非被覆領域画像と、前記第２の変形非被覆領域画像とに基づいて、前記合成処理を行うことを特徴とする画像処理装置。
3. 請求項２において、
   前記変形非被覆領域画像と、前記第２の変形非被覆領域画像が重複領域を有する場合に、
   前記合成処理部は、
   前記重複領域に関して、前記変形非被覆領域画像の評価値と、前記第２の変形非被覆領域画像の前記評価値を求め、前記評価値に基づいて、前記変形非被覆領域画像と前記第２の変形非被覆領域画像のうちの一方を選択し、前記重複領域では選択された画像を合成することを特徴とする画像処理装置。
4. 請求項３において、
   前記合成処理部は、
   前記評価値として、画質、コントラスト、シャープネス及びテクスチャ特徴の少なくとも１つに関する情報を求めることを特徴とする画像処理装置。
5. 請求項３又は４において、
   前記合成処理部は、
   前記評価値として、前記変形情報の信頼度に関する情報を用いることを特徴とする画像処理装置。
6. 請求項１において、
   前記画像列のうち選択された要約画像を要約画像列として残し、他の画像を削除画像と判定することで画像要約処理を行う場合に、
   前記第１の画像は、前記要約画像であり、
   前記第２の画像は、前記削除画像であることを特徴とする画像処理装置。
7. 請求項６において、
   第１の要約画像と第２の要約画像を前記要約画像列に残し、前記画像列において、前記第１の要約画像と前記第２の要約画像の間の画像を前記削除画像と判定することで画像要約処理を行う場合に、
   前記画像変形処理部は、
   前記変形情報に基づいて、前記第１の要約画像を前記削除画像に対して変形投影した第１の変形要約画像と、前記第２の要約画像を前記削除画像に対して変形投影した第２の変形要約画像を、前記変形画像として生成し、
   前記非被覆領域演算部は、
   前記第１の変形要約画像と、前記第２の変形要約画像と、前記削除画像とから、前記削除画像のうち前記第１の要約画像と前記第２の要約画像のいずれによっても被覆されない領域を、前記非被覆領域として演算することを特徴とする画像処理装置。
8. 請求項７において、
   前記画像変形処理部は、
   少なくとも前記非被覆領域を含む領域を前記第１の要約画像に対して変形投影した第１の変形非被覆領域画像、及び少なくとも前記非被覆領域を含む領域を前記第２の要約画像に対して変形投影した第２の変形非被覆領域画像の少なくとも一方を、前記変形非被覆領域画像として生成することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記変形情報算出部は、
   前記２つの画像の各画像内の少なくとも１つの設定された位置の画像間動きベクトルを、前記変形情報として算出することを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記画像変形処理部は、
    前記変形非被覆領域画像と前記第１の画像とを合成した合成画像を、所与の形状に変形する第１の変形処理、又は、
    前記合成画像が前記所与の形状となるように、前記変形非被覆領域画像及び前記第１の画像を変形する第２の変形処理を行うことを特徴とする画像処理装置。
11. 請求項１０において、
    前記第１の変形処理又は前記第２の変形処理が、前記第１の画像の一部又は全部に対する縮小処理を含む場合に、
    前記画像変形処理部は、
    少なくとも前記縮小処理の対象となる領域を含む領域を拡大処理した後に、前記第１の変形処理又は前記第２の変形処理を行うことを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記合成処理部は、
    前記変形非被覆領域画像と前記第１の画像とが重複領域を有する場合には、前記変形非被覆領域画像と前記第１の画像の一方を選択し、前記重複領域では選択された画像を合成することを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記合成処理部は、
    前記変形非被覆領域画像と前記第１の画像との間に隙間領域が生じる場合には、前記隙間領域を補間する補間処理を行うことを特徴とする画像処理装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記合成処理部は、
    前記変形非被覆領域画像と前記第１の画像との色調を調整する調整処理を行うことを特徴とする画像処理装置。
15. 連続する画像列において、２つの画像間の変形を表す変形情報を求め、
    前記変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成し、
    前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない非被覆領域を演算し、
    少なくとも前記非被覆領域を含む領域を、前記変形情報に基づいて前記第１の画像に対して変形投影した変形非被覆領域画像を生成し、
    前記変形非被覆領域画像と、前記第１の画像とを合成することを特徴とする画像処理方法。
16. 連続する画像列において、２つの画像間の変形を表す変形情報を求める変形情報算出部と、
    前記変形情報に基づいて、第１の画像を第２の画像に対して変形投影した変形画像を生成する画像変形処理部と、
    前記変形画像と前記第２の画像とから、前記第２の画像のうち前記第１の画像により被覆されない非被覆領域を演算する非被覆領域演算部と、
    複数の画像の合成処理を行う合成処理部として、
    コンピュータを機能させ、
    前記画像変形処理部は、
    少なくとも前記非被覆領域を含む領域を、前記変形情報に基づいて前記第１の画像に対して変形投影した変形非被覆領域画像を生成し、
    前記合成処理部は、
    前記変形非被覆領域画像と、前記第１の画像とを合成することを特徴とするプログラム。