JP2013008142A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】任意の画像の重要領域を画像の閲覧回数から推定し、当該領域を重要領域として削除・変化させることなく小型化すること。
【解決手段】事前登録されている登録画像の閲覧回数を用いて計算された符号の重要度を記憶した符号重要度帳１１０から、入力画像の特徴点に割り当てられた符号の重要度を取得し、その特徴点の領域の重要度を計算して、その特徴点の領域の重要度の大小に基づいて入力画像を小型化する。
【選択図】図１

Description

本発明は、検索された画像を入力画像とし、小型化する技術に関する。

ブロードバンド網の高度化、ストレージの大容量化、更には分散環境の整備により、オンラインでのコンテンツ流通はもはや日常のものとなっている。特に、２０００年代中頃より、画像や映像等のマルチメディアコンテンツ共有サイトやＩＰＴＶ・ＶｏＤ等のサービスが一挙に普及して以来、オンラインコンテンツは文書にとどまらず、画像・映像等のよりリッチなものを閲覧・視聴できるようになっている。

一般に、オンラインコンテンツを閲覧・視聴するためには、ユーザは、公開されている非常に多くのコンテンツの中から、検索エンジン等を利用して興味のあるものを探し出す必要がある。

現在の検索エンジンでは、コンテンツが画像である場合はもちろん、映像である場合であっても、「サムネイル」と呼ばれる小さい静止画像によってコンテンツをプレビューできるようになっている。

このようなサムネイルには、元のコンテンツが画像であれば、その画像を単純に小さいサイズにリスケールしたものが用いられることが多い。また、コンテンツが映像であれば、映像の中から１枚の画像を抽出し、これを同様に小さいサイズにリスケールしたものが用いられている。

このようなサムネイルは、大量のコンテンツを一覧するのに向いており、通常のパーソナルコンピュータ（Personal Computer:ＰＣ）に備えられるような、十分な大きさを持つモニタで見る分には非常に役に立つ。

一方、最近では、無線通信技術の発達や、スマートフォン等の高機能なモバイル端末の普及により、モバイル端末で画像や映像等のコンテンツを検索したり視聴したりすることも少なくなくなってきている。

このような端末は、持ち運び用であるがゆえ、非常に小型に集積されており、伴ってモニタもＰＣのそれに比べて遥かに小さくなっている。一例を挙げれば、ＰＣでよく用いられる２２インチワイドディスプレイは、横１９．１インチ、縦１０．８インチであるが、同じくモバイル端末に用いられる３．５インチワイドディスプレイは、横３．１インチ、縦１．８インチとなっており、その面積比は実に３７分の１となっている。

モバイル端末モニタの「小ささの問題」は、先のサムネイルの閲覧に対しても大きな不便さをもたらす。サムネイルは、小さい画像であるとはいえ、内容を視認・理解できるものでなければならない。したがって、ある程度以上のサイズに保たれることが要求される。

ＰＣであれば、モニタサイズが大きいために、十分なサムネイルサイズを保持することは容易であるが、モバイル端末においては事情が異なる。先の画面の面積比を引用すれば、モバイル端末において、ＰＣと同じ枚数のサムネイルを提示するためには、単純計算して１つ１つの画像サイズを、実に３７分の１に縮小しなければならなくなるからである。

然るに、モバイル端末のような小さい画面であっても、内容視認・理解の容易なサムネイル画像を生成できる画像処理技術が求められている。

従来より、元の画像よりも小型の画像を生成し、この問題に対処しようとする画像処理技術の発明がなされ、開示されてきた。特許文献１記載の技術、非特許文献１記載の技術、非特許文献２記載の技術がある。

特許文献１には、顔画像に特徴的に表れる特徴量に基づいて、効率的に顔領域を検出する技術について開示されている。本技術によれば、顔のある画像から顔領域のみを抽出し、小型化することができる。

非特許文献１には、画像内の顔のある領域、又は目立つ領域を検出し、これら以外の部分を切り取ることによって、画像を小型化する画像処理技術が開示されている。

非特許文献２には、seam carvingという画像のリサイズ技術が開示されている。この技術では、あるピクセルを仮に削除した場合に起こるエネルギーの変化が小さいピクセルだけを順次削除することによって小型化を実現している。

特開２０１０−９７４６２号公報

Bongwonn Suh、外３名、「Automatic Thumbnail Cropping and its Effectiveness」、In Proceedings of Annual ACM Symposium on User Interface Software and Technology (UIST)、2007年、p. 95-104. Shai Avidan、外１名、「Seam Carving for Content-Aware Image Resizing」、ACM Transactions on Graphics、Vol. 26、No. 3、Article No. 10、2007年7月

しかしながら、上に述べた従来の画像処理技術では、依然として画像の重要な領域を残して小型化を行うことはできなかった。

特許文献１及び非特許文献１記載の技術は、顔のある領域や目立つ領域のみに着目するものであった。これらのような特定の領域は、あらゆる画像において、必ずしも重要な領域であるとは限らない。したがって、この技術は、任意の画像に対して重要な領域を鑑み、画像を小型化できる技術ではなかった。

非特許文献２記載の技術では、エネルギーの変化の観点で画像をリサイズするため、重要な領域がエネルギーの低い領域であった場合、削除又は変形してしまうことがあった。削除したくないような重要な領域がある場合には、その領域を強制的に高エネルギー化することによって残すことも可能であるが、この場合にはその領域を手動で指定する必要があった。

以上説明したように、依然として、任意の画像に対して、その重要な領域を鑑み、これを削除・変更することなく小型化できる画像処理技術は実現されていなかった。

本発明は、上記課題を鑑みてなされたものであり、その課題とするところは、任意の画像の重要領域を画像の閲覧回数から推定し、当該領域を重要領域として削除・変化させることなく小型化することにある。

上記課題を解決すべく、本発明の着眼点を説明する。まず、本発明では、１枚の画像を特徴点の点群であると考える。特徴点とは、画像の領域、例えば、画像内に収められた物体の一部又は全体を記述した特徴量である。

なお、このような特徴点、及びこれを抽出する方法としては、例えば、「Distinctive Image Features from Scale-Invariant Keypoints」（David G. Lowe、International Journal of Computer Vision、Vol. 60、No. 2、2004年、p. 91-110.）に記載のSIFT（scale invariant feature transform）や、「SURF: Speeded Up Robust Features」（Herbert Bay、外３名、Computer Vision and Image Understanding、Vol. 110、No. 3、2008年、p. 346-359.）に記載のSURF（speeded up robust feature）等を利用できる。

これらの特徴点は、画像中の座標（ｘ，ｙ）・スケール（大きさ・半径）と、その領域の特徴を記述したベクトルとによって構成される。ベクトルは、領域の特徴を記述したものであるから、このベクトルが類似する領域は、互いに似た特徴を持つ領域であるとみなすことができる。

重要領域の特定には、画像の閲覧情報を利用する。すなわち、より閲覧されるような領域ほど、重要であると判断する。いま、ある画像Ａをリサイズすることを考える。小型化しようとする画像Ａがあったとき、理想的には、この「画像Ａのどの領域が一番閲覧されているか」を直接得られることが好ましいが、本発明では、画像Ａの閲覧履歴が得られていないような場合であっても、別の画像（画像Ｂ、画像Ｃ、…）の閲覧履歴を用いて、画像Ａの重要領域を特定することができる。

例えば、過去に閲覧された履歴のある画像Ｂ、画像Ｃがあったとする。これらの画像に対しても、それぞれ、特徴点、すなわち、特徴的な領域とその特徴を記述したベクトルを得ることができる。

仮に、画像Ｂが１０回、画像Ｃが５回閲覧されていたとする。このとき、画像Ｂに含まれる特徴点は、１０回分の閲覧に相当する重要度があると考え、画像Ｃに含まれる特徴点は、５回分の閲覧に相当する重要度があると考える。

仮に、画像Ｂと画像Ｃの特徴点のうち、同一の特徴を持つ（ベクトルが似ている）ものがあれば、その特徴点は、画像Ｂと画像Ｃの閲覧回数を加えた１５回分の閲覧に相当する重要度があると考えることができる。

このように考えることによって、各特徴点が、どの程度重要であるかを判断することができる。

この特徴点の重要度を鑑みれば、画像Ａに含まれる各特徴点との対応を解析することで、その重要度を推定することができる。すなわち、１５回分の閲覧に相当する重要度を持つ特徴点と同一の特徴点を持つものがあれば、それは画像Ａの中でも最も重要な特徴点であると推定され、小型化された画像においても保持されるべき領域を示すことになる。一方で、一度も閲覧されていないような特徴点は、あまり重要ではない特徴点であるとみなすことができ、保持する必要のない領域を示すことになる。

以上説明したように、本発明では、画像の閲覧情報を利用し、重要な領域とそうでない領域を判定し、小型化することを実現している。上記例では、画像Ａ〜画像Ｃの３枚の画像を例に説明したが、実際には、より多くの画像閲覧情報を利用し、重要領域の判定を行うことにより、その信頼性を高めることができる。

以上の点を踏まえて、請求項１記載の画像処理装置は、検索された画像を入力画像とし、小型化する画像処理装置において、記憶手段から登録画像及び登録画像の閲覧回数を取得する情報取得手段と、前記登録画像及び前記入力画像に含まれる領域の特徴量を求めて特徴点として抽出する特徴点抽出手段と、特徴点の特徴量と符号とを対応付けた符号帳データを用いて、前記抽出された特徴点に符号を割り当てる符号化手段と、前記登録画像の閲覧回数を用いて、当該登録画像の特徴点に割り当てられた符号の重要度を計算し、符号重要度帳データに記憶する符号重要度計算手段と、前記符号重要度帳データから、前記入力画像の特徴点に割り当てられた符号の重要度を取得し、当該特徴点の領域の重要度を計算する領域重要度計算手段と、前記領域の重要度の大小に基づいて前記入力画像を小型化する小型化手段と、を有することを特徴とする。

本発明によれば、事前登録されている登録画像の閲覧回数を用いて計算された符号の重要度を記憶した符号重要度帳データから、入力画像の特徴点に割り当てられた符号の重要度を取得し、その特徴点の領域の重要度を計算して、その特徴点の領域の重要度の大小に基づいて入力画像を小型化するため、任意の画像の重要領域を画像の閲覧回数から推定し、当該領域を重要領域として削除・変化させることなく小型化することができる。

請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記登録画像の閲覧回数は、当該登録画像の検索時に入力されたクエリ毎の閲覧回数であって、前記符号重要度計算手段は、前記符号の重要度をクエリ毎に計算し、前記領域重要度計算手段は、前記入力画像の検索時に入力されたクエリに対応する符号の重要度を取得して、前記特徴点の領域の重要度を計算することを特徴とする。

画像検索や映像検索においては、サムネイルの各領域の重要度は、問い合わせキー（クエリ）毎に異なることが想定される。例えば、ある画像内に「桜（の木）」と「東京タワー」が収められていたとする。このとき、「桜」というクエリで検索されたか、「東京タワー」というクエリで検索されたかによって、重要だと判定されるべき領域は明らかに異なる。

そのため、本発明によれば、入力画像の検索時に入力されたクエリに対応する符号の重要度を取得して、入力画像の特徴点の領域の重要度を計算するため、入力画像がどのようなクエリによって閲覧されたかを特定し、それに応じた重要度を求めることが可能となり、より適切に小型画像を生成できる。

請求項３記載の画像処理装置は、請求項１又は２記載の画像処理装置において、前記領域重要度計算手段は、前記入力画像の特徴点に割り当てられた符号の重要度と、当該特徴点の中心座標及び大きさにより定められる関数との二項演算によって定められる値の線形演算によって、当該特徴点の領域の重要度を計算することを特徴とする。

特徴点のスケール（大きさ・半径）は様々であるが、この特徴点領域に対して一律に重要度を与えるとした場合、スケールの大きな特徴点が重なる領域ほど重要度が高くなってしまうなど、領域重要度が特徴点のスケールに大きく依存してしまうデメリットを生む場合がある。

そのため、本発明によれば、領域重要度を求める際に特徴点のスケールを考慮した関数を導入しているため、このスケールの影響を緩和し、より高精度な重要度推定を実施することができる。

請求項４記載の画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置において、前記小型化手段は、前記入力画像の特徴点の領域の重要度と当該入力画像の局所テクスチャとにより定められる目的関数を最適化することによって、前記入力画像を小型化することを特徴とする。

本発明では、画像の重要度を考慮して、重要な領域を削除・変化させることなく小型化画像を生成する。また、画像の局所テクスチャは、エッジや画素値の局所的変化量の指標である。すなわち、これが大きい領域は、削除・変形させてしまった場合に見た目の変化が大きくなるような領域であるため、小型化する上で避けるべき領域といえる。

そのため、本発明によれば、入力画像の特徴点の領域の重要度と当該入力画像の局所テクスチャとにより定められる目的関数を最適化することによって、入力画像を小型化するため、これら双方の影響を考慮しながら、最適となる小型化画像を生成することができる。

請求項５記載の画像処理装置は、請求項１乃至４のいずれかに記載の画像処理装置において、前記登録画像の閲覧回数は、当該登録画像を構成する領域毎の閲覧回数であって、前記符号重要度計算手段は、前記登録画像の特徴点に対応する領域が閲覧された閲覧回数に応じて、当該登録画像の特徴点に割り当てられた符号の重要度を計算することを特徴とする。

また、以上の画像処理装置が実行する画像処理方法も本発明の特徴である。この本発明に係る画像処理方法は、コンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、通信ネットワークを介して提供されたりしてもよく、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

本発明によれば、任意の画像の重要領域を画像の閲覧回数から推定し、当該領域を重要領域として削除・変化させることなく小型化することができる。

画像処理装置の機能ブロック構成例を示す図である。 画像処理装置の処理動作例を示すフローチャートである。 画像を構成する領域毎の閲覧回数の取得方法例を説明する図である。 特徴点に割り当てられた符号の重要度の計算方法例を説明する図である。 特徴点の領域重要度の計算方法例を説明する図である。 画像小型化方法（クロッピング）を説明する図である。 画像小型化方法（リターゲティング）を説明する図である。 画像小型化方法の効果を説明する図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

図１に、本実施の形態に係る画像処理装置の機能ブロック構成の一例を図示する。この図に示すように、本実施の形態による画像処理装置１は、入力部１０１と、特徴点抽出部１０２と、符号帳１０４を保持する符号化部１０３と、領域重要度計算部１０５と、小型化部１０６と、出力部１０７と、情報取得部１０８と、符号重要度計算部１０９と、符号重要度帳１１０とで主に構成される。

ここで、符号帳１０４は、特徴点の特徴ベクトルと符号との対応関係を記録したデータであり、特徴点を符号に変換する際に用いる。また、符号重要度帳１１０は、各符号に対応する重要度を記憶したデータであり、画像の領域の重要度を求める際に用いる。

また、通信網（不図示）を介して本画像処理装置１に接続された画像データベース１１１が存在し、その画像データベース１１１には、画像群１１２や各画像のメタデータや閲覧情報と共に登録されている。

以降、本実施の形態の一例として、検索された画像を入力画像１１３とし、その入力画像１１３を入力として受け取り、当該入力画像１１３を小型化して小型化画像１１４として出力するまでに要する処理について説明する。

入力部１０１は、入力画像１１３を入力として受け取り、これを特徴点抽出部１０２に受け渡す機能を有している。

特徴点抽出部１０２は、入力画像１１３や、情報取得部１０８によって画像データベース１１１から取得された登録画像に対して特徴点抽出処理を実行し、得られた特徴点を符号化部１０３に出力する機能を有している。

符号化部１０３は、符号帳１０４を参照し、入力画像１１３や登録画像の各特徴点がどの符号に対応するかを判断し、符号に変換する（符号に割り当てる）機能を有している。

領域重要度計算部１０５は、符号重要度帳１１０を参照して各符号（特徴点）の重要度を判断し、対応する特徴点の領域における重要度を計算する機能を有している。

小型化部１０６は、特徴点の領域における重要度を参照し、重要度の高い座標領域ほど、削除・変更されないよう小型化して出力する機能を有している。

出力部１０７は、生成された小型化画像１１４を出力する機能を有している。

情報取得部１０８は、画像データベース１１１から登録画像及び登録画像の閲覧情報を取得する機能を有している。

符号重要度計算部１０９は、登録画像の閲覧情報を用いて、その登録画像の特徴点に割り当てられた符号の重要度を計算し、符号重要度帳１１０に記憶する機能を有している。

以上の機能を具備する画像処理装置１により、入力画像の重要領域を残したまま小型化して出力することを実現する。

図２に、画像処理装置１が実行する画像処理のフローチャートを図示する。このフローチャートを用いて、本実施の形態の一例において実行される画像処理について詳述する。

本画像処理は、大別して、図２（ａ）に示す前処理と、図２（ｂ）に示す画像小型化処理とからなる。前処理は、画像小型化処理に用いる符号重要度帳１１０を生成するための処理であり、画像データベース１１１に登録された画像とその閲覧情報から、特徴点抽出部１０２と、符号化部１０３と、符号重要度計算部１０９とを介して実行される。

一方、画像小型化処理は、実際に小型化対象の入力画像を小型化画像に変換するための処理を実行するための処理であり、特徴点抽出部１０２と、符号化部１０３と、領域重要度計算部１０５と、小型化部１０６とを介して実行される。

以降、前処理と画像小型化処理とについて、その処理内容を詳述する。

〔前処理〕
図２（ａ）のフローチャートに示すように、前処理では、ステップＳ１０１〜Ｓ１０４までの４段階の処理を経る。

まず、ステップＳ１０１では、情報取得部１０８が、画像データベース１１１に蓄積された画像群１１２と、各画像の閲覧情報を取得する。

画像群は、全て同時に蓄積されるものとしても構わないし、１つ１つ異なるタイミングで蓄積されるものであってもよい。本実施の形態の一例においては、画像データベース１１１と画像処理装置１とは通信網（不図示）で接続されたものとしているが、画像データベース１１１が画像処理装置１の内部にあるものとしてもよい。

ここで取得する閲覧情報とは、各画像の全領域又はその一部の領域が、過去一定の期間にどのように、どの程度閲覧されたかを表す情報である。例えば、画像の閲覧回数が含まれる。又は、画像が何らかのクエリによって検索され、閲覧された場合には、クエリ毎の閲覧回数等も閲覧情報に含まれる。例えば、「画像Ａが、桜というクエリで５回、木というクエリで３回、閲覧された」といった情報が閲覧情報となる。

また、取得できる場合には、画像の閲覧回数ではなく、画像を構成する領域毎の閲覧回数を得るものとしてもよい。最近のスマートフォン等では、画像の特定部分を拡大表示して閲覧できることがあるが、どこを拡大して表示したかといった情報が画像データベース１１１に登録されていれば、これを取得する。

ここで、図３を例に、画像の領域毎の画像閲覧回数の取得方法の一例を説明する。まず、画像を領域ごとに分割する。この領域分割には、「Mean Shift: A Robust Approach Toward Feature Space Analysis」（Dorin Comaniciu、外１名、IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol. 24、No. 5、2002年、p.603-619.）に記載されたオブジェクトごとに分割できるmean shift法や、「Normalized Cuts and Image Segmentation」（Jianbo Shi、外１名、IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol. 22、No. 8、2000年、p.888-905.）に記載されたグラフカット法等の公知の技術を用いてもよいが、図３に示すように、等間隔に分割するものとしてもよい。

図３の例では、（３−ａ）〜（３−ｐ）まで、均等に１６分割した例である。このように分割された各領域について、拡大して閲覧された回数を得る。例えば、「画像Ａの領域（３−ｍ）が４回、（３−ｏ）が８回、（３−ｐ）が２回閲覧された」といった情報が閲覧情報となる。

このようにすることによって、物体の映っている（３−ｍ）や（３−ｏ）、（３−ｐ）等、拡大して閲覧されやすい（より重要な）領域部分の閲覧回数をより精密に得ることができる。

続いて、ステップＳ１０２では、特徴点抽出部１０２が、ステップＳ１０１で取得した各画像それぞれに対して特徴点抽出処理（画像に含まれる１以上の領域の特徴量を求めて特徴点として抽出する処理）を実行し、特徴点を抽出する。特徴点とは、画像中の特徴的な点に対して抽出されるものであり、少なくとも、画像中のどの点であるかを示す座標（ｘ，ｙ）やスケール（半径）、及びその点の特徴を表すベクトルで構成される。

このような特徴点を抽出するには、前述したようにSIFTやSURF等、公知のものを用いることができる。これらによって抽出される特徴点の特徴は、例えば１２８次元の実数値ベクトルとして表現される。

以降、特徴点をｐ＝（ｘ，ｙ，σ，ｖ）で表す。ここで、ｘ，ｙはそれぞれ特徴点中心の画像上のｘ座標とｙ座標、σはスケール、ｖは特徴ベクトルである。各画像からは、特別な場合を除いて１つ以上の特徴点が抽出されるので、画像Ｉは特徴点の集合ＰＩとして表現することができる。

続いて、ステップＳ１０３では、符号化部１０３が、ステップＳ１０２で抽出された各特徴点のそれぞれに対して、予め生成しておいた符号帳１０４を参照して符号化する。

まずここでは、先だって実行する符号帳１０４の生成方法について述べる。符号帳１０４は、特徴点ｐの特徴ベクトルｖを、その特徴ベクトルｖの値に応じて符号ｓに変換するための規則を格納したものである。

特徴点の集合ＰＮ＝｛ｐ１，ｐ２，…，ｐＮ｝（Ｎは自然数）の各特徴点の特徴ベクトルを、Ｖ＝｛ｖ１，ｖ２，…，ｖＮ｝と表す。このＶに対してクラスタリングを適用し、符号帳を得る。クラスタリング方法としては、k-means法やガウス混合モデル、「Clustering by Passing Messages Between Data Points」（Brendan J. Frey、外１名、Vol. 315、2007年、p.972-976.）に記載されたAffinity Propagation等、公知の技術を用いることができる。

クラスタリングの結果、Ｖを代表する１つ以上（Ｍ個）（Ｍは自然数）の代表特徴ベクトルＶ＊＝｛ｖ１＊，ｖ２＊，…，ｖＭ＊｝が得られる。このＭ個の代表特徴ベクトルの１つ１つが、符号に相当する。符号帳を生成するために用いる画像は、どのようなものでも構わないが、例えば画像データベース１１１中の画像群を用いるものとしてもよい。

以上のようにして符号帳１０４を得ることができる。

こうして得た符号帳１０４を参照して、特徴点ｐの特徴ベクトルｖの値に応じて、符号を割り当てる。具体的には、特徴点ｐの特徴ベクトルｖが、Ｍ個の代表特徴ベクトルのいずれに一番近いかを任意の距離空間で計測し、最も近い代表特徴ベクトルに対応する符号を割り当てる。

続いて、ステップＳ１０４では、符号重要度計算部１０９が、ステップＳ１０１で取得した閲覧情報を用いて、先述の符号のそれぞれの重要度を求め、符号重要度帳１１０を生成する。

符号重要度帳１１０は、符号帳１０４に記載された各符号が、どの程度重要であるかを格納した辞書データである。ステップＳ１０１からステップＳ１０３までの処理により、画像データベース１１１中の各画像（又は領域毎）の閲覧情報と、特徴点に割り当てられた符号の集合が得られている。これらの情報に基づいて、符号帳１０４の各符号が、どの程度重要であるかを推定する。

図４を用いて、その処理の一例を説明する。説明の簡便性のため、図４には、領域（３−ｅ）と領域（３−ｏ）からそれぞれ１つずつの特徴点が抽出されているものとする。実際には、より多くの特徴点が抽出されることになるが、以降説明する処理のエッセンスは同じである。

この図では、領域（３−ｅ）には、符号“３”の特徴点が抽出されており、領域（３−ｏ）には、符号“５”の特徴点が抽出されている。また、閲覧情報として、「領域（３−ｅ）がこれまでに１回閲覧された」こと、「領域（３−ｏ）がこれまで８回閲覧された」ことがわかっている。

より閲覧されやすい興味のある画像（領域）の方が、より閲覧される傾向にあるため、閲覧情報は重要度を反映している。そこで、閲覧回数１の領域（３−ｅ）の符号“３”には重要度１を、閲覧回数８の領域（３−ｏ）の符号“５”には重要度８をそれぞれ加点する。

このようにして、各符号の重要度を算出する。もちろん、領域毎ではなく、画像毎の閲覧回数しか得られないような場合であっても、より閲覧された画像の符号の重要を大きくすることによって、同様の重要度計算をすることができる。

重要度を求める際には、閲覧回数に応じて単調増加する任意のものを用いることができる。ここで、単純に閲覧回数を加点するだけでは、ありふれた符号、すなわち、多くの画像（領域）に頻出する符号ほど重視されてしまうという問題がある。

そこで、符号の出現数で割り引いた重要度の計算を取り入れることが好ましい。ある符号をｃとし、その重要度をｉ（ｃ）として、例えば、下記の式（１）に基づいて重要度を求めることができる。

ここで、＃（ｃ）は符号ｃの出現回数、ｂ（ｃ）は符号ｃの閲覧回数の合計、Ｎは総画像数を表す。この式（１）によれば、ｖｆ（ｃ）より、より閲覧された回数の多い符号ほど重要度が高く、ｃｆ（ｃ）より、符号出現１回あたり、より閲覧されているものほど重要度が高く、かつ、ｉｉｆ（ｃ）より、多くの画像に頻出するような、ありふれた符号でないものほど重要度が高くなる。もちろん、ｖｆ（ｃ）、ｃｆ（ｃ）、ｉｉｆ（ｃ）の全てを用いる必要はなく、必要に応じて取捨選択してもよい。

以上のように、全ての符号に対する重要度を求め、符号重要度帳１１０として格納する。

また、クエリ毎の閲覧情報が得られている場合には、クエリ毎に、上記のような符号重要度帳を生成してもよい。この場合は、クエリ「桜」の符号重要度帳、クエリ「木」の符号重要度帳等、複数の符号重要度帳を生成することとなる。

以上、前処理の一例について詳述した。

〔画像小型化処理〕
続いて、画像小型化処理について説明する。画像小型化処理は、入力画像を処理することにより、重要な領域を残しながら小型化した画像を出力する処理である。

図２（ｂ）のフローチャートに示すように、画像小型化処理では、ステップＳ１０５〜Ｓ１０９までの５段階の処理を経る。以下、各ステップについて、その処理の一例を詳述する。

まず、ステップＳ１０５では、入力部１０１が、入力画像１１３を入力として受け付ける。続いて、ステップＳ１０６では、特徴点抽出部１０２が、入力画像１１３から特徴点を抽出し、ステップＳ１０７では、符号化部１０３が、符号帳１０４を参照し、抽出した各特徴点に符号を割り当てる。なお、ステップＳ１０６とステップＳ１０７との各処理内容については、それぞれ、前処理におけるステップＳ１０２とステップＳ１０３と同様である。

ここまでの処理によって、入力画像１１３は、符号が割り当てられた特徴点の集合となっている。

続くステップＳ１０８では、領域重要度計算部１０５が、前処理によって得た符号重要度帳１１０を参照し、入力画像１１３の領域毎の重要度を求める。入力画像１１３から得られた特徴点は、特徴点中心の画像上の座標ｘと座標ｙ、スケールσ、特徴ベクトルｖと、割り当てられた符号とを持つ。

図５を用いて、その処理の一例を説明する。説明の簡便性のため、図５には、２つの特徴点が抽出されているものとしている。実際には、より多くの特徴点が抽出されることになるが、以降説明する処理のエッセンスは同じである。

この図では、ｘ＝２２５，ｙ＝１５５,スケール３の領域に、符号“５”の特徴点ｐ１が抽出されており、ｘ＝３０，ｙ＝１２０，スケール８の領域に、符号“３”の特徴点ｐ２が抽出されている。また、前処理によって作成した符号重要度帳１１０を参照し、符号“３”の重要度が０．３、符号“５”の重要度が１．５と分かっているとする。

そこで、符号“５”であるｐ１の特徴点領域に重要度１．５を加算し、符号“３”であるｐ２の特徴点領域に符号０．３を加算する。このようにして、符号帳重要度を基に、入力画像の各領域の重要度を計算する。

領域重要度を求める際には、符号の重要度に応じて単調増加する任意のものを用いることができる。ここで、単純に特徴点の領域に符号重要度を一様に与えるだけでは、よりスケール（半径）の大きな特徴点が重なる領域ほど重要度が高くなってしまう場合がある。

そこで、符号のスケールの大きさで割り引いた重要度の計算を取り入れることが好ましい。特徴点ｐの中心座標をｘ_ｐ，ｙ_ｐ、スケールをσ_ｐとし、その特徴点の符号の重要度をｉ_ｐとすると、例えば、下記の式（２）に基づいて、任意のピクセル（ｘ’，ｙ’）の重要度ｆ（ｘ’，ｙ’）を求めることができる。

なお、Ｐは入力画像の全特徴点の集合であり、｜Ｐ｜はその要素数である。式（２）は、符号の重要度と、入力画像の特徴点の中心座標及びスケールにより定められる関数との二項演算によって定められる値の線形演算である。

このようにして、入力画像中の任意の座標における重要度を計算することができる。

また、前処理であるステップＳ１０４において、クエリ毎の符号重要度帳を生成している場合には、クエリに対応した領域重要度を計算してもよい。式（２）における重要度ｉ_ｐがクエリ毎に変化することになる点以外は、上記説明した処理と全く同じ処理を実施することができる。入力画像が異なるクエリによって検索される場合、クエリに応じて重要な領域を変化させることができるため、よりユーザの意図にあった小型化画像を得ることができるようになり、利便性が高まる。

続いて、ステップＳ１０９では、小型化部１０６が、ステップＳ１０８にて求めた領域重要度に基づいて、小型化画像を生成し、出力部１０７を介して出力する。

元の画像のサイズに対して、どの程度小さいものにするかは、ユーザによって決定させるものとしてもよいし、予め一定の割合、例えば０．５等として決めておいてもよい。

基本的には、「重要な領域ほど削除せず、変化もさせないように画像を小型化する。言い換えれば、重要でない領域ほど、削除・変化をゆるす」という方針に基いて小型化する。

これを実現するために、本実施の形態の一例では、最適化に基づく方法を採用する。小型化された画像Ｉに対して、Ｉ（ｘ，ｙ）をその画素値、ｆ（ｘ，ｙ）をその座標における重要度であるとする。ここで、最適化する目的関数ｅ（Ｉ）を、下記の式（３）に示すように定める。

ここで、δ（Ｉ（ｘ，ｙ））は、画像Ｉの座標（ｘ，ｙ）における画素値と、その周辺の画素値の差分量である。λはパラメータであり、例えば０．１等として定めればよい。この目的関数ｅ（Ｉ）は、すなわち、より画素の変化（局所テクスチャ）が大きい座標であり、かつ重要度の高い座標ほど重要であるいう考えのもとに設計されたものである。

当該目的関数を最大化するような画像Ｉ（ｘ，ｙ）を求める。ここでは、このような小型化画像を得るための３つの異なる方法について説明する。

（１）クロッピング
クロッピングは、指定されたサイズの矩形領域のうち、矩形領域内の目的関数の値が最大になるような位置を探索し、この部分以外を切り取ることによって小型化する方法である。

図６を用いて、この処理を説明する。元の画像のサイズが横Ｘ,縦Ｙであるとする。仮に、半分のサイズに小型化する場合、矩形領域は横Ｘ／２,縦Ｙ／２となる。この矩形領域を使って元画像をスキャンし、目的関数が最大になる位置を探しだす。

まず、元画像のはじまり、すなわち、ｘ＝０，ｙ＝０から、矩形領域（の左上部）を当てはめ、矩形領域内における目的関数の値を計算する。次に、１ピクセルずらしてｘ＝１，ｙ＝０の点で同様に目的関数の値を計算する。

同様に１ピクセルずつずらしながら目的関数の値を計算していき、最終的に全走査が終了した時点で、目的関数の値が最大となった位置を最適矩形領域として決定する。そして、この最適矩形領域を小型化画像として切り出し、出力する。

（２）リターゲティング
リターゲティングは、指定されたサイズになるまで、最も重要度の低いピクセル群から順番に、逐次削除していく方法である。seam carving同様、動的計画法を用いて、１ステップごとに、縦又は横１ピクセル（１行／１列）分を除去していく。

ここで、式（３）に示した、画像全体の目的関数に対して、ピクセル（ｘ，ｙ）単位でのピクセル目的関数ｄ（ｘ，ｙ）を式（４）に示すように定義しておく。

このピクセル目的関数によって、画像上の各ピクセルにおける値を計算しておく。

図７を用いて、動的計画法による縦１ピクセル分を除去する（横方向に１ピクセル分縮小させる）処理を説明する。簡単のため、図７では画像のサイズを横４×縦３としているが、より大きなサイズの画像であっても、そのエッセンスは同様である。

（ａ）まず、各ピクセル（ピクセルＡ〜Ｌ）についてピクセル目的関数の値を計算する。図７では、この値を（）内に記載してある。この例では、Ａ〜Ｌの順に、２，３，１，５，５，６，８，３，１，２，９，２である。１行目（ピクセルＡ〜Ｄ）には、便宜上、（）外に、（）内と同じ値を記載してある。

（ｂ）次に、２行目（ピクセルＥ〜Ｈ）に着目し、ピクセル毎に、周辺の８近傍に含まれる１行目のピクセルを調べ、その（）外の値のうち最も小さい値を（）内の値に加算する。

ここで、ピクセルＦの場合を例にとって説明する。８近傍とは、着目しているピクセルの上下左右、及び斜め４方向に位置する８個のピクセルである。ピクセルＦに着目した場合は、Ａ，Ｂ，Ｃ，Ｅ，Ｇ，Ｉ，Ｊ，Ｋの８つに相当する。

このうち、１行目にあるピクセルは、Ａ，Ｂ，Ｃの３つであるから、それらの（）外の値のうち最も小さい値は、ピクセルＣの１ということになる。よって、Ｆの（）内の値６に１を加え、Ｆの（）外に７を記載する。ピクセルＥ，Ｇ，Ｈに対しても同様に計算を実行する。

（ｃ）次に、３行目以降も同様に、ピクセル毎に、８近傍に含まれる１行前のピクセルの（）外の値のうち、最も小さい値を（）内の値に加算する。

（ｄ）次に、最終行まで計算し終えた時点で、最終行の中で、（）外の値が最も小さいピクセルを選び、選択する。図７の例では、（）外の値が６であるピクセルＬを選択することになる。

（ｅ）手前の行に遡って行き、順に（）外の値が最も小さいピクセルを選んで選択していく。ただし、遡る際にも同様に８近傍に含まれるものに限る。図７の例では、２行目からＨ，１行目からＣを選択することとなる。

（ｆ）最後に、選択されたピクセルを除去することで、横方向に１列縮小した小型化画像が得られる。

なお、上の例では、横方向を縮める処理を示したが、縦方向についても同様のやり方で縮小できる。

以降、目標とするサイズ、例えば、半分のサイズの小型化画像になるまで、（ｂ）〜（ｆ）の処理を繰り返す。

結果、例えば、図８に示すような小型化が実現できる。前述のクロッピングでは、重要な領域が複数、離れて存在しているような場合、どちらかを縮小画像に含められないような場合が生じてくる。

しかしながら、リターゲティングによって得た画像は、重要な領域が離れた場所にある場合でも、両者の間のピクセルが除去されていくので、双方を残した小型化画像を得ることができるメリットがある。

一方で、リターゲティングは元の画像を非線形に縮尺するため、クロッピングに比べて不自然に見える画像が生成されやすいというデメリットもある。そこで、クロッピング、リターゲティング双方のデメリットを補うため、これらを合わせて用いる方法を用いてもよい。

（３）クロッピング＋リターゲティング
基本的には、まず、リターゲティングで１行／列分を除去した小型化画像Ｉｒと、元画像よりも１行／列分小さい矩形領域を用いたクロッピングにより得られる小型化画像Ｉｃをそれぞれ生成し、それぞれの目的関数の値ｅ（Ｉｒ）とｅ（Ｉｃ）を計算する。

その後、両者を比較し、より大きい値をとった方の小型化画像を採用する。

上記の処理を、目的のサイズになるまで繰り返すことで、クロッピング、リターゲティング両方を用いながら、式（３）を最大化する小型化画像を得ることができる。

また、１行／列ずつ目的関数の値を計算し、比較する処理を行うと、計算時間がかかるという問題もある。この場合には、１行／列ではなく、複数行／列を除去してから、目的関数の値を比較して選択するものとしてもよい。このようにすることで、比較に要する計算時間を削減し、処理を効率化することができる。

以上のように生成した小型化画像を、出力部１０７を介して出力する。

以上が、本実施の形態の一例における画像処理装置、及び当該装置で実行される画像処理方法の説明である。この画像処理方法で実施される処理プロセスを、コンピュータで読み取り可能なプログラムとして記述することも可能であることはいうまでもない。

以上、本実施の形態の一例における画像処理装置について詳細に説明した。本発明は、本実施の形態の一例に限定されるものでなく、特許請求の範囲に記載した技術的範囲において各種の変形を行うことが可能である。

本実施の形態によれば、事前登録されている登録画像の閲覧回数を用いて計算された符号の重要度を記憶した符号重要度帳１１０から、入力画像の特徴点に割り当てられた符号の重要度を取得し、その特徴点の領域の重要度を計算して、その特徴点の領域の重要度の大小に基づいて入力画像を小型化するので、任意の画像の重要領域を画像の閲覧回数から推定し、当該領域を重要領域として削除・変化させることなく小型化することができる。

本実施の形態によれば、入力画像の検索時に入力されたクエリに対応する符号の重要度を取得して、入力画像の特徴点の領域の重要度を計算するので、入力画像がどのようなクエリによって閲覧されたかを特定し、それに応じた重要度を求めることが可能となり、より適切に小型画像を生成できる。

本実施の形態によれば、領域の重要度を求める際に特徴点のスケールを考慮した関数を導入しているので、このスケールの影響を緩和し、より高精度な重要度推定を実施することができる。

本実施の形態によれば、入力画像の特徴点の領域の重要度と当該入力画像の局所テクスチャとにより定められる目的関数を最適化することによって、入力画像を小型化するので、これら双方の影響を考慮しながら、最適となる小型化画像を生成することができる。

１…画像処理装置
１０１…入力部
１０２…特徴点抽出部（特徴点抽出手段）
１０３…符号化部（符号化手段）
１０４…符号帳
１０５…領域重要度計算部（領域重要度計算手段）
１０６…小型化部（小型化手段）
１０７…出力部
１０８…情報取得部（情報取得手段）
１０９…符号重要度計算部（符号重要度計算手段）
１１０…符号重要度帳
１１１…画像データベース
１１２…画像群（登録画像）
１１３…入力画像
１１４…小型化画像
Ｓ１０１〜Ｓ１０９…処理ステップ

Claims (8)

1. 検索された画像を入力画像とし、小型化する画像処理装置において、
   記憶手段から登録画像及び登録画像の閲覧回数を取得する情報取得手段と、
   前記登録画像及び前記入力画像に含まれる領域の特徴量を求めて特徴点として抽出する特徴点抽出手段と、
   特徴点の特徴量と符号とを対応付けた符号帳データを用いて、前記抽出された特徴点に符号を割り当てる符号化手段と、
   前記登録画像の閲覧回数を用いて、当該登録画像の特徴点に割り当てられた符号の重要度を計算し、符号重要度帳データに記憶する符号重要度計算手段と、
   前記符号重要度帳データから、前記入力画像の特徴点に割り当てられた符号の重要度を取得し、当該特徴点の領域の重要度を計算する領域重要度計算手段と、
   前記領域の重要度の大小に基づいて前記入力画像を小型化する小型化手段と、
   を有することを特徴とする画像処理装置。
2. 前記登録画像の閲覧回数は、当該登録画像の検索時に入力されたクエリ毎の閲覧回数であって、
   前記符号重要度計算手段は、前記符号の重要度をクエリ毎に計算し、
   前記領域重要度計算手段は、
   前記入力画像の検索時に入力されたクエリに対応する符号の重要度を取得して、前記特徴点の領域の重要度を計算することを特徴とする請求項１記載の画像処理装置。
3. 前記領域重要度計算手段は、
   前記入力画像の特徴点に割り当てられた符号の重要度と、当該特徴点の中心座標及び大きさにより定められる関数との二項演算によって定められる値の線形演算によって、当該特徴点の領域の重要度を計算することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記小型化手段は、
   前記入力画像の特徴点の領域の重要度と当該入力画像の局所テクスチャとにより定められる目的関数を最適化することによって、前記入力画像を小型化することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記登録画像の閲覧回数は、当該登録画像を構成する領域毎の閲覧回数であって、
   前記符号重要度計算手段は、
   前記登録画像の特徴点に対応する領域が閲覧された閲覧回数に応じて、当該登録画像の特徴点に割り当てられた符号の重要度を計算することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 検索された画像を入力画像とし、小型化する画像処理装置で行う画像処理方法において、
   記憶手段から登録画像及び登録画像の閲覧回数を取得する情報取得ステップと、
   前記登録画像に含まれる領域の特徴量を求めて特徴点として抽出する第１特徴点抽出ステップと、
   特徴点の特徴量と符号とを対応付けた符号帳データを用いて、前記抽出された登録画像の特徴点に符号を割り当てる第１符号化ステップと、
   前記登録画像の閲覧回数を用いて、当該登録画像の特徴点に割り当てられた符号の重要度を計算し、符号重要度帳データに記憶する符号重要度計算ステップと、
   前記入力画像に含まれる領域の特徴量を求めて特徴点として抽出する第２特徴点抽出ステップと、
   前記符号帳データを用いて、前記抽出された入力画像の特徴点に符号を割り当てる第２符号化ステップと、
   前記符号重要度帳データから、前記入力画像の特徴点に割り当てられた符号の重要度を取得し、当該特徴点の領域の重要度を計算する領域重要度計算ステップと、
   前記領域の重要度の大小に基づいて前記入力画像を小型化する小型化ステップと、
   を有することを特徴とする画像処理方法。
7. 前記登録画像の閲覧回数は、当該登録画像の検索時に入力されたクエリ毎の閲覧回数であって、
   前記符号重要度計算ステップは、前記符号の重要度をクエリ毎に計算し、
   前記領域重要度計算ステップは、
   前記入力画像の検索時に入力されたクエリに対応する符号の重要度を取得して、前記特徴点の領域の重要度を計算することを特徴とする請求項６記載の画像処理方法。
8. 請求項６又は７記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。

Images