JP2016031721A - 検索装置、方法及びプログラム - Google Patents

Abstract

【課題】構成要素が存在する領域、あるいは、構成要素が存在しない領域を指定することで、目的とする検索対象コンテンツを検索する。【解決手段】一実施形態に係る検索装置は、記憶部と、取得部と、検索部と、表示制御部とを備える。記憶部は、１以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する。取得部は、検索対象コンテンツにおける上記対象種別存在領域に相当する第１領域の周囲に存在し、上記構成要素が存在する尤度を限定する第２領域を指定する指定データを取得する。検索部は、この取得部によって取得された指定データに基づいて、上記記憶部から上記検索対象コンテンツを検索する。表示制御部は、この検索部によって得られた検索結果を表示部に表示させる。【選択図】 図１

Description

本発明の実施形態は、検索装置、方法及びプログラムに関する。

従来から、ユーザが入力した手書きのクエリに基づいて、文書を検索する技術が知られている。例えば、紙の資料に書かれた注釈（筆跡データ）を対象にして資料を検索する技術がある。

特開２００６−０３１４９２号公報 特開２００７−０４２０５０号公報

しかしながら、上述したような従来技術は、検索対象となる文書の構成要素（例えば、文字領域、図領域、写真など）の位置の記憶が不確かな場合には、該当する文書を検索することはできない。

本発明が解決しようとする課題は、構成要素が存在する領域、あるいは、構成要素が存在しない領域を指定することで、目的とする検索対象コンテンツを検索することができる検索装置、方法及びプログラムを提供することである。

一実施形態に係る検索装置は、記憶部と、取得部と、検索部と、表示制御部とを備える。記憶部は、１以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する。取得部は、検索対象コンテンツにおける上記対象種別存在領域に相当する第１領域の周囲に存在し、上記構成要素が存在する尤度を限定する第２領域を指定する指定データを取得する。検索部は、この取得部によって取得された指定データに基づいて、上記記憶部から上記検索対象コンテンツを検索する。表示制御部は、この検索部によって得られた検索結果を表示部に表示させる。

図１は第１の実施形態に係る検索装置の構成を示すブロック図である。 図２は同実施形態における検索対象コンテンツの一例を示す図である。 図３は同実施形態における手書きデータの一例を示す図である。 図４は同実施形態における検索結果の一例を示す図である。 図５は同実施形態における検索対象コンテンツの一例を示す図である。 図６は同実施形態における手書きデータの一例を示す図である。 図７は同実施形態における手書きデータの一例を示す図である。 図８は同実施形態における手書きデータの一例を示す図である。 図９は同実施形態における手書きデータの一例を示す図である。 図１０は同実施形態における手書きデータの一例を示す図である。 図１１は同実施形態の検索装置１０で実行される検索処理の一例を示すフローチャートである。 図１２は同実施形態における手書きデータと検索結果の一例を示す図である。 図１３は第２の実施形態における手書きデータの一例を示す図である。 図１４は第４の実施形態における手書きデータの一例を示す図である。 図１５は変形例１における手書きデータの一例を示す図である。 図１６は変形例１における手書きデータと検索結果の一例を示す図である。 図１７は変形例２における手書きデータと検索結果の一例を示す図である。 図１８は変形例３における検索対象コンテンツの一例を示す図である。 図１９は変形例３における手書きデータの一例を示す図である。 図２０は各実施形態及び各変形例における検索装置のハードウェア構成の一例を示す図である。

以下、図面を参照して実施形態を説明する。

本実施形態における検索装置は、例えばユーザがデジタルペンを使って手書き入力可能なペンタブレットやタブレットＰＣなどに用いられる。この検索装置は、予め登録された文書を解析して言語情報を用いた検索の他に、当該文書から非言語情報を抽出し、その非言語情報を用いた検索を可能とする。非言語情報とは、レイアウト情報、色合い、密度などである。

ここで、非言語情報を用いた検索手法として、（ａ）検索対象コンテンツを構成する構成要素（文字、図形、表など）が存在する領域を指定する方法、（ｂ）構成要素が存在しない領域（余白など）を指定する方法がある。以下では、（ａ）の方法について第１の実施形態で説明し、（ｂ）の方法について第２および第３の実施形態で説明する。

（第１の実施形態）
図１は第１の実施形態に係る検索装置の構成を示すブロック図である。

図１に示すように、検索装置１０は、記憶部１１と、付与部１３と、入力部１５と、取得部１７と、生成部１９と、検索部２１と、表示制御部２３と、表示部２５とを備える。

記憶部１１は、例えば、ＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)、メモリカード、光ディスク、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)などの磁気的、光学的又は電気的に記憶可能な記憶装置により実現できる。

付与部１３、取得部１７、生成部１９、検索部２１及び表示制御部２３は、例えば、ＣＰＵ(Central Processing Unit)などの処理装置にプログラムを実行させるソフトウェアにより実現してもよい。また、これらは、ＩＣ(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

入力部１５は、例えば、タッチパネル、タッチパッド、マウス、及び電子ペンなどの手書き入力可能な入力装置により実現できる。表示部２５は、例えば、タッチパネルディスプレイや液晶ディスプレイなどの表示装置により実現できる。

このような構成において、記憶部１１は、１以上のコンテンツを記憶する。コンテンツとしては、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーションソフトウェア、文書閲覧ソフトウェア等で作成された文書、Ｗｅｂページなどのデジタル文書、ユーザが手書きデータを入力することで作成された手書き文書などである。なお、これらに限定されるものではなく、例えば、静止画や動画などであってもよい。

付与部１３は、記憶部１１に記憶されたコンテンツ毎に当該コンテンツを解析する。付与部１３は、その解析結果に基づいて当該コンテンツを構成する複数の構成要素それぞれの位置と、これらの構成要素間の相対位置関係及び種別を示す構造情報を生成し、当該コンテンツに付与する。

構成要素は、コンテンツ上のユーザが認知可能な領域である。構成要素の位置は、例えば、ページ上の座標情報などである。つまり、付与部１３は、構成要素が存在している領域（以下、対象種別存在領域と称す）の中央座標などを構成要素の位置として付与する。構成要素間の相対位置関係は、各構成要素の位置（座標情報）から特定できる。これにより、記憶部１１には、各コンテンツを構成する構成要素が存在する対象種別存在領域が各コンテンツと対応付けて記憶される。

構成要素の種別は、例えば、文字、図形、表、画像、絵、数式、地図、ユーザが追記したメモ（アノテーション）などの少なくともいずれかである。

なお、構成要素の種別が文字の場合、段落、行、単語、１文字、部首など、種別を更に細分化してもよい。また、構成要素の種別が図形や表の場合、直線、三角、四角、及び円など、種別を更に細分化してもよい。また、構成要素の種別が画像の場合、画像内の物体やエッジなど、種別を更に細分化してもよい。

画像内の物体を認識するには、例えば、「Jim Mutch and David G. Lowe. Multiclass Object Recognition with Sparse, Localized Features. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 11-18, New York, June 2006.」に開示された物体認識手法を用いればよい。エッジは、画像内において輝度値や色が鋭敏に変化した線である。なお、例えば、構成要素の種別を、赤、青、緑などの色としてもよい。また、例えば、構成要素の種別を、濃い、薄いなどの密度としてもよい。

コンテンツがデジタル文書の場合、文書情報として、構成要素の位置、構成要素間の相対位置関係、及び構成要素の種別を特定可能な情報を含んでいる。このため、付与部１３は、コンテンツがデジタル文書の場合、当該コンテンツを解析することで、構造情報を生成すればよい。

また、コンテンツが手書き文書の場合も、手書きデータを構成するストロークそれぞれが属するクラスや位置を解析することで、構成要素の位置、構成要素間の相対位置関係、及び構成要素の種別を特定できる。クラスは、例えば、文字、図形、表、画像、絵、数式、地図、ユーザが追記したメモ（アノテーション）などの少なくともいずれかである。このため、付与部１３は、コンテンツが手書きデータの場合も、当該コンテンツを解析することで、構造情報を生成すればよい。

なお、ストロークが属するクラスは、以下のようにして決定すればよい。
・ストロークの集合を空間的又は時間的まとまりで構造化する。その構造化した構造単位で、当該構造に帰属するストロークが属するクラスを決定する。
・ストローク毎に、当該ストロークの周囲に存在する１以上の周辺ストロークを抽出する。そして、当該ストロークとその抽出した１以上の周辺ストロークとの組合せの特徴に関する組合せ特徴量を算出する。この算出した組合せ特徴量で当該ストロークが属するクラスを決定する。

組合せ特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの関係を示す第１特徴量を含む。また、組合せ特徴量は、対象ストロークの形状に関する特徴量と１以上の周辺ストロークそれぞれの形状に関する特徴量との総和である総和値を用いた第２特徴量を含む。

第１特徴量は、下記の類似度と特定値の少なくとも一方である。
・対象ストロークと１以上の周辺ストロークの少なくともいずれかとの形状の類似度
・対象ストロークと１以上の周辺ストロークの少なくともいずれかとの位置関係を特定する特定値。

形状の類似度は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの長さ、曲率総和、主成分方向、外接矩形面積、外接矩形長、外接矩形縦横比、始点・終点距離、方向密度ヒストグラム、及び屈曲点数の少なくともいずれかの類似度である。つまり、形状の類似度は、例えば、対象ストロークのストローク特徴量と１以上の周辺ストロークの少なくともいずれかのストローク特徴量との類似度とすることができる。

特定値は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの外接矩形の重なり率、重心距離、重心距離の方向、端点距離、端点距離の方向、及び交差点数の少なくともいずれかである。

第２特徴量は、下記の少なくともいずれかである。
・組合せの外接矩形長に対する対象ストロークの長さと１以上の周辺ストロークそれぞれの長さとの総和の比
・対象ストローク及び１以上の周辺ストロークの方向密度ヒストグラムの総和値
・組合せの外接矩形面積に対する対象ストロークの外接矩形面積と１以上の周辺ストロークそれぞれの外接矩形面積との総和の比。

入力部１５は、検索対象コンテンツを構成する構成要素が含まれる領域を指定する手書きデータを検索装置１０に入力する。手書きデータは、複数の構成要素それぞれの種別を更に指定してもよい。手書きデータは、複数のストロークで構成される。

ここで、構成要素の位置を指定する場合は、その構成要素が存在している対象種別存在領域に相当する第１領域を指定する。一方、構成要素の明確な位置を記憶していない場合は、「この範囲のどこかに目的の構成要素がある」といったことを示す「構成要素が存在する尤度を限定する第２領域」を指定する。つまり、上記第１領域の周囲に存在し、目的の構成要素が存在する尤度が閾値以上となる第２領域を指定する。

「尤度」とは、確からしさを表す指標である。例えば、構成要素の種別が文字であるとすれば、第１領域は、文字が明確に存在する領域を示す。これに対し、第２領域は、文字が存在したかも知れない領域を示す。

また、第１の実施形態では、検索対象コンテンツの複数の構成要素は、同一ページ上に存在し、複数の構成要素それぞれの位置は、当該同一ページ上の位置であるものとするが、これに限定されるものではない。

第１の実施形態では、入力部１５はタッチパネルを想定している。ユーザがスタイラスペンや指を用いて、そのタッチパネル上で図形、絵、及び文字などの少なくともいずれかを手書きすることにより、手書きデータを入力する。また、これに限定されるものではなく、例えば、入力部１５をタッチパッド、マウス、電子ペンなどで実現してもよい。

ストロークは、ユーザが手書した図形、絵、及び文字などの１画、即ち、スタイラスペンや指がタッチパネルの入力面に接してから離れるまで（ペンダウンからペンアップまで）の軌跡を示すデータである。つまり、ストロークは、例えば、スタイラスペンや指と入力面との接点の時系列の座標値として表すことができる。

なお、指定方法は、必ずしも手書きデータに限定されるものではない。例えば、様々な形状の図形および「図」，「表」などの種別毎のテンプレートを用意しておき、これらを用いて領域形状や種別を指定することでもよい。

取得部１７は、入力部１５から入力された手書きデータを取得する。生成部１９は、取得部１７により取得された手書きデータを整形して検索クエリを生成する。具体的には、生成部１９は、取得部１７により取得された手書きデータに対し、文字認識、図形認識、表認識、及び画像認識などを施して、検索クエリを生成する。

検索部２１は、取得部１７により取得された手書きデータに基づいて、記憶部１１から検索対象コンテンツを検索する。検索部２１は、記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報を参照して、検索対象コンテンツを検索する。

具体的には、検索部２１は、生成部１９により生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較して、検索対象コンテンツを検索する。例えば、検索部２１は、記憶部１１に記憶されている１以上のコンテンツのうち、検索クエリと構造情報との類似度が閾値を超えるコンテンツを検索対象コンテンツとして検索する。

類似度は、例えば、ユーザが指定した領域と検索対象コンテンツ内の対象種別存在領域が重なる面積が、上記対象種別存在領域の面積に対して占める割合としてよい。これにより、ユーザが指定した領域のどこかに当該対象種別存在領域が完全に含まれていれば、類似度は１００％となる。

また、検索開始のタイミングとしては、検索コマンドを検出したときとしてよい。検索コマンドは、ユーザが検索ボタンを押下したときや、所定の筆記をしたとき（特許文献２参照）などとしてよい。

なお、記憶部１１に記憶されている１以上のコンテンツは、それぞれ、自身を構成する複数の構成要素それぞれの位置、構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を導出可能である。

このため、検索部２１は、記憶部１１に記憶されているコンテンツ毎に、当該コンテンツを解析して、複数の構成要素それぞれの位置、構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を導出し、生成部１９により生成された検索クエリと比較して検索対象コンテンツを検索してもよい。このようにすれば、付与部１３がコンテンツに構造情報を付与していなくても、検索対象コンテンツを検索できる。

表示制御部２３は、検索部２１によって得られた検索結果を表示部２５に表示させる。

次に、第１の実施形態の検索方法について説明する。
図２は検索対象コンテンツの一例を示す図、図３は手書きデータの一例を示す図、図４は検索結果の一例を示す図である。

図２に示すように、検索対象コンテンツ３１の右下には、画像（写真）の領域３２があるものとする。この場合、図３に示すように、ユーザは入力部１５を通じて、種別が画像であって、ページの右側に位置する領域３３を指定する手書きデータを検索装置１０に入力する。具体的には、例えば、図示せぬメニューから画像指定モードを選んで、「画像」を示す領域３３を手書きで指定する。

生成部１９は、入力された手書きデータを整形して検索クエリを生成する。詳しくは、生成部１９は、例えば、ページの右側にある閉ループの領域や種別を認識し、それらの情報を検索クエリとする。

検索部２１は、生成部１９で生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較する。そして、検索部２１は、検索クエリと構造情報との類似度が閾値を超えるコンテンツ、即ち、ページの右側のどこかに画像の領域が位置するコンテンツを検索する。これにより、図４に示すように、検索対象コンテンツ３１、コンテンツ３６、コンテンツ３８が検索結果として得られ、その中の検索対象コンテンツ３１が表示部２５に表示されることになる。

次に、手書きデータ（検索クエリ）の具体例について説明する。
図５は検索対象コンテンツの一例を示す図、図６〜図１０は手書きデータの一例を示す図である。

図５に示すように、検索対象コンテンツ４１の上段左には文字の領域４２がある。さらに、検索対象コンテンツ４１の上段右には画像（写真）の領域４３、中段には図の領域４４があり、下段には表の領域４５があるものとする。

この場合、検索対象コンテンツ４１を検索するための手書きデータとして、例えば、図６〜図１０に示すような手書きデータを入力することが考えられる。

（例１）
図６に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書き入力された円または多角形などの任意の図形と、その図形内に手書き入力された文字で、検索対象コンテンツの各構成要素の位置を含む領域、領域の相対関係、各構成要素の種別を指定している。

図６の例では、ページ５０の上段に文字を含む多角形５１を手書きすることで、上段のどこかに文字領域があることを指定している。また、ページ５０の下段に表を含む多角形５２を手書きすることで、下段のどこかに表領域があることを指定している。

構成要素の種別が文字である場合、例えば、「Ｔｅｘｔ」，「文字」，「文字列」，「文章」などの様々なパターンを用意しておいてもよい。図６の例では、多角形５１内に「Ｔｅｘｔ」を手書きすることで、多角形５１で囲まれる領域内に文字が存在していることを表している。

構成要素の種別が表である場合、例えば、「Ｔａｂｌｅ」，「表」，「マトリックス」などの様々なパターンを用意しておいてもよい。図６の例では、多角形５２内に「Ｔａｂｌｅ」を手書きすることで、多角形５２で囲まれる領域内に表が存在していることを表している。

図６のように手書き文字で構成要素の種別が指定された場合には、生成部１９は、検索クエリを生成する際に、その手書き文字を文字認識する必要がある。

なお、図６の例では、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書き文字を記載したが、構成要素の種別を示すアイコンやスタンプで代用してもよい。また、色の指定をしてもよく、手書きデータの各領域を検索対象の色を表すペンで書いてもよい。また、手書きデータの各領域内に「青」，「赤」といった色を記述する文字を書いてもよい。

（例２）
図７に示す手書きデータは、図６とは異なる種別を指定している。この例では、ページ６０の上段に写真を含む多角形６１を手書きすることで、上段のどこかに写真領域があることを指定している。また、ページ６０の下段に図を含む多角形６２を手書きすることで、下段のどこかに図領域があることを指定している。

多角形６１内に手書きされた「Picture」は、構成要素の種別が写真であることを表している。多角形６２内に手書きされた「Fig.」は、構成要素の種別が図であることを表している。

（例３）
図８に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書き入力された円または多角形などの任意の図形と、その図形内に手書き入力された記号（図形）で、検索対象コンテンツの各構成要素の位置を含む領域、領域の相対関係、各構成要素の種別を指定している。

図８の例では、ページ７０の上段に文字を概念化した記号を含む多角形７１を手書きすることで、上段のどこかに文字領域があることを指定している。また、この手書きデータは、ページ７０の下段に表を概念化した記号を含む多角形７２を手書きすることで、下段のどこかに表領域があることを指定している。

文字を概念化した記号として、例えば、横線（波線または直線を含む）が用いられる。横線の本数は、文字領域の行数に対応させてもよいし、対応させなくてもよい。表を概念化した記号として、例えば、格子が用いられる。格子の縦横の本数は、表領域の行数と列数に対応させてもよいし、対応させなくてもよい。

（例４）
図９に示す手書きデータは、図８とは異なる種別を指定している。この例では、ページ８０の下段に図を概念化した記号を含む多角形８２を手書きすることで、下段のどこかに図領域があることを指定している。図を概念化した記号として、例えば、楕円が用いられる。

なお、図８および図９では、文字を概念化した記号を横線、図を概念化した記号を楕円、表を概念化した記号を格子とした例を示した。これらの概念化した記号は、追加学習等により増加あるいは変更してもよい。

（例５）
図１０に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書き入力された円または多角形などの任意の図形で、検索対象コンテンツの各構成要素の位置を含む領域、領域の相対関係を指定している。さらに、この手書きデータは、当該図形内に手書き入力された文字及び図形の少なくとも一方で、検索対象となる文字及び図形の少なくとも一方を指定している。

この場合、検索部２１は、記憶部１１に記憶された１以上のコンテンツのうち、検索クエリと構造情報との類似度が閾値を超え、かつ、指定された位置で手書きの文字及び図形の少なくとも一方が存在するコンテンツを検索対象コンテンツとして検索することになる。

図１０の例では、ページ９０の上段に多角形９１を手書きし、その中に「Ｓｙｓｔｅｍ」といった文字列を手書きすることで、上段のどこかに「Ｓｙｓｔｅｍ」というキーワードが存在することを指定している。また、ページ９０の右段に多角形９２を手書きし、その中に「円柱」の図を手書きすることで、右段の領域に円柱が存在することを指定している。

図１０のように手書き文字で構成要素の種別が指定された場合、生成部１９は、検索クエリを生成する際に、その手書き文字を文字認識する必要がある。

なお、図６〜図１０に示す例において、手書きデータはインタラクティブに入力できる。このため、図６〜図１０で説明した内容を一度に入力する必要はなく、検索結果を見ながら、段階的に入力すればよい。例えば、図１０のような手書きデータを作った後、多角形９２をタッチ＆ドラッグなどで移動したりサイズを変化させたりすることで、それに応じて検索結果一覧の表示も更新することでもよい。

図１１は検索装置１０で実行される検索処理の一例を示すフローチャートである。

まず、付与部１３は、記憶部１１に記憶されたコンテンツ毎に当該コンテンツの構造を解析する。そして、付与部１３は、当該コンテンツを構成する複数の構成要素それぞれの位置、これらの構成要素間の相対位置関係、種別を示す構造情報を生成し、当該コンテンツに付与する（ステップＳ１０１）。

ここで、ユーザが入力部１５を通じて手書きデータを入力すると、取得部１７は、その手書きデータを取得する（ステップＳ１０３）。第１の実施形態では、この手書きデータは、検索対象コンテンツにおける対象種別存在領域に相当する第１領域の周囲に存在し、構成要素が存在する尤度を限定する第２領域を指定する。このとき入力された手書きデータは、表示制御部２３を通じて表示部２５に表示される。

例えば、目的とする構成要素の種別が何らかの図であれば、その図が存在する領域が明確に分かっていれば、当該領域（第１領域）を手書きによって指定すればよい。また、その図が存在する領域が不確かな場合には、その図が存在したと思われる領域（第１領域の周囲に存在する第２領域）を手書きによって指定すればよい。

生成部１９は、取得部１７によって取得された手書きデータを整形し、検索クエリを生成する（ステップＳ１０５）。検索部２１は、生成部１９によって生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較し、検索対象コンテンツを検索する（ステップＳ１０７）。この場合、検索部２１は、検索クエリと構造情報との類似度が閾値を超えるコンテンツを検索対象コンテンツとして検索する。

表示制御部２３は、検索部２１によって得られた検索結果を所定の形式で表示部２５に表示させる（ステップＳ１０９）。

なお、図１１において、ステップＳ１０１〜Ｓ１０９までの処理を連続して実行する必要はなく、ステップＳ１０１は予め１度実行しておけばよい。また、手書きデータの表示と検索結果の表示は同時に行ってもよい。また、取得部１７による手書きデータの取得の完了、即ち、ペンアップのタイミングを、ステップＳ１０５以降の処理を開始するトリガーに用いてもよい。

以上のように第１の実施形態によれば、検索対象コンテンツの構成要素が存在する領域を指定することで、その指定された領域に当該構成要素を持つコンテンツを検索対象コンテンツとして検索することができる。特に、第１の実施形態では、構成要素が存在する位置ではなく、構成要素が存在と思われる領域（第２領域）をあいまいに指定するだけでよいため、検索対象コンテンツの内容を明確に覚えていなくとも検索することができる。

例えば、取引先名を左端に書くような営業ノートがあり、その営業ノートの各ページのデータが記憶部１１に記憶されているものとする。このような場合、ページの左端の領域の一部を指定し、そこに取引先名を書くだけで、その取引先名を有するページを検索することができる。

また、例えば図と表があることだけを覚えていて、その位置関係が分からない場合には、図１２に示すように、ページ１２００内の表の領域１２０１と図の領域１２０２を同じ位置に指定すればよい。これにより、図と表の位置関係に関係なく、検索結果を絞ることができる。

なお、図１２の例において、種別を表す文字列（「Table」と「Fig.」）が領域１２０１，１２０２のどちらに対応しているのかは、以下のような方法により判断するものとする。

・領域に近い文字列その文字列で指定される種別の領域とする。
・文字列の筆跡が続いている方をその文字列で指定される種別の領域とする。この場合、文字列の筆跡の直前か直後に領域の輪郭が書かれているとしてもよい。
・文字列と同じ色で描かれている領域をその文字列で指定される種別の領域とする。この場合、領域の輪郭を色分けして書かれていれば、包含している同色のキーワードが対応するとしてよい。

（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態では、構成要素が存在しない領域（余白など）を指定して検索を行う。検索装置としての基本的な構成は、上記第１の実施形態（図１）と同様である。ただし、取得部１７と検索部２１の機能が異なる。

第２の実施形態において、取得部１７は、検索対象コンテンツを構成する複数の構成要素が１つも含まれない領域と種別を指定する手書きデータを取得する。つまり、第２の実施形態の手書きデータは、構成要素が存在する対象種別存在領域に相当する第１領域以外の第３領域の全部またはその一部を指定する。

例えば、構成要素の種別が文字であるとすると、第１領域は、文字が明確に存在する領域を示す。これに対し、第３領域は、文字が無い領域（余白など）を示す。

検索部２１は、取得部１７によって取得された手書きデータに基づいて、記憶部１１から検索対象コンテンツを検索する。具体的には、検索部２１は、生成部１９により生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較して、検索対象コンテンツを検索する。例えば、検索部２１は、記憶部１１に記憶されている１以上のコンテンツのうち、検索クエリと構造情報との類似度が閾値を超えるコンテンツを検索対象コンテンツとして検索する。

ここで、類似度は、例えば、手書きデータで指定された第３領域の面積Ｓ１と、第３領域と第１領域が交差する面積Ｓ２に対し、（Ｓ１−Ｓ２）／Ｓ１としてよい。これにより、指定領域（第３領域）のどこにも構成要素がなければ、類似度は１００％となる。

なお、記憶部１１に記憶されている１以上のコンテンツは、複数の構成要素それぞれの位置、これらの構成要素間の相対位置関係、種別を導出可能である。このため、検索部２１は、記憶部１１に記憶されているコンテンツ毎に、当該コンテンツを解析して、複数の構成要素それぞれの位置、これらの構成要素間の相対位置関係、種別を導出し、生成部１９により生成された検索クエリと比較して検索対象コンテンツを検索してもよい。このようにすれば、付与部１３がコンテンツに構造情報を付与していなくても、検索対象コンテンツを検索できる。

図１３は第２の実施形態における手書きデータの一例を示す図である。

図１３に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書きされた円または多角形などの任意の図形と、その図形内に手書き入力された文字と、その文字の上に重ねた「×」の筆記で、検索対象コンテンツの各構成要素を含まない領域、各構成要素を含まない領域の相対関係、各構成要素の種別を指定している。

図１３の例では、ページ１３００の下段に文字を含まない多角形１３０１を手書きすることで、下段のどこにも文字領域がないことを指定している。文字の種類については、第１の実施形態で述べたものを使ってよい。なお、文字に限らず、概念化による表現でもよい。さらに、種別を指定しない場合は、何も筆記が無い領域を検索対象としてよい。

第１の実施形態のような指定方法と区別するため、構成要素が存在しない領域を指定するための記述として、「余白」，「スペース」，「無」を用いてもよい。また、図１３の例のように、概念図である「×」を用いてもよい。さらに、領域を指定するための図形（円または多角形）の輪郭を点線で書いたり、白色のペンで書くことでもよい。

以上のように第２の実施形態によれば、構成要素が存在しない領域を指定することで、検索対象コンテンツを検索することができる。特に、第２の実施形態では、構成要素が無い位置を領域する手書きクエリをもとに検索する。したがって、「ここには文字が無かった」，「ここには図が無かった」といった記憶でも、目的とする検索対象コンテンツを検索することができる。

例えば、後で追記するために、ページの右上に余白を残して記入したページがあったとする。このような場合、ページの右上に構成要素が存在しない領域を指定すれば、上記余白を有するページを検索することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。
第３の実施形態では、構成要素が存在しない領域（余白など）を指定して検索を行う。第２の実施形態と異なる点は、記憶部１１と検索部２１である。

記憶部１１には、構成要素が存在する尤度が所定値以下である領域を各コンテンツと対応付けて記憶されている。「尤度が所定値以下である領域」とは、例えば構成要素の種別が文字であれば、文字ではない領域のことである。

検索部２１は、取得部１７により取得された手書きデータに基づいて、記憶部１１から検索対象コンテンツを検索する。第３の実施形態において、検索部２１は、記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報を参照して、検索対象コンテンツを検索する。例えば、検索部２１は、記憶部１１に記憶されている１以上のコンテンツのうち、検索クエリと構造情報との類似度が閾値を超えるコンテンツを検索対象コンテンツとして検索する。

ここで、類似度は、例えば、手書きデータで指定した領域と上記尤度が所定値以下である領域との一致率とすることができる。

以上のように第３の実施形態によれば、上記第２の実施形態と同様に、構成要素が存在しない領域を指定することで、その指定された領域に当該構成要素を持たないコンテンツを検索対象コンテンツとして検索することができる。特に、第３の実施形態では、構成要素が存在する尤度が所定値以下である領域の位置がコンテンツの構造情報として記憶されている。したがって、例えば「ここは文字ではないものがあった」，「ここには図ではないものがあった」といったような否定的な指定の方法でも、目的とする検索対象コンテンツを検索することができる。

（第４の実施形態）
次に、第４の実施形態について説明する。

第４の実施形態では、２以上の構成要素を別々の方法で指定する。つまり、下記の３タイプのうちの２以上の指定方法を使って検索する。

（１）構成要素の位置を指定
（２）構成要素が存在する領域を指定（上記第１の実施形態の指定方法）
（３）構成要素が存在しない領域の指定（上記第２または３の実施形態の指定方法）
検索装置としての基本的な構成は、上記第１の実施形態（図１）と同様である。ただし、取得部１７と検索部２１の機能が異なる。また、記憶部１１に記憶された各コンテンツは、少なくとも第１および第２の対象種別存在領域を有する。

第４の実施形態において、取得部１７は、上記３タイプのうちの２以上の指定方法を示す手書きデータを取得する。これら３タイプの指定方法の区別は、例えば、ペンの色を変えたり、アプリケーションのメニューから設定しても良い。さらに、領域を指定するための円や多角形の図形の輪郭を点線／実践／二重線などで表記してもよい。

検索部２１は、取得部１７によって取得された手書きデータに基づいて、記憶部１１から検索対象コンテンツを検索する。具体的には、検索部２１は、生成部１９により生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較して、検索対象コンテンツを検索する。例えば、検索部２１は、記憶部１１に記憶されている１以上のコンテンツのうち、検索クエリと構造情報との類似度が閾値を超えるコンテンツを検索対象コンテンツとして検索する。

ここで、類似度は、構成要素の位置を指定した場合には、手書きデータで指定された位置と検索対象コンテンツ内の構成要素の位置との一致率としてよい。その他の２タイプを用いて指定した部分の類似度については、上述した通りである。

図１４は第４の実施形態における手書きデータの一例を示す図である。

図１４に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書きされた円または多角形などの任意の図形と、その図形内に手書き入力された文字または「×」の記号で、検索対象コンテンツの各構成要素を含む領域あるいは各構成要素を含まない領域、これらの領域の相対関係、各構成要素の種別を指定している。

図１４の例では、ページ１４００の左側に表を含む多角形１４０１を手書きすることで、左側のどこかに表領域があることを指定している。また、ページ１４００の左側中段に「×」の記号を含む多角形１４０２を手書きすることで、左側の中段に筆記がない領域（余白の領域）があることを指定している。

以上のように第４の実施形態によれば、３タイプの指定方法のうちの２つ以上を用いて指定することで、検索対象コンテンツを検索することができる。これにより、例えば、図１４の例のように、左側のどこかに表と空白があることだけを覚えている場合でも検索することができる。

（変形例１）
上記各実施形態において、検索対象コンテンツを顔や人物の画像（写真）としてもよい。

図１５は変形例１における手書きデータの一例を示す図である。図１６は変形例１における手書きデータと検索結果の一例を示す図である。変形例１では、顔検索アプリ（アプリケーション）を想定している。この顔検索アプリは、例えば、美容院などで所望の髪型やメイクを検索する場合に用いられる。図１に示した記憶部１１は、顔画像のデータベースとして用いられる。このデータベースには、予め多数の顔画像のデータが記憶されている。

例えば、図１５に示すような顔テンプレート１５００に対して、髪や特定の色味が無い部分を手書きで指定する。手書きデータ１５０１は、顔の特定の領域（額１５０２と頬１５０３，１５０４）に髪がかかっていない顔を指定した状態を示している。

なお、データベース内の各顔画像のデータは、事前に正規化されており、テンプレート１５００の目、鼻、口などのパーツの位置が対応付けられているものとする。正規化には、顔から特徴点を取得する手法（Active Shape Modelなど）により、その特徴点をパーツに対応させる変形処理を用いてもよい。

手書きデータ１５０１により、データベース内の各顔画像から指定領域に髪が無い画像が検索される。詳しくは、各顔画像から特徴点が抽出され、その特徴点を頂点とする三角形領域内の輝度変化などに基づいて髪が無い画像が検索される。なお、輝度が暗い部分が髪と判定される。

図１６は検索結果の一例を示している。データベースから額と頬に髪がかかっていない画像１６０１，１６０２が検索結果として出力される。額に髪にかかっている画像１６０３と、頬に髪がかかっている画像１６０４は検索結果として出力されない。

（変形例２）
図１７は変形例２における手書きデータと検索結果の一例を示す図である。変形例２では、人物検索アプリ（アプリケーション）を想定している。この人物検索アプリは、例えば、写真のアルバムや資料の中から所望のポーズを有する画像を検索する場合に用いられる。図１に示した記憶部１１は、人物画像のデータベースとして用いられる。このデータベースには、予め多数の人物画像のデータが記憶されている。

例えば、顔の右サイド（画像に向かって右）付近に手があったことを覚えていたとする。このような場合、顔テンプレート１７００の右サイドに手が存在する領域１７０１を手書きで指定する。画像像処理によりデータベース内の各画像の顔と手が検出され、指定された領域１７０１に手が含まれる画像が検索結果として出力される。

図１７の例では、画像１７０２，１７０３が検索結果として出力されている。画像１７０４，１７０５は、顔の右サイドに手が存在するが、指定された領域１７０１から離れているため、検索結果として出力されない。ただし、指定領域に対する閾値の設定により、画像１７０４，１７０５を検索結果に含めるようにしてもよい。

（変形例３）
上記各実施形態において、検索対象コンテンツを電子カルテとしてもよい。

図１８は変形例３における検索対象コンテンツの一例を示す図である。図１９は変形例３における手書きデータの一例を示す図である。

図１８に示すように、検索対象コンテンツ１８００の左上には、シェーマの領域１８０１がある。シェーマの領域１８０１の中央部分には、患部の箇所を示す絵領域及び患部に対するコメントの文字領域１８０２があるものとする。シェーマは、人体図のテンプレートであり、患部の箇所や患部に対するコメントなどが記入される。

検索対象コンテンツ１８００を検索するための手書きデータとして、例えば、図１９に示すような手書きデータ１８１１が考えられる。この手書きデータ１８１１は、検索対象コンテンツの構成要素の位置を含む領域に手書きされた絵（ラフスケッチ）で、検索対象コンテンツの構成要素の位置と種別を指定している。

具体的には、手書きデータ１８１１は、ページ１８１００の左上にシェーマのラフスケッチを手書きすることで、左上にシェーマの領域があることを指定する。

変形例３において、付与部１３は、シェーマ情報を更に含む構造情報を生成し、コンテンツに付与する。シェーマ情報は、シェーマの領域の位置及びシェーマのテンプレートの種別などである。

検索部２１は、更に手書きデータのラフスケッチの形状と一致するシェーマを検索するようにしてもよい。この場合、線画同士のマッチング方法として、例えば、「chamfer matching」とよばれる技術を用いればよい。これは、各画素値が線画の線からの距離に応じ、近いほど大きな値を持つ画像を生成し、その画像間のユークリッド距離により線画間の距離を求める方法である。検索部２１は、この求めた距離に基づいて、手書きされた線画が最も近いシェーマのテンプレートを検索すればよい。

（変形例４）
上記各実施形態では、検索装置１０が全ての構成要素を備える例について説明したが、これに限定されるものではない。例えば、一部の構成要素をクラウド上に設けるなど、検索装置１０の外部に設けるようにしてもよい。

（ハードウェア構成）
図２０は各実施形態及び各変形例における検索装置のハードウェア構成の一例を示す図である。

上記各実施形態及び各変形例において、検索装置１０は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

また、上記各実施形態及び各変形例において、検索装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記各実施形態及び各変形例において、検索装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。検索装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、検索装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

また、検索装置１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記各実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上述べた少なくとも１つの実施形態によれば、構成要素が含まれる領域、あるいは、構成要素が存在しない領域を指定することで、検索対象コンテンツを検索することができる。

１０ 検索装置
１１ 記憶部
１３ 付与部
１５ 入力部
１７ 取得部
１９ 生成部
２１ 検索部
２３ 表示制御部
２５ 表示部

Claims (15)

1. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部と、
   検索対象コンテンツにおける上記対象種別存在領域に相当する第１領域の周囲に存在し、上記構成要素が存在する尤度を限定する第２領域を指定する指定データを取得する取得部と、
   この取得部によって取得された指定データに基づいて、上記記憶部から上記検索対象コンテンツを検索する検索部と、
   この検索部によって得られた検索結果を表示部に表示させる表示制御部と
   を具備した検索装置。
2. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部と、
   検索対象コンテンツの対象種別存在領域に相当する第１領域以外の領域である第３領域の全部またはその一部の領域を指定する指定データを取得する取得部と、
   この取得部によって取得された指定データに基づいて、上記記憶部から上記検索対象コンテンツを検索する検索部と、
   この検索部によって得られた検索結果を表示部に表示させる表示制御部と
   を具備した検索装置。
3. 上記記憶部は、
   上記構成要素が存在する尤度が所定値以下である領域を上記各コンテンツと対応付けて記憶する請求項２記載の検索装置。
4. 上記記憶部に記憶された上記各コンテンツは、少なくとも第１および第２の対象種別存在領域を有し、
   上記指定データは、検索対象コンテンツにおける上記第１の対象種別存在領域に相当する第１領域の周囲に存在し、上記構成要素が存在する尤度を限定する第２領域と、上記検索対象コンテンツにおける上記第２の対象種別存在領域に相当する第４領域を指定する請求項１記載の検索装置。
5. 上記記憶部に記憶された上記各コンテンツは、少なくとも第１および第２の対象種別存在領域を有し、
   上記指定データは、検索対象コンテンツにおける上記第１の対象種別存在領域に相当する第１領域以外の領域である第３領域の全部またはその一部の領域と、上記検索対象コンテンツにおける上記第２の対象種別存在領域に相当する第４領域を指定する請求項２記載の検索装置。
6. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部と、
   検索対象コンテンツの対象種別存在領域以外の余白の領域を指定する指定データを取得する取得部と、
   この取得部によって取得された指定データに基づいて、上記記憶部に記憶された上記各コンテンツの中から上記余白の領域を有する上記検索対象コンテンツを検索する検索部と、
   この検索部によって得られた検索結果を表示部に表示させる表示制御部と
   を具備した検索装置。
7. 上記指定データは、複数のストロークで構成された手書きデータである請求項１、２、６のいずれかに１つに記載の検索装置。
8. 上記指定データは、上記構成要素の種別をさらに指定する請求項１、２、６のいずれかに１つに記載の検索装置。
9. 上記構成要素の種別は、文字、図形、表、画像、絵、数式、地図、ユーザが追記したメモの少なくともいずれかである請求項８に記載の検索装置。
10. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部を備えた検索装置によって実行される方法であって、
    検索対象コンテンツの対象種別存在領域に相当する第１領域の周囲に存在し、上記構成要素が存在する尤度を限定する第２領域を指定する指定データを取得し、
    上記指定データに基づいて上記記憶部から上記検索対象コンテンツを検索し、
    その検索によって得られた検索結果を表示部に表示させる
    ことを含む方法。
11. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部を備えたコンピュータによって実行される方法であって、
    検索対象コンテンツの対象種別存在領域に相当する第１領域以外の領域である第３領域の全部またはその一部の領域を指定する指定データを取得し、
    上記指定データに基づいて上記記憶部から上記検索対象コンテンツを検索し、
    その検索によって得られた検索結果を表示部に表示させる
    ことを含む方法。
12. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部を備えたコンピュータによって実行される方法であって、
    検索対象コンテンツの対象種別存在領域以外の余白の領域を指定する指定データを取得し、
    上記指定データに基づいて上記記憶部に記憶された上記各コンテンツの中から上記余白の領域を有する上記検索対象コンテンツを検索し、
    その検索によって得られた検索結果を表示部に表示させる
    ことを含む方法。
13. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部を備えたコンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    上記コンピュータに、
    検索対象コンテンツの対象種別存在領域に相当する第１領域の周囲に存在し、上記構成要素が存在する尤度を限定する第２領域を指定する指定データを取得する機能と、
    上記指定データに基づいて上記記憶部から上記検索対象コンテンツを検索する機能と、
    その検索によって得られた検索結果を表示部に表示させる機能と
    を実行させるプログラム。
14. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部を備えたコンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    上記コンピュータに、
    検索対象コンテンツの対象種別存在領域に相当する第１領域以外の領域である第３領域の全部またはその一部の領域を指定する指定データを取得する機能と、
    上記指定データに基づいて上記記憶部から上記検索対象コンテンツを検索する機能と、
    その検索によって得られた検索結果を表示部に表示させる機能と
    を実行させるプログラム。
15. １以上のコンテンツを記憶し、上記各コンテンツを構成する構成要素が存在する対象種別存在領域を上記各コンテンツと対応付けて記憶する記憶部を備えたコンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    上記コンピュータに、
    検索対象コンテンツの対象種別存在領域以外の余白の領域を指定する指定データを取得する機能と、
    上記指定データに基づいて上記記憶部に記憶された上記各コンテンツの中から上記余白の領域を有する上記検索対象コンテンツを検索する機能と、
    その検索によって得られた検索結果を表示部に表示させる機能と
    を実行させるプログラム。

Images