JP2016110389A - 検索装置、方法及びプログラム - Google Patents

Abstract

【課題】検索に用いた情報と検索結果との対応をユーザに把握させ易くすることができる検索装置、方法及びプログラムを提供する。【解決手段】実施形態の検索装置は、受付部と、検索部と、生成部と、表示制御部と、を備える。受付部は、１以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータの入力を受け付ける。検索部は、シンボルデータに基づいて、コンテンツを検索する。生成部は、コンテンツが有する１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成する。表示制御部は、シンボル画像を表示部に表示する。【選択図】図１

Description

本発明の実施形態は、検索装置、方法及びプログラムに関する。

従来から、ユーザが手書きで入力したクエリを用いて、文書を検索する技術が知られている（例えば、特許文献１参照）。

特開２００８−７７３８２号公報

しかしながら、上述したような従来技術では、検索結果には、ユーザが検索に用いた情報以外の情報も含まれているため、ユーザは、検索に用いた情報と検索結果との対応を把握しづらい。

本発明が解決しようとする課題は、検索に用いた情報と検索結果との対応をユーザに把握させ易くすることができる検索装置、方法及びプログラムを提供することである。

実施形態の検索装置は、受付部と、検索部と、生成部と、表示制御部と、を備える。受付部は、１以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータの入力を受け付ける。検索部は、前記シンボルデータに基づいて、コンテンツを検索する。生成部は、前記コンテンツが有する１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成する。表示制御部は、前記シンボル画像を表示部に表示する。

本実施形態の検索装置の例を示す構成図。 本実施形態の検索対象のコンテンツの例を示す図。 本実施形態の手書きのシンボルデータの例を示す図。 本実施形態の検索結果の例を示す図。 本実施形態の検索対象のコンテンツの例を示す図。 本実施形態の手書きのシンボルデータの例を示す図。 本実施形態の手書きのシンボルデータの例を示す図。 本実施形態の手書きのシンボルデータの例を示す図。 本実施形態の手書きのシンボルデータの例を示す図。 本実施形態の手書きのシンボルデータの例を示す図。 本実施形態の表示画面の例を示す図。 本実施形態の表示画面の例を示す図。 本実施形態の表示画面の例を示す図。 本実施形態の表示画面の例を示す図。 本実施形態の表示画面の例を示す図。 本実施形態の処理例を示すフローチャート。 変形例３の検索対象のコンテンツの例を示す図。 変形例３のシンボルデータの例を示す図。 実施形態及び各変形例の検索装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

図１は、本実施形態の検索装置１０の一例を示す構成図である。図１に示すように、検索装置１０は、記憶部１１と、入力部１３と、受付部１５と、検索部１７と、生成部１９と、表示制御部２１と、表示部２３と、を備える。

検索装置１０は、例えば、デジタルペンを使用した入力が可能なタブレット端末、スマートフォン、又はＰＣ（Personal Computer）などにより実現できる。

記憶部１１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。

入力部１３は、例えば、デジタルペン及びタッチパネルディスプレイなどの手書き入力可能な入力装置により実現できる。受付部１５、検索部１７、生成部１９、及び表示制御部２１は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。表示部２３は、例えば、タッチパネルディスプレイなどの表示装置により実現できる。

記憶部１１は、コンテンツと当該コンテンツが有する１以上の構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである要素情報とを対応付けたレコードを複数記憶する。

本実施形態では、コンテンツは、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーションソフトウェア、及び文書閲覧ソフトウェア等で作成された文書やＷｅｂページなどのデジタル文書や、ユーザが手書きデータを入力することで作成された手書き文書などを想定しているが、これに限定されるものではなく、静止画や動画などであってもよい。

以下では、ユーザが入力部１３から指定する１以上の構成要素を１以上の第１構成要素、１以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである要素情報を第１要素情報と称する。

同様に、コンテンツが有する１以上の構成要素を１以上の第２構成要素、１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである要素情報を第２要素情報と称する。なお第２要素情報は、１以上の第２構成要素間の相対位置関係を更に示してもよい。

第２構成要素は、コンテンツ上のユーザが認知可能な領域である。第２構成要素の位置は、例えば、ページ上の座標情報などが挙げられる。第２構成要素間の相対位置関係は、両第２構成要素の位置（座標情報）から特定できる。

第２構成要素の種別は、例えば、文字、図形、表、画像、絵、数式、地図、及びユーザが追記したメモ（アノテーション）などの少なくともいずれかとすることができる。なお、第２構成要素の種別が文字の場合、段落、行、単語、１文字、部首など、種別を更に細分化してもよい。また、第２構成要素の種別が図形や表の場合、直線、三角、四角、及び円など、カテゴリを更に細分化してもよい。

また、第２構成要素の種別が画像の場合、画像内の物体やエッジなど、種別を更に細分化してもよい。画像内の物体を認識するには、例えば、Jim Mutch and David G. Lowe. Multiclass Object Recognition with Sparse, Localized Features. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）, pp. 11-18, New York, June 2006.に開示された物体認識手法を用いればよい。エッジは、画像内において輝度値や色が鋭敏に変化した線である。なお、例えば、第２構成要素の種別を、赤、青、及び緑など色としてもよい。また、例えば、第２構成要素の種別を、濃い、及び薄いなど密度としてもよい。

コンテンツがデジタル文書の場合、文書情報として、第２構成要素の種別、位置、大きさ、形状、及び色、並びに第２構成要素間の相対位置関係を特定可能な情報を含んでいる。このため、コンテンツがデジタル文書の場合、当該コンテンツを解析することで、第２要素情報を生成できる。

また、コンテンツが手書き文書の場合も、手書きデータを構成するストロークそれぞれが属するクラスや位置を解析することで、第２構成要素の種別、位置、大きさ、形状、及び色、並びに第２構成要素間の相対位置関係を特定できる。クラスは、例えば、文字、図形、表、画像、絵、数式、地図、及びユーザが追記したメモなどの少なくともいずれかである。このため、コンテンツが手書きデータの場合も、当該コンテンツを解析することで、第２要素情報を生成できる。

なお、ストロークが属するクラスは、ストロークの集合を空間的又は時間的まとまりで構造化し、構造化した構造単位で、当該構造に帰属するストロークが属するクラスを決定する手法や、ストローク毎に、当該ストロークの周囲に存在する１以上の周辺ストロークを抽出し、当該ストロークと抽出した１以上の周辺ストロークとの組合せの特徴に関する組合せ特徴量を算出し、算出した組合せ特徴量で当該ストロークが属するクラスを決定する手法などで決定しておけばよい。

組合せ特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの関係を示す第１特徴量を含む。また、組合せ特徴量は、対象ストロークの形状に関する特徴量と１以上の周辺ストロークそれぞれの形状に関する特徴量との総和である総和値を用いた第２特徴量を含む。

第１特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの形状の類似度、及び対象ストロークと１以上の周辺ストロークの少なくともいずれかとの位置関係を特定する特定値の少なくとも一方である。

形状の類似度は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの長さ、曲率総和、主成分方向、外接矩形面積、外接矩形長、外接矩形縦横比、始点・終点距離、方向密度ヒストグラム、及び屈曲点数の少なくともいずれかの類似度である。つまり、形状の類似度は、例えば、対象ストロークのストローク特徴量と１以上の周辺ストロークの少なくともいずれかのストローク特徴量との類似度とすることができる。

特定値は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの外接矩形の重なり率、重心距離、重心距離の方向、端点距離、端点距離の方向、及び交差点数の少なくともいずれかである。

第２特徴量は、例えば、組合せの外接矩形長に対する対象ストロークの長さと１以上の周辺ストロークそれぞれの長さとの総和の比、対象ストローク及び１以上の周辺ストロークの方向密度ヒストグラムの総和値、及び組合せの外接矩形面積に対する対象ストロークの外接矩形面積と１以上の周辺ストロークそれぞれの外接矩形面積との総和の比の少なくともいずれかである。

入力部１３は、１以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータを入力する。シンボルデータは、１以上の第１構成要素それぞれの位置が指定されることで、１以上の第１構成要素間の相対位置関係も指定される。

本実施形態では、１以上の第１構成要素は、同一ページ上に存在し、１以上の第１構成要素それぞれの位置は、当該同一ページ上の位置であるものとするが、これに限定されるものではない。

また本実施形態では、入力部１３はデジタルペン及びタッチパネルディスプレイであり、ユーザがデジタルペンや指を用いてタッチパネルディスプレイ上で第１要素情報をアイコンなどで指定したり、手書きすることで指定したりすることにより、シンボルデータを入力する。但し、これに限定されず、例えば、入力部１３をタッチパッドやマウスなどで実現してもよい。

なお、ストロークは、ユーザが手書した第１要素情報の１画、即ち、デジタルペンや指がタッチパネルディスプレイの入力面に接してから離れるまで（ペンダウンからペンアップまで）の軌跡を示すデータであり、例えば、デジタルペンや指と入力面との接点の時系列の座標値として表すことができる。

受付部１５は、入力部１３からシンボルデータの入力を受け付ける。

検索部１７は、受付部１５により受け付けられたシンボルデータに基づいて、コンテンツを検索する。具体的には、検索部１７は、受付部１５により受け付けられたシンボルデータに基づいて、記憶部１１から第１要素情報と類似する第２要素情報を含むレコードを検索する。

例えば、検索部１７は、第１要素情報が示す１以上の第１構成要素それぞれの位置、大きさ、形状、及び色をそれぞれ量子化する。また検索部１７は、記憶部１１からレコードを取得し、当該レコードに含まれる第２要素情報が示す１以上の第２構成要素それぞれの位置、大きさ、形状、及び色をそれぞれ量子化する。

次に検索部１７は、１以上の第１構成要素それぞれ毎に、当該第１構成要素の位置、大きさ、形状、及び色の量子化値を、それぞれ、１以上の第２構成要素それぞれの位置、大きさ、形状、及び色の量子化値と比較する。そして検索部１７は、一致する量子化値の割合が所定割合以上であり、かつ当該第１構成要素の種別と当該第２構成要素の種別が一致すれば、当該第１構成要素に類似する第２構成要素と判定する。更に検索部１７は、１以上の第１構成要素と一致する第２構成要素の割合を類似度とし、類似度が閾値以上であれば、第１要素情報と類似する第２要素情報となる。

また例えば、検索部１７は、第１構成要素と第２構成要素との類似を、第１構成要素と第２構成要素との差が予め定義した差分特徴の範囲内に収まるか否かで判定してもよい。この場合、カテゴリの差分特徴は、カテゴリ間の意味的な近接関係を使用でき、位置の差分特徴は、座標間距離を画像サイズで正規化した距離を使用でき、大きさの差分特徴は、アスペクト比を使用でき、形状の差分特徴は、外接形状のエッジ情報の相関性を使用でき、色の差分特徴は、色ヒストグラムを使用できる。

また例えば、検索部１７は、第１構成要素と第２構成要素との類似を、識別器を用いて判定してもよい。この場合、識別器は、主観的に一致すると判定された構成要素対と主観的に一致しないと判定された構成要素対とを統計データとして差分特徴を用いた２クラス問題として、ＳＶＭ（Support Vector Machine）などの一般的な機械学習の手法で学習されたものを用いればよい。

なお、検索部１７は、入力部１３から検索操作の入力が行われ、受付部１５が当該検索操作の入力を受け付けると、コンテンツを検索するようにしてもよいし、シンボルデータの入力が完了すると（例えば、シンボルデータの入力がペンアップされると）、コンテンツを検索するようにしてもよい。検索操作は、例えば、検索ボタンの押下や所定の筆記の入力などが挙げられる。

次に、図２〜図４を参照しながら、本実施形態の検索例について説明する。図２は、本実施形態の検索対象のコンテンツ３１の一例を示す図であり、図３は、本実施形態の手書きのシンボルデータの一例を示す図であり、図４は、本実施形態の検索結果の一例を示す図である。

図２に示すように、検索対象のコンテンツ３１の右下には、画像（写真）の領域３２があるものとする。この場合、入力部１３は、図３に示すように、種別が画像であってページの右下に位置する領域３３を指定するシンボルデータを入力する（例えば、アプリケーションのメニューから画像指定モードを選んで画像という種別を指定したものとする）。なお、シンボルデータは、ユーザが手書きした筆跡データから右下の閉ループの範囲や種別を認識して設定されたものでもよい。

そして、検索部１７は、入力されたシンボルデータをクエリに用いて検索を行い、記憶部１１から第１要素情報と類似する第２要素情報を含むレコードを検索することで、ページの右下に画像の領域が位置するコンテンツが検索される。この結果、検索結果は、図４に示すように、コンテンツ３１、コンテンツ３６、コンテンツ３８となり、検索対象のコンテンツ３１を検索できる。

次に、図５〜図１０を参照しながら、本実施形態のシンボルデータを手書きで入力する場合の具体例について説明する。図５は、本実施形態の検索対象のコンテンツ４１の一例を示す図であり、図６〜図１０は、本実施形態の手書きのシンボルデータの一例を示す図である。

図５に示すように、検索対象のコンテンツ４１の上段左には、文字の領域４２があり、検索対象のコンテンツ４１の上段右には、画像（写真）の領域４３があり、検索対象のコンテンツ４１の中段には、図の領域４４があり、検索対象のコンテンツ４１の下段には、表の領域４５があるものとする。

この場合、検索対象のコンテンツ４１を検索するための手書きのシンボルデータとして、例えば、図６〜図１０に示す手書きのシンボルデータが考えられる。

図６に示す手書きのシンボルデータは、１以上の第１構成要素それぞれの位置に記載された手書き円又は手書き多角形及び当該手書き円又は当該手書き多角形内に記載された手書き文字で、検索対象のコンテンツの１以上の第２構成要素それぞれの位置、相対関係、及び１以上の第２構成要素それぞれの種別を指定する。

具体的には、図６に示す手書きのシンボルデータは、ページ５０の左上に文字を含む多角形５１を手書きすることで、左上に文字領域があり、ページ５０の下段に表を含む多角形５２を手書きすることで、下段に表領域があることを指定する。例えば、文字を表す場合は、「Ｔｅｘｔ」、「文字」、「文字列」、又は「文章」、表を表す場合は、「Ｔａｂｌｅ」、「表」、又は「マトリックス」など様々なパターンを用意しておいても構わない。

なお、図６に示す例では、１以上の第１構成要素それぞれの位置に手書き文字を記載したが、第１構成要素の種別を示すアイコンやスタンプで代用してもよい。また、色の指定をしてもよく、シンボルデータの各領域を、検索対象の色を表すペンで書いたり、範囲内に「青」「赤」のような色を記述する文字を書いたりしてもよい。

図７に示す手書きのシンボルデータは、図６とは異なる指定をしたものである。ページ６０の右上に写真を含む多角形６１を手書きすることで、右上に写真領域があり、ページ６０の中段に図を含む多角形６２を手書きすることで、中段に図領域があることを指定する。

図８に示す手書きのシンボルデータは、１以上の第１構成要素それぞれの位置に記載された手書き円又は手書き多角形及び当該手書き円又は当該手書き多角形内に記載された手書き記号（図形）で、１以上の第１構成要素それぞれの位置、相対関係、及び１以上の第１構成要素それぞれの種別を指定する。

具体的には、図８に示す指定データは、ページ７０の左上に文字を概念化した記号である横線（波線または直線）及び範囲７１を手書きすることで、左上に文字領域があり、ページ７０の下段に表を概念化した記号である格子および範囲７２を手書きすることで、下段に表領域があることを指定する。なお、範囲７１内の横線の本数は、文字領域の行数に対応させてもよいし、対応させなくてもよい。

図９に示す手書きのシンボルデータは、図８とは異なる指定をしたものである。図９に示す指定データは、ページ８０の左上に文字を概念化した記号である横線（波線または直線）及び範囲８１を手書きすることで、左上に文字領域があり、ページ８０の中段に図を概念化した記号である楕円及び範囲８２を手書きすることで、中段に図領域があることを指定する。

図８及び図９に示す例では、文字を概念化した記号を横線、図形を概念化した記号を楕円、表を概念化した記号を格子としているが、概念化した記号を追加学習等により増加させたり、変更させたりしてもよい。

図１０に示す手書きのシンボルデータは、１以上の第１構成要素それぞれの位置に記載された手書き円又は手書き多角形で、１以上の第１構成要素それぞれの位置を含む範囲、及び範囲の相対関係を指定し、手書き円又は手書き多角形内に記載された手書き文字及び手書き図形の少なくとも一方で、検索対象文字及び検索対象図形の少なくとも一方を指定する。

この場合、検索部１７は、記憶部１１に記憶された１以上のコンテンツのうち、第１要素情報と第２要素情報とが類似し、かつ手書き文字及び手書き図形の少なくとも一方が記載された手書き円又は手書き多角形で指定された位置で手書き文字及び手書き図形の少なくとも一方が存在するコンテンツを、検索対象のコンテンツとして検索する。

具体的には、図１０に示す手書きのシンボルデータは、ページ９０の上段に多角形９１を手書きし、その中に「Ｓｙｓｔｅｍ」と手書きすることで、上段のどこかに「Ｓｙｓｔｅｍ」というキーワードが存在し、ページ９０の右段に多角形９２を手書きし、その中に円柱を手書きすることで、右段の領域に円柱が存在することを指定する。

なお、図６〜図１０に示す例において、手書きのシンボルデータはインタラクティブに入力できるため、図６〜図１０で説明した内容を一度に入力する必要はなく、検索結果を見ながら、段階的に入力すればよい。例えば、図１０のように手書きのシンボルデータを作った後、多角形９２をタッチ＆ドラッグなどで移動したりサイズを変化させたりすることで、それに応じて検索結果一覧の表示も更新するようにしてもよい。

生成部１９は、検索部１７により検索されたコンテンツが有する１以上の第２構成要素の第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成する。

シンボル画像は、１以上の第２構成要素それぞれ毎に、種別を当該種別の名称（キーワード）、アイコン、又はイラストなどでシンボル化し、第２要素情報が当該第２構成要素の位置を示す場合、当該シンボルの位置を当該第２構成要素の位置に対応する位置とし、第２要素情報が当該第２構成要素の大きさを示す場合、当該シンボルの大きさを当該第２構成要素の大きさに対応する大きさとし、第２要素情報が当該第２構成要素の形状を示す場合、当該シンボルの周囲を当該第２構成要素の形状に沿って線で囲み、第２要素情報が当該第２構成要素の色を示す場合、当該シンボルの色を当該第２構成要素の色に対応する色とした画像である。

表示制御部２１は、生成部１９により生成されたシンボル画像を表示部２３に表示する。

図１１は、本実施形態の表示画面の一例を示す図である。図１１に示す例では、検索窓１０１に、第１構成要素のシンボル１０２、１０３で構成されるシンボルデータが入力され、検索ボタン１０４が押下されることで、検索結果表示領域１１０には、検索されたコンテンツのシンボル画像１１１、１２１などが表示されている。なお、アイコン１０５でシンボル１０２、１０３の色の指定などが行える。シンボル画像１１１は、第２構成要素のシンボル１１２、１１３で構成されている。

図１１に示す例では、シンボル画像を構成するシンボルに、シンボルデータを構成するシンボルを変形（例えば、移動、拡縮、色変化、又は除去など）したものを使用しており、シンボルデータを入力したユーザが、シンボルデータとシンボル画像との対応をより把握しやすい表示態様となっている。

この場合、生成部１９は、受付部１５により受け付けられたシンボルデータと検索部１７により検索された第２要素情報に基づいて、シンボル画像を生成すればよい。つまり、生成部１９は、第２構成要素をシンボル化する場合、シンボルデータに含まれる当該第２構成要素と類似する第１構成要素のシンボルを変形して当該第２構成要素のシンボルを生成する。

なお、検索結果表示領域１１０に表示されるシンボル画像の配置は、シンボルデータとシンボル画像の生成元のコンテンツとの類似度の高い順などとすればよく、例えば、最も類似度が高いものを左上に配置し、順に上の行から下の行に続くように配置してよい。

図１２は、本実施形態の表示画面の他の例を示す図である。図１２に示す例では、検索結果表示領域１１０には、検索されたコンテンツのシンボル画像１３１、１４１などが表示されるとともに、シンボル画像１３１に当該シンボル画像１３１のコンテンツ１３２が関連付けて表示され、シンボル画像１４１に当該シンボル画像１４１のコンテンツ１４２が関連付けて表示されている。

なお、シンボル画像とコンテンツとを常時関連付けて表示するのではなく、入力部１３から、シンボル画像を指示（例えば、タッチ操作やカーソルを重ねる操作）又は選択（例えば、カーソルを重ねてクリックする操作）する操作が入力され、受付部１５により受け付けられると、表示制御部２１は、シンボル画像を含むレコードに含まれるコンテンツを取得し、当該シンボル画像に関連付けて表示してもよい。

また、表示制御部２１は、検索結果表示領域１１０にコンテンツを表示し、入力部１３から、コンテンツを指示又は選択する操作が入力され、受付部１５により受け付けられると、当該コンテンツのシンボル画像を関連付けて表示してもよい。

また、表示制御部２１は、シンボル画像とコンテンツとを関連付けるのではなく、シンボル画像のシンボルに対応するコンテンツの第２構成要素を関連付けて表示してもよい。

図１３は、本実施形態の表示画面の他の例を示す図である。図１３に示す例では、検索結果表示領域１１０には、シンボルデータ又は複数の第２要素情報に基づいて生成された代表シンボル画像１４３、１４４などが表示されるとともに、代表シンボル画像１４３、１４４それぞれに個数情報１４６、１４７が対応付けられて表示されている。

例えば、生成部１９は、検索部１７によりレコードがｎ個検索された場合、受付部１５により受け付けられたシンボルデータ又は当該ｎ個のレコードに含まれるｎ個の第２要素情報に基づいて、ｍ（２≦ｍ≦ｎ）個の代表シンボル画像を更に生成し、表示制御部２１は、ｍ個の代表シンボル画像を表示してもよい。

生成部１９は、シンボルデータから代表シンボル画像を生成する場合、シンボルデータのシンボルの種別、位置、大きさ、形状、及び色の少なくともいずれかを変更して、ｍ個の代表シンボル画像を生成すればよい。

また生成部１９は、ｎ個の第２要素情報からｍ個の代表シンボル画像を生成する場合、類似度などを基にｎ個の第２要素情報をｍ個のグループに分類し、グループ毎に分類された第２要素情報を平均化して代表シンボル画像を生成し、ｍ個の代表シンボル画像を生成すればよい。

また表示制御部２１は、ｎ個の第２要素情報をｍ個の代表シンボル画像に分類し、ｍ個の代表シンボル画像とともに、ｍ個の代表シンボル画像それぞれに分類された第２要素情報の個数を示す個数情報を表示してもよい。なお、生成部１９によりｎ個の第２要素情報の分類が行われている場合、表示制御部２１は、分類を省略すればよい。

また生成部１９は、ｍ個の代表シンボル画像それぞれに分類された第２要素情報の個数の最大値と最小値との差が閾値以下となるように、ｍ個の代表シンボル画像を生成してもよい。生成部１９は、最大値と最小値との差が閾値を超える場合、ｍ個の代表シンボル画像の生成手法を変更してｍ個の代表シンボル画像を再生成すればよい。生成手法としては、類似度算出のアルゴリズムの変更や類似度算出の重みの変更などが挙げられる。

なお、検索結果表示領域１１０に表示される代表シンボル画像の配置は、分類された第２要素情報の個数の多い順などとしてもよく、例えば、最も個数が多いものを左上に配置し、順に上の行から下の行に続くように配置してよい。

図１４は、本実施形態の表示画面の他の例を示す図である。図１４に示す例では、代表シンボル画像１５１のシンボル１５２や代表シンボル画像１６１のシンボル１６２に第２要素情報の色が反映されている。

図１５は、本実施形態の表示画面の他の例を示す図である。図１５に示す例では、生成部１９は、１以上の第２構成要素それぞれ毎に、当該第２構成要素の種別を言語化して、シンボル画像を生成しており、第１構成要素のシンボル１０２、１０３は、それぞれ、シンボル画像１７１のシンボル１７２、１７３に対応するが、両シンボルは異なるシンボルとなっている。図１５に示す例では、シンボルデータを入力したユーザ以外の第３者であってもシンボルデータとシンボル画像との対応を把握しやすい表示態様となっている。

図１６は、本実施形態の検索装置１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、受付部１５は、入力部１３から、１以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータの入力を受け付ける（ステップＳ１０１）。

続いて、検索部１７は、受付部１５により受け付けられたシンボルデータに基づいて、記憶部１１から第１要素情報と類似する第２要素情報と当該第２要素情報に対応付けられたコンテンツを含むレコードを検索する（ステップＳ１０３）。

続いて、生成部１９は、検索部１７により検索されたコンテンツに対応付けられた第２要素情報に基づいて、１以上の第２構成要素をシンボル化したシンボル画像を生成する（ステップＳ１０５）。

続いて、表示制御部２１は、生成部１９により生成されたシンボル画像を表示部２３に表示する（ステップＳ１０７）。

以上のように本実施形態によれば、１以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータを入力し、当該シンボルデータに基づいて、コンテンツを検索し、検索されたコンテンツが有する１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成し、表示するので、検索に用いられた１以上の第１構成要素と１以上の第２構成要素との対応をユーザに把握させ易くすることができる。

（変形例１）
上記実施形態では、検索装置１０が記憶部１１を備える例について説明したが、検索装置１０の外部（例えば、クラウド上）に記憶部１１を設けるようにしてもよい。また、検索装置１０が備える記憶部１１以外の構成をクラウド化してもよいし、複数の装置に分散して検索装置１０を実現してもよい。

（変形例２）
上記実施形態において、シンボル画像の生成方法（表示方法）を入力部１３からのユーザ操作入力で切り替えられるようにしてもよい。例えば、図１１に示すような表示態様とするか図１５に示すような表示態様とするかを切り替えられるようにしてもよい。

（変形例３）
上記実施形態において、検索対象のコンテンツを電子カルテとしてもよい。

図１７は、変形例３の検索対象のコンテンツ２００の一例を示す図であり、図１８は、変形例３のシンボルデータの一例を示す図である。

図１７に示すように、検索対象のコンテンツ２００の左上には、シェーマの領域２０１があり、シェーマ内の中央部には、患部の箇所を示す絵領域及び患部に対するコメントの文字領域２０２があるものとする。シェーマは、人体図のテンプレートであり、患部の箇所や患部に対するコメントなどが記入される。

この場合、検索対象のコンテンツ２００を検索するためのシンボルデータとして、例えば、図１８に示すシンボルデータが考えられる。

図１８に示すシンボルデータは、第１構成要素の位置に記載された手書き絵（ラフスケッチ）で、検索対象のコンテンツの第２構成要素の位置、及び第２構成要素の種別を指定する。

具体的には、図１８に示すシンボルデータは、ページ２１０の左上にシェーマのラフスケッチ２１１を手書きすることで、左上にシェーマの領域があることを指定する。

なお変形例３の場合、第２要素情報は、シェーマ情報を更に含む。シェーマ情報は、シェーマの領域の位置及びシェーマのテンプレートの種別などである。

また検索部１７は、更にシンボルデータのラフスケッチの形状と一致するシェーマを検索するようにしてもよい。この場合、検索部１７は、線画同士のマッチング方法として、各画素値が線画の線からの距離に応じ、近いほど大きな値を持つ画像を生成し、その画像間のユークリッド距離により、線画間の距離を求めるchamfer matchingとよばれる技術を用いればよい。そして検索部１７は、求めた距離を用いて、書かれた線画が最も近いシェーマのテンプレートを検索すればよい。

そして生成部１９は、検索されたコンテンツのシンボル画像を生成し、表示制御部２１は、生成されたシンボル画像を表示すればよい。

（ハードウェア構成）
図１９は、上記実施形態及び各変形例の検索装置のハードウェア構成の一例を示す図である。上記実施形態及び各変形例の検索装置１０は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記実施形態及び各変形例の検索装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記実施形態及び各変形例の検索装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態及び各変形例の検索装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態及び各変形例の検索装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記実施形態及び各変形例の検索装置１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記実施形態及び各変形例によれば、検索に用いた情報と検索結果との対応をユーザに把握させ易くすることができる。

１０ 検索装置
１１ 記憶部
１３ 入力部
１５ 受付部
１７ 検索部
１９ 生成部
２１ 表示制御部
２３ 表示部
９０１ 制御装置
９０２ 記憶装置
９０３ 外部記憶装置
９０４ 表示装置
９０５ 入力装置
９０６ 通信装置

Claims (13)

1. １以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータの入力を受け付ける受付部と、
   前記シンボルデータに基づいて、コンテンツを検索する検索部と、
   前記コンテンツが有する１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成する生成部と、
   前記シンボル画像を表示部に表示する表示制御部と、
   を備える検索装置。
2. 前記生成部は、前記シンボルデータと前記第２要素情報に基づいて、前記シンボル画像を生成する請求項１に記載の検索装置。
3. 前記生成部は、前記１以上の第２構成要素それぞれ毎に、当該第２構成要素の種別を言語化して、前記シンボル画像を生成する請求項１に記載の検索装置。
4. 前記表示制御部は、前記シンボル画像に関連付けて前記コンテンツを前記表示部に更に表示する請求項１に記載の検索装置。
5. 前記表示制御部は、前記表示部に表示された前記シンボル画像が指示又は選択された場合、前記コンテンツを前記表示部に更に表示する請求項４に記載の検索装置。
6. 前記表示制御部は、前記シンボル画像を構成するシンボルに関連付けて当該シンボルの生成元の第２構成要素を表示部に表示する請求項１に記載の検索装置。
7. 前記検索部は、コンテンツと当該コンテンツの第２要素情報とを対応付けたレコードを複数記憶する記憶部から、前記第１要素情報と類似する第２要素情報を含むレコードを検索する請求項１に記載の検索装置。
8. 前記生成部は、前記レコードがｎ（ｎ≧２）個検索された場合、前記シンボルデータ又は前記ｎ個のレコードに含まれる前記ｎ個の第２要素情報に基づいて、ｍ（２≦ｍ≦ｎ）個の代表シンボル画像を生成し、
   前記表示制御部は、前記ｍ個の代表シンボル画像を前記表示部に表示する請求項７に記載の検索装置。
9. 前記表示制御部は、前記ｎ個の第２要素情報を前記ｍ個の代表シンボル画像に分類し、前記ｍ個の代表シンボル画像とともに、前記ｍ個の代表シンボル画像それぞれに分類された前記第２要素情報の個数を示す個数情報を前記表示部に表示する請求項８に記載の検索装置。
10. 前記生成部は、前記ｍ個の代表シンボル画像それぞれに分類された前記第２要素情報の個数の最大値と最小値との差が閾値以下となるように、前記ｍ個の代表シンボル画像を生成する請求項９に記載の検索装置。
11. 前記生成部は、前記差が閾値を超える場合、前記ｍ個の代表シンボル画像の生成手法を変更して前記ｍ個の代表シンボル画像を再生成する請求項１０に記載の検索装置。
12. １以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータの入力を受け付ける受付ステップと、
    前記シンボルデータに基づいて、コンテンツを検索する検索ステップと、
    前記コンテンツが有する１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成する生成ステップと、
    前記シンボル画像を表示部に表示する表示制御ステップと、
    を含む検索方法。
13. １以上の第１構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報を指定して、当該１以上の第１構成要素をシンボル化したシンボルデータの入力を受け付ける受付ステップと、
    前記シンボルデータに基づいて、コンテンツを検索する検索ステップと、
    前記コンテンツが有する１以上の第２構成要素の種別、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報に基づいて、当該１以上の第２構成要素をシンボル化したシンボル画像を生成する生成ステップと、
    前記シンボル画像を表示部に表示する表示制御ステップと、
    をコンピュータに実行させるためのプログラム。

Images