JP2015097081A - 検索システム、検索装置、及びそれらの制御方法、プログラム - Google Patents

Abstract

【課題】陳列品検索装置において、一度検出された検索対象が、表示画面からフェードアウトしても、表示画面から見てどの方向にあるかを、ユーザに通知する仕組みを提供する。【解決手段】ユーザが検索したいサーチ対象品を陳列品群から検索する検索システムであって、陳列品群を連続撮影する連続撮影手段と、撮影画像を順次、表示端末に表示する画像表示手段と、陳列品を各個に識別する識別手段と、検索するための検索キーを受けつける受付手段と、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段と、検出された前記サーチ対象品と、連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段と、検出された前記サーチ対象品の方向を、表示端末に特定可能に表示させる方向表示手段とを備えることを特徴とする検索システム。【選択図】 図５

Description

本発明は、検索システム、検索装置、及びそれらの制御方法、プログラムに関する。

近年、陳列品（例えば、書店や図書館の書籍など）を容易に検索する方法として、特許文献１に示されているような方法がある。これは、予め検索対象となる陳列品（検索対象陳列品）の画像（検索対象陳列品画像）と関連情報を読み込んでデータベースを構築し、検索キーを受け付けた際に、データベースと照合し、撮影手段によって得られた陳列品群の画像（陳列品群画像）の中から、目的の陳列品を検索する方法である。

そして、このような方法を実現するために、例えば画像の取得や表示機能を備えたモバイルデバイスやデジタルカメラなどをクライアント端末とし、データベースを管理する管理サーバと通信ネットワークで接続した、検索システムが考えられる。

しかし、このような検索システムにより陳列品群画像から検索対象陳列品を検索する際、陳列品群画像内の個々の陳列品陳列品の解像度が低すぎると（カメラの解像度が低い、陳列品が小さく映ってしまったなど）、個々の陳列品が正しく認識できず、検索ができなくなってしまう。そしてそのような場合は、個々の陳列品の解像度を高めるために、より近距離で数か所のパートに分けて検索用の画像を取得する、連続撮影機能を用いて撮像領域を徐々にずらしながら連続撮影し、検索用の画像を取得する、といった方法が考えられる。

特開２０００−６７０７９号公報

しかし、陳列品群画像から個々の陳列品を識別し、検索対象陳列品の有無を判定し、その結果を表示画面上に反映させようとすると、次のような問題が起こる。例えば、結果表示にタイムラグがあった場合、結果が反映されるまでの間に、ユーザが検索対象陳列品の無い角度にカメラ（画像を取得する端末）を振ってしまうと、せっかく検出した検索対象が、表示画面上でユーザに通知されなくなってしまう。

また、表示画面内で検出された検索対象陳列品が、表示画面上でユーザに通知された場合であっても、ユーザがカメラの向きを変えるスピードが速すぎると、ユーザが通知に気づく前に、検索対象陳列品が表示画面上からフェードアウトしてしまう。あるいは、ユーザが通知に気づいても、通知された検索対象陳列品の位置を見失ってしまう可能性もある。

そこで本願発明は、陳列品検索装置において、一度検出された検索対象が、表示画面からフェードアウトしても、表示画面から見てどの方向にあるかを、ユーザに通知する仕組みを提供することを目的とする。

本願発明は、ユーザが検索したい陳列品であるサーチ対象品を検索する検索システムであって、陳列品群を、連続撮影する連続撮影手段と、前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示手段と、前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別手段と、前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付手段と、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段と、前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段と、前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示手段とを備えることを特徴とする。

このように設けることで、陳列品検索装置において、一度検出された検索対象が、表示画面からフェードアウトしても、表示画面から見てどの方向にあるかを、ユーザに通知する仕組みを提供することができる。

本陳列品検索システムの構成を示すシステム構成図である。 クライアント端末１１０及び管理サーバ１２０のハードウエア構成図である。 モジュール構成図である。 全体の流れを示したフローチャートである。 図４のサブフローであり、陳列品検索の詳細フローを示している。 ステップＳ４０１で表示されるログイン画面である。 ステップＳ４０３で参照するデータテーブルである。 ステップＳ４０７で、検索条件を受けつける画面である。 書籍のデータベースである。 ステップＳ４１３にて、検索対象候補を表示した画面である。 ステップＳ５０１にて、棚の画像を取得し、表示した状態である。 ステップＳ５０８にて、棚の画像を取得し表示した画像の中で、検出した背表紙の位置を示している図である。 ステップＳ５０７にて、棚の画像を取得し表示した画像の中で、一度検出した対象物が、画面から消失した状態の説明図である。 ステップＳ５０７にて、棚の画像を取得し表示した画像の中で、一度検出した対象物が、画面から消失した状態の説明図である。 ステップＳ５０７にて、棚の画像を取得し表示した画像の中で、一度検出した対象物が、画面から消失した状態の説明図である。 書棚（本棚）を撮影した際に、撮影画像と中心点とサーチ対象の座標認識の例を示した図である。 ２つの映像から移動距離を算出する際の、移動距離を図示した説明図である。 陳列品（書籍）を陳列した棚１１０４と、棚１１０４を携帯端末のカメラで撮影した映像を、携帯端末の表示画面に表示した状態の一例を示した構成図である。 陳列品（書籍）を陳列した棚１１０４と、その棚１１０４を携帯端末のカメラで撮影した映像を、携帯端末の表示画面に表示した状態の一例を示した構成図である。 図１６（ｂ）や図１７（ｂ）を実施する際の、テップＳ４１５のサブフローの一例を示した構成図である。 サーチ対象および関連陳列品の検索に関する詳細フローの一例を示した構成図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１を説明する。
図１は本発明の実施形態における陳列品検索システムの構成を示すシステム構成図である。
クライアント端末１１０は、検索条件の入力、陳列品群画像の撮影、検索結果の表示などを行う。
管理サーバ１２０は、ユーザ情報データベース、陳列品データベース等、ユーザログインや検索に用いるデータベースを管理する。
ＷＡＮ（通信ネットワーク）１３０は、クライアント端末１１０と管理サーバ１２０を通信可能に接続する通信ネットワークである。
図１を説明する。
図１は、本陳列品検索システムのシステム構成図である。
クライアント端末１１０は、検索キーの入力、検索したい領域の撮影、撮影画像と検索結果の表示等に用いる。

管理サーバ１２０は、検索に必要な陳列品のデータベース、システムのログインに必要なユーザＩＤ・パスワードのデータベース等、システムに必要とされる各種データベースを管理している。
ＷＡＮ（通信ネットワーク）１３０は、クライアント端末１１０と管理サーバ１２０を通信可能に接続する通信ネットワークである。
図２を説明する。
図２は、クライアント端末１１０及び管理サーバ１２０のハードウエア構成図である。
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な先述した各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、キーボード（あるいはタッチスクリーン等）２０９や不図示のマウス等のポインティングデバイスからの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示端末への表示を制御する。表示器はＣＲＴだけでなく、液晶ディスプレイでも構わない。これらは必要に応じて管理者が使用するものである。本発明には直接関係があるものではない。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフロッピー（登録商標）ディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ（ＣＦ）等の外部メモリ（情報記憶装置）２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するためのプログラムは外部メモリ２１１に記録されており、必要に応じてＲＯＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイル及び各種情報テーブルは外部メモリ２１１に格納されている。
状態把握センサ２１２は、ハードウエアの状態を把握する各種センサである。具体的には速度センサ、加速度センサ、角度センサ、ＧＰＳ等である。

測距センサ２１３は、ハードウエアとターゲットとの距離（位置関係）を測るセンサである。測距の方法は、位相差検知、レーザ測長、赤外線測距等が考えられるが、本実施例を達成するにあたって十分な精度を担保できるものであればよい。
カメラ２１４は、陳列品を検索するための画像を取得するユニットである。
なお、状態把握センサ２１２、測距センサ２１３、カメラ２１４は管理サーバにはなくともよい。
図３を説明する。
図３は、モジュール構成図である。
３０１は、ログイン処理を行うモジュールである。
３０２は、検索条件をユーザから受けつけるモジュールである。
３０３は、陳列品群画像を取得するモジュールである。なお、検索条件の入力時に用いても良い。
３０４は、画像表示モジュールである。３０３にて取得した画像や、検出した検索対象陳列品に関する情報を表示する。
３０５は、ＷＡＮ１３０を介してクライアント端末１１０と管理サーバ１２０との間で、情報を送受信するモジュールである。

３０６は、検索対象陳列品を後述の検索条件受付モジュール３０２で受け付けた検索条件を基に、後述のデータテーブル管理モジュールから抽出された検索対象陳列品を、画像表示モジュール３０３で得られた画像内から検索するモジュールである。

３０７は、クライアント端末１１０の状態を把握するためのモジュールである。具体的には、速度センサ・加速度センサ・角度センサ・水平垂直センサ・ＧＰＳ等から得られた情報を基に、クライアント端末１１０の現在位置・方向を把握する。

３０８は、クライアント端末１１０と検出された検索対象陳列品との距離を測定するためのモジュールである。測距の具体的な方法は、測距センサ２１３で述べたとおりである。

３１１は、ユーザ認証モジュールである。ログイン処理モジュール３０１で受け付け、情報送受信モジュール３０５で発信・受信した情報を、データテーブル管理モジュール３１２にて照合し、ユーザ認証を行うモジュールである。
３１２は、各種のデータテーブルの管理を行うモジュールである。データテーブルの種類については、後述する。
図４を説明する。
図４は、全体の流れを示したフローチャートである。

ステップＳ４０１で、クライアント端末１１０は、ユーザＩＤとパスワードをユーザから受けつける。そして、ステップＳ４０２で、クライアント端末１１０は、ユーザＩＤとパスワードを、管理サーバ１２０に送信し、ログイン要求を行う。

ステップＳ４０３で、クライアント端末１１０は、ユーザＩＤとパスワードを、ログインデータテーブル（図７の説明にて後述）と照合する。そして一致した場合、ステップＳ４０５にて、クライアント端末１１０は、クライアント端末１１０に、検索受付画面の表示要求を行う。
ステップＳ４０６で、クライアント端末１１０は、検索受付画面を表示する。

ステップＳ４０７で、クライアント端末１１０は、ユーザから検索条件を、受けつける。そして、ステップＳ４０８で、クライアント端末１１０は、ユーザが入力した検索キーを、管理サーバ１２０に送信する。

ステップＳ４０９で、管理サーバ１２０は、前記検索条件を、クライアント端末１１０から受付ける。そして、ステップＳ４１０にて、管理サーバ１２０は、書籍のデータテーブル（図９の説明にて後述）を参照し、前記検索条件に合致する図書を、サーチ対象候補としてデータ抽出する。そして、ステップＳ４１１にて、管理サーバ１２０は、前記検索対象候補情報を送信すると共に、クライアント端末１１０に前記サーチ対象候補の表示要求を行う。

ステップＳ４１２にて、クライアント端末１１０は、管理サーバ１２０からサーチ対象候補の情報を受信する。そして、ステップＳ４１３にて、クライアント端末１１０は、図１０に示す通り、表示画面でサーチ対象となる候補一覧を表示する。そして、ステップＳ４１４にて、サーチ対象の選択を、ユーザから受付ける。

ステップＳ１９１５で、サーチ対象の書籍データベースに格納されている分類コードの文字列を画像化し、類似陳列品としてサーチ対象に追加する。これにより、撮影領域内の類似陳列品を検出できるようになる。また、前記文字列の一部のみ文字列化し、例えば、分類コードの上３ケタが合致するものを類似陳列品として扱うことも可能とする。

ステップＳ１９１６で、サーチ対象の書籍データベースに格納されている背表紙画像の下部にカバーの帯画像を上書きした画像を、部分一致陳列品としてサーチ対象に追加する。これにより、撮影領域内の部分一致陳列品を検出できるようになる。
ステップＳ４１５にて、クライアント端末１１０は、受付けたサーチ対象を撮影画像内でサーチする。なお、詳細については、図５にて後述する。

ステップＳ４１６にて、クライアント端末１１０は、後述のステップＳ５１０でユーザからのログアウト指示（図１１、図１２、図１３（図１３−ａ、図１３−ｂ、図１３−ｃをまとめて図１３と言う）のログアウトボタンの押下）を受けた際に、管理サーバ１２０にログアウト要求を行う。
ステップＳ４１７にて、管理サーバ１２０は、クライアント端末１１０からログアウト要求を受けつけて、ログアウト処理を実行する。
図５を説明する。
図５は、図４のステップＳ４１５のサブフローであり、陳列品のサーチに関する詳細フローを示している。

まず、ステップＳ５０１にて、クライアント端末１１０は、陳列品群を含む画像（取得画像）を、取得し表示端末に表示すると共に、陳列品を個別に抽出する。個別抽出の方法としては、例えば書籍であれば、まず背表紙をエッジフィルタにかけて個々の陳列品の輪郭を抽出し、その輪郭内に含まれる文字情報（背表紙の文字）を読み取る（個別に識別する）といった方法が考えられる。また、文字情報を含まないような陳列品であれば、輪郭内の画像を一つの画像情報として、読み取る（個別に識別する）方法も考えられる。

なお、ステップＳ５０１とＳ５０２のループによって連続撮影され、順次、表示端末に表示される取得画像は、静止画であってもよいし、動画であってもよい。そして取得された画像は、順次表示端末に表示される。この後のステップＳ５０４からＳ５１０のループによって連続撮影され、順次、表示端末に表示される取得画像についても同様である。

次に、ステップＳ５０２にて、取得画像内にサーチ対象（またはサーチ対象品。検索キーに対応する陳列品）が存在するか判定を行う。判定は、サーチ対象のデータと、取得画像から抽出したデータとをマッチングさせて類似度を算出することにより行う。例えば、類似度８０％以上なら「発見」とするといった具合に、予め定めておいた一定以上の類似度となった陳列品を、「発見」と判定する。
マッチングの方法（類似度の算出）には、例えば画像からさらに文字情報を抽出して行う、画像情報を直接マッチングするといった方法が考えられる。

文字情報のマッチングの一例としては、まず光学文字認識（ＯＣＲ）によって文字列情報を抽出し、サーチ対象の文字列とのレーベシュタイン距離（編集距離）を計算することで、類似度を算出するような方法が考えられる。つまり、本であれば、データベースの背表紙の題名情報と、画像から抽出した文字列を比較する、といった具合である。また、画像情報のマッチングの一例としては、予め図書データベースに登録されている背表紙画像と、取得画像から抽出した背表紙画像とを、正規化相関を用いて類似度を算出するといったような方法が考えられる。

そして、取得画像内にサーチ対象（検索キーに対応する陳列品）が「発見」された場合、ステップＳ５０３遷移し、発見されない場合は、ステップＳ５０１に遷移する。

次に、ステップＳ５０３にて、端末の位置情報（画像の中心点）と、発見したサーチ対象の位置情報とを記憶する。例えば、図１４に示すように、撮像領域が横７２０ピクセル×縦４８０ピクセルであった場合、座標原点を撮像領域の左上端とし、発見したサーチ対象の座標Ｓが撮像領域内右上方（５４０，１２０）、画像の中心座標Ａ（３６０，２４０）とすると、中心座標Ａから見たサーチ対象の座標Ｏａは、
座標Ｏａ（座標変数Ａから見たサーチ対象の位置）
＝ サーチ対象の座標Ｓ（５４０，１２０） − 座標Ａ（３６０，２４０）
＝ （１８０，−１２０）
となる。
次に、ステップＳ５０４にて、ステップＳ５０１と同様に、クライアント端末１１０は、再度画像（映像）を取得し、陳列品を個別に抽出する。
次に、ステップＳ５０５にて、ステップＳ５０３の位置情報時との画面中央被写体の撮像領域上のズレ幅（端末の移動距離）を算出する。

算出は、様々な方法が考えられる。例えば、図１５に示すように、移動前と移動後の２枚の画像を重ね合わせて、その差分を求める方法や、速度センサや加速度センサ等の状態把握センサ２１２を用いて移動の前後の状態の差分を求める方法（図示なし）などである。
例えば図１４のケースでは、
端末の移動距離Ｌ ＝ （２７０，０）
座標Ｂ（２つめの画像の中心座標）
＝ 座標変数Ａ（３６０，２４０） ＋ 端末の移動距離Ｌ（２７０，０）
＝ （６３０，２４０）
となる。

次に、ステップＳ５０６にて、ステップＳ５０２と同様に、取得画像内にサーチ対象が存在するか判定を行う。存在する場合は、ステップＳ５０７にて、画面内に存在するサーチ対象の場所を通知する。通知の仕方は、例えば図１２に示すように、矩形や円で囲って表示する等して、ユーザに視覚的に通知する方法や、音声ガイドを用いる方法などが、考えられる。
ステップＳ５０８では、サーチ対象の方向を算出し、通知する。
例えば図１４の場合では、
座標Ｏｂ（座標変数Ｂから見たサーチ対象の位置）
＝ サーチ対象の座標Ｓ（５４０，１２０）− 座標変数Ｂ（６３０，２４０）
＝ （−９０，−１２０）
そしてＸＹ座標から、三角関数を用いて中心点からの角度を算出する。
座標変数Ｂから見たサーチ対象の角度θｂ≒ｔａｎ−１（−１２０／−９０）＝５３．７°

通知の方法は、例えば図１３に示すように、１３０１のようにサーチ対象の方向を指し示す矢印を用いる、１３０３や１３０４のように、現在地からの相対位置を示すなど、ユーザに視覚的に通知する方法や、音声ガイドを用いる方法などが、考えられる。
ステップＳ５０９では、サーチ対象を変更するか否かの指示を受けつける。
ステップＳ５１０では、ログアウトするか否かの指示を受けつける。

別の実施例も併記しておく。先に挙げた実施例との大きな違いは、サーチ対象と端末の位置の算出の方法であり、それ以外は先に挙げた実施例に準ずるものとする。
ステップＳ５０１とＳ５０２は先に挙げた実施例と同様である。

ステップＳ５０３では、クライアント端末１１０は、測距センサを用いて、検出した陳列品の位置原点（０，０，０）と定め、その地点からのクライアント端末１１０の位置を算出する。なお、原点が定まった時点で、状態把握センサ（速度センサ・加速度センサ・角度センサ・ＧＰＳなど）が作動し、ステップＳ５０９にてサーチ対象の変更指示受付けるか、ステップＳ５１０にてログアウト指示を受けつけるまで、原点からの距離や方向を計測し続ける。
ステップＳ５０４は、ステップＳ５０１と同様である。
次に、ステップＳ５０５では、状態把握センサを用いて、クライアント端末１１０の現在位置情報を算出する。
ステップＳ５０６はステップＳ５０２と同様である。
ステップＳ５０７以降は、先に挙げた実施例と同様である。
図６を説明する。
図６は、ステップＳ４０１で表示されるログイン画面である。
６０１は、ユーザＩＤ入力部であり、ユーザからユーザ名を受けつける。
６０２は、ログインパスワード入力部であり、ユーザからログインパスワードを受けつける。
図７を説明する。
図７は、データテーブル管理モジュール３１２で管理され、ステップＳ４０３で参照するデータテーブルである。

ステップＳ４０１で受け付けたユーザ名と、パスワードとを照合し、合致するレコードが登録されている場合に、ステップＳ４０３にて、ユーザとして認証する。
図８を説明する。
図８は、ステップＳ４０７で、ユーザから検索キーを受けつける画面である。

８０１乃至８０４は、検索条件受付部であり、本実施例では８０１は図書名を、８０２は作者名を、８０３は書籍コードを、８０４はジャンルをそれぞれ文字情報で受け付ける。なお検索条件は、１以上あれば良く、複数であっても構わない。また、検索条件は一例であり、別の検索ジャンルがあっても良い。また、検索方法についても、検索エンジンのように、フリーワードで検索するなど、様々な方法が考えられる。
図９を説明する。

図９は、データテーブル管理モジュール３１２で管理される書籍のデータベースである。ステップＳ４０９で受け付けた検索キーを用いて、このデータテーブル内の合致するレコードを検索対象候補情報として抽出する。なお、このデータベースは一例であり、たとえばこのデータベースに図書コードや類似図書コードを追加するなど、検索方法に応じて、様々なデータベースが考えられる。
図１０は、ステップＳ４１３にて、サーチ対象候補を表示した画面である。
本実施例では、サーチ対象候補の中から一つの陳列品を選択する形式をとっているが、選択は複数であってもよいし、全てであってもよい。
図１１を説明する。
図１１は、ステップＳ５０１にて、陳列品群の画像を取得し、表示した状態である。本実施例では、本が陳列された本棚を示している。
１１０１は、サーチ対象となっている陳列品を示す、サーチ対象表示領域である。
１１０２は、サーチ状況を示す表示エリアであり、「未発見」は、サーチ対象が表示画面上で一度も発見されていない状態を示している。
１１０３は、陳列品である。この図では書籍が陳列品に該当する。
１１０４は、本棚である。陳列品１１０３を陳列する棚（書棚、本棚）である。
図１２を説明する。
図１２は、ステップＳ５０８にて、棚の画像を取得し表示した画像の中で、検出した陳列品の位置を示している図である。

１２０１は、検出した陳列品の場所を矩形で囲ってユーザに示している。なお、示し方は丸で囲う、明滅させるなど、ユーザが対象品の位置が分かる方法であればよく、矩形でなくともよい。
サーチ状況を示す表示エリア１１０２は、「発見」を示しており、「発見」は、検出対象が表示画面上で検出された状態を示している。
なお検出をユーザに通知する他の方法として、音を用いる方法も考えられる。
図１３を説明する。

図１３は、ステップＳ５０７にて、棚の画像を取得し表示した画像の中で、少なくとも一度は検索対象となる陳列品を発見（陳列品検出）した後、画面から消失した状態を示している。

１３０１は、サーチ対象品の方向表示部であり、現在の表示画面から、サーチ対象品がどの方向にあるのかを方向検出し、特定可能に表示している。そして、方向表示部の指し示す方向にクライアント端末１１０を向けることで、表示画面内に再びサーチ対象品を表示させることができる。さらに、現在のクライアント端末１１０の場所からの距離情報・位置情報も、含んでいてもよい。
サーチ状況を示す表示エリア１１０２は、「ロスト」を示しており、「ロスト」は、検出対象が検出された後に、表示画面上からフェードアウトした状態を示している。

１３０３および、１３０４は、サーチ対象品の方向表示部１３０１の別の実施例である。１３０３では、十字を切った内側の矩形が端末の表示領域を表し、円が検出した陳列品の位置と方向を示している。１３０４は、クライアント端末１１０を中心として検出した陳列品との相対位置を、３次元で示した図であり、四角錐の底辺部分が表示領域、円が検出した陳列品の位置と方向を、塗りつぶされた黒い矢印はクライアント端末１１０と検出した陳列品の相対位置をベクトルで示している。本実施例では以上３つのパターンの表現手段によって相対位置を表現したが、あくまでも１例であり、これ以外の方法を用いてもよい。

また、クライアント端末１１０と検出した陳列品の位置をユーザに通知する他の方法として、音声を用いる（音声通知する）方法も考えられる（例えば距離によって、音量や音の高さが変化する、など）。

さて、ここまで図１に示すように、クライアント端末１１０、管理サーバ１２０を、通信ネットワーク１３０でつないだ陳列品の検索システムとして実施例を記載してきた。しかし本発明は、管理サーバ１２０の機能をクライアント端末１１０内に持たせることで、陳列品の検索装置として実施することも可能である。

具体的には、図３で言えば、ユーザ認証モジュール３１１、データテーブル管理モジュール３１２を持つ形になる。また、図４のフローで言えば、管理サーバ１２０の全フロー（ステップＳ４０３、Ｓ４０４、Ｓ４０５、Ｓ４０９、Ｓ４１０、Ｓ４１１、Ｓ４１７）が、クライアント端末１１０側のフローとなる。

このように設けることで、クライアント端末１１０が、ユーザが検索したい陳列品を検索する検索装置として、陳列品群を連続撮影し、連続撮影された撮影画像を順次表示端末に表示し、陳列品群の前記撮影画像から陳列品を各個に識別し、ユーザが検索したい陳列品を検索するための検索キーを受けつけ、個別に識別され表示された陳列品群の中から検索キーに対応する陳列品を検出し、検出された前記陳列品と陳列品群から、表示端末から見た前記陳列品の方向を検出し、陳列品の方向を表示端末に特定可能に表示することができる。

図１６は、陳列品（この図では著作、著作物、本、図書、書籍）を陳列した棚１１０４と、棚１１０４を携帯端末のカメラで撮影した映像を、携帯端末の表示画面に表示した状態の一例を示した構成図である。
図１６（ａ）は、陳列品（書籍）を陳列した棚１１０４の一例を示した構成図である。
１６０１は、図１６（ｂ）で、携帯端末に表示されている領域である。

１６０２は、関連陳列品である。関連陳列品とは、サーチ対象品（サーチ対象）そのものではないが、著者名が同一である、巻数の異なるシリーズ本であるなど、サーチ対象品の情報と、所定の共通事項を持った陳列品のことである。つまり、関連陳列品は、検索キーと一部の情報（図書名や作者）が一致する陳列品である。例えば、図１６（ａ）では、書籍作者が同一で図書名（著作名）が異なる書籍や、作者（著者、著作者、著作権者）が同一で図書名がサーチ対象の書籍と同じシリーズ（例えば巻数が違うもの）を、所定の共通事項としている。図１６（ａ）のサーチ対象品（検索条件に合致する陳列品）や検索キーは、図書名が「山本武蔵４」で、作者名が「良川英一」である（検索キーが複数の情報群からなる状態）。したがって、関連陳列品は、書籍作者が同一で図書名が異なる書籍の『四国志１』と『四国志２』、作者（著者）が同一で図書名がサーチ対象の書籍と同じシリーズ（例えば巻数が違うもの）である、書籍『山本武蔵１』と『山本武蔵２』と『山本武蔵３』となる。

なお、ステップＳ５０１で抽出した陳列品の文字情報から、さらに図書名や作者名を分離して抽出するための具体的な方法については、既知の技術であるため、詳細な記述はここでは省略する。

図１６（ｂ）は、図１６（ａ）の棚１１０４を携帯端末のカメラで撮影した映像を、携帯端末の表示画面に表示した状態の一例を示した構成図である。そして、図１６（ｂ）は、図１６（ａ）に陳列された陳列品１１０３（書籍）の図書名と、作者名が検出済の状態である。また、陳列品１１０３の中から関連陳列品１６０２を検出した状態である。また、サーチ対象は携帯端末の表示画面上で一度も検知されていないが、関連陳列品を一度は検知し、表示画面からロストした状態であり、携帯端末が撮影している場所からの方向を把握している状態である。そして、サーチ状況を示す表示エリア１１０２は、この状態を「関連ロスト」という表記で示している。

１６０３は、関連陳列品方向表示部である。方向表示部１３０１が、サーチ対象品の方向を指し示すように、関連陳列品方向表示部１６０３は、検出した関連陳列品の方向を指し示している。また、距離も併せて示している。また、本実施例における関連陳列品は、１つでなく複数検出可能である。したがって、関連陳列品方向表示部１６０３は、複数表示することもできる。

関連陳列品の方向表示部は、サーチ対象品が検出された際にも表示してもよいが、表示しない仕様であるほうが好ましい。なぜならば、検出したい陳列品が発見されている状態で関連陳列品の方向表示も行うと、モニタ画面に多数の方向表示が表示されることになり、その分表示が見づらくなるからである。

図１７は、陳列品（書籍）を陳列した棚１１０４と、その棚１１０４を携帯端末のカメラで撮影した映像を、携帯端末の表示画面に表示した状態の一例を示した構成図である。

図１７（ａ）は図１６（ａ）と同様に、陳列品（書籍）を陳列した棚１１０４の一例を示した構成図である。なお、図１７のサーチ対象品や検索キーは、図１７（ｂ）のサーチ対象表示領域１１０１に示されている通り、図書名が「山本武蔵１」で、作者名が「良川英一」という書籍である（検索キーが複数の情報群からなる状態）。

１７０１は、検索キーとの関連度が低い関連陳列品して検出される関連陳列品であって、作者名が検索キーとは違う関連陳列品である。ただし、本の帯がついていて、作者名は帯に隠れて読み取れない状態である。
１７０２は、陳列品の本の帯である。
１７０３は、１７０１の近傍の書籍である。

１７０４は、検索キーとの関連度が高い関連陳列品して検出される関連陳列品であって、作者名が検索キーとは同じ関連陳列品である。ただし、本の帯がついていて、作者名は帯に隠れて読み取れない状態である。
１７０５は、１７０４の近傍の書籍である。

図１７（ａ）には、次のような陳列品が陳列されているものとする。そしてこの中には特定のパターン持った２つの書籍の群が含まれるものとする。ひとつめの書籍の群、Ａ群１７１０は、作者名「別野雷太」の書籍群である。Ａ群は、作者名が異なるが、図書名が同一のシリーズ（「山本武蔵」１〜３）なので、関連陳列品の群として識別される群である。Ｂ群１７２０は、著者名が「良川英一」書籍群である。サーチ対象品である書籍名『山本武蔵１』と、関連陳列品である書籍名「山本武蔵２」および「山本武蔵３」とを含む陳列品の群である。

さらに、Ａ群に含まれる書籍「別野雷太」の「山本武蔵１」と、Ｂ群に含まれる「良川英一」の「山本武蔵１」には、それぞれ本に帯がかかっているため、作者名が隠れてしまった状態となっている。したがって、Ｂ群に含まれる「良川英一」の「山本武蔵１」は、サーチ対象品であるが、関連陳列品として検出されることになる。

図１７（ｂ）は、図１７（ａ）の棚１１０４を携帯端末のカメラで撮影した映像を、携帯端末の表示画面に表示した状態の一例を示した構成図である。そして、図１７（ｂ）は、表示エリア１１０２に「関連ロスト」と示されているように、関連陳列品を検出し、その後ロストした状態である。つまり、携帯端末が撮影している場所からの方向を把握している状態である。しかし、関連陳列品方向表示部１６０３は、検索キーとの関連性（一致度）が高い関連陳列品である、Ｂ群中の書籍「山本武蔵１」の方向と距離のみを、携帯端末に表示している。
ここで、Ｂ群中の書籍「山本武蔵１」が、検索キーとの一致度の高い関連陳列品として検出されているのかについて、説明する。

関連陳列品として検出されたそれぞれの書籍は、さらに、近傍の書籍の情報を参照することで検索キーとの一致度の高さを決定することができる。近傍の書籍は、検索キーとの一致度を決定したい書籍から、例えば左右２冊ずつなど、任意にその条件を定めることができるものとする。そして、近傍の書籍の中に、図書名が同じシリーズの図書名で作者名が同じ作者があった場合、検索キーとの一致度の高さを決定したい関連陳列品は、検索キーとの一致度が高い関連陳列品であるとし、そうでない場合、一致度が低い関連陳列品であるとする。

具体例として、図１７にて近傍の書籍を左右２冊と予め定義した際の、図１７（Ｂ）のケースで説明する。ここでは２つの書籍のそれぞれ検索キーとの一致度の高さの決定プロセスを例とする。一つは、検索キーと書籍名は一致しているが、元々作者名が異なり帯の有無に関係なく関連陳列品と判定されるＡ群の書籍「山本武蔵１」である。もう一つは、サーチ対象品だが、作者名が帯に隠れているため関連陳列品と判定されるＢ群の書籍「山本武蔵１」である。

Ａ群１７１０の書籍「山本武蔵１」は、近傍の書籍のうち、左側の書籍名が「山本武蔵２」「山本武蔵３」で、検索キーの書籍名と同じシリーズ（部分一致する）であるが、作者名は「別野雷太」であり、検索キーの作者名と一致しない書籍である。また、右側２冊の書籍は、検索キーと書籍名も作者名も一致しない。したがって、Ａ群『山本武蔵１』は、の検索キーとの一致度が低い関連陳列品として検出される。

一方、Ｂ群１７２０の書籍『山本武蔵１』は、近傍の書籍のうち、左側の書籍名が「山本武蔵２」「山本武蔵３」で、検索キーの書籍名と同じシリーズ（部分一致する）であり、作者名も「良川英一」と一致する。したがって、Ｂ群の書籍「山本武蔵１」は、検索キーとの一致度が高い関連陳列品として検出される。

このように、陳列品の一部が本の帯などにより読取れず、サーチ対象品として検出できない状況であっても、近傍の書籍の情報を基に更に検索キーとの一致度の高い関連陳列品を検出することで、サーチ対象品の場所を探し当てる可能性を高めることができる。また、陳列品の情報が隠れているパターンとして想定されるケースとしては、本の帯の他にも、例えば値札やＰＯＰなどが棚や陳列品に貼られることで、一部の情報が読めなくなるケースも考えられる。

図１８は、図１６（ｂ）や図１７（ｂ）を実施する際の、テップＳ４１５のサブフローの一例を示した構成図であり、サーチ対象品と関連陳列品の検出（サーチ）の詳細フローを示している。図５のサブフローとの大きな違いは、サーチ対象品だけでなく、関連陳列品も検出する点である。

まず、ステップＳ１８０１にて、クライアント端末１１０は、ステップＳ５０１と同様に、クライアント端末１１０は、陳列品群を含む画像（取得画像）を、取得し表示端末に表示すると共に、陳列品を個別に抽出する

次に、ステップＳ１８０２にて、クライアント端末１１０は、受け付けたサーチ対象とその関連陳列品とを、ステップＳ１８０１にて抽出された陳列品から検出する。なお、詳細については、図１９にて後述する。
次に、ステップＳ１８０３にて、クライアント端末１１０は、ステップＳ５０３と同様に、端末の位置情報（画像の中心点）を算出し、記憶する。

次に、ステップＳ１８０４にて、クライアント端末１１０は、ステップＳ５０６と同様に、取得画像内にサーチ対象品が存在するか判定を行う。存在する場合は、ステップＳ１８０５に遷移し、存在しない場合はステップＳ１８０８に遷移する。
次に、ステップＳ１８０５にて、クライアント端末１１０は、ステップＳ５０３と同様に、サーチ対象の位置情報を算出する。

次に、ステップＳ１８０６にて、クライアント端末１１０は、ステップＳ５０７と同様に、画面内にあるサーチ対象品の場所を、識別可能に表示（例えば、１２０１のような表示）する。
次に、ステップＳ１８０７にて、クライアント端末１１０は、表示エリア１１０２に「発見」と表示する。

一方、ステップＳ１８０８にて、クライアント端末１１０は、既にステップＳ１８０５にてサーチ対象の位置情報が検出済かの判定を行う。既にサーチ対象の位置情報を検出済みの場合は、ステップＳ１８０９に遷移し。そうでない場合は、Ｓ１８１１に遷移する。
次に、ステップＳ１８０９にて、クライアント端末１１０は、サーチ対象の方向を算出し、ユーザに通知すべく方向表示部１３０１を画面表示する。
次に、ステップＳ１８１０にて、クライアント端末１１０は、表示エリア１１０２に「ロスト」と表示する。

一方、ステップＳ１８１１にて、クライアント端末１１０は、図１７にて説明した関連陳列品の検出方法に基づき、取得画像内に関連陳列品が存在するかの判定を行う。存在する場合はステップＳ１８１２に遷移し、そうでない場合はステップＳ１８１５に遷移する。
次に、ステップＳ１８１２にて、クライアント端末１１０は、関連陳列品の位置情報を算出して記憶する。
次に、ステップＳ１８１３にて、クライアント端末１１０は、画面内にある関連陳列品の場所を、識別可能に表示する（不図示）。
次に、ステップＳ１８１４にて、クライアント端末１１０は、表示エリア１１０２に「関連陳列品発見」（関連品発見）と表示する。

ステップＳ１８１５では、クライアント端末１１０は、既にＳ１８１２にて関連陳列品の位置情報を既に検出しているか否かの判定を行う。既に関連陳列品を検出済みである場合は、ステップＳ１８１６に遷移し、そうでない場合は、ステップＳ１８１８に遷移する。
次に、ステップＳ１８１６にて、クライアント端末１１０は、関連陳列品の方向を算出し、ユーザに通知すべく関連陳列品方向表示部１６０３を画面表示する。

ここで、一致度が同じ関連陳列品が複数検出された場合には、複数の関連陳列品の方向や位置を、同時に表示してもよい。このように設けることで、ユーザがサーチ対象品を発見する可能性を高めることができる。また、一致度の異なる複数の関連陳列品が検出されている場合には、一致度の低い関連陳列品の位置や方向よりも、一致度の高い関連陳列品の位置や方向を優先して表示するよう設けてもよい。このように設けることでも、ユーザがサーチ対象品を発見する可能性を高めることができる。

次に、ステップＳ１８１７にて、クライアント端末１１０は、関連陳列品を少なくとも一度は検出し、ロストした状況をユーザに通知すべく、表示エリア１１０２に「関連ロスト」（関連陳列品ロスト）と表示する。
一方、ステップＳ１８１８では、クライアント端末１１０は、表示エリア１１０２に「未発見」と表示する。
図１９は、ステップＳ１８０３のサブフローであり、サーチ対象および関連陳列品の検索に関する詳細フローの一例を示した構成図である。

まず、ステップＳ１９０１では、クライアント端末１１０は、ステップＳ１８０１で個別抽出して取得した陳列品の情報（書籍の文字情報や画像情報）に基づき、書籍毎にステップＳ１９０２乃至Ｓ１９１４を繰り返し、サーチ対象品や関連陳列品判定を検出する。ここで、上記陳列品の情報からは、図書名と作者名とが抽出でいるものとする。具体的には、文字情報から抽出するには、例えば、書籍の場合、書籍の置かれている棚板を下方向とすると、上から書籍名、作者名の順番に記載されているので、上側の文字群を書籍名、下側の文字群を作者名として抽出する方法が考えられる。また、画像情報からの抽出であれば、例えば、図９に示すようなデータテーブルを持つ検索装置に背表紙の画像情報を送信し、データテーブルから送信した画像情報に該当する背表紙を持つ図書名と作者名の情報を受け取る方法などが考えられる。

まず、ステップＳ１９０２にて、クライアント端末１１０は、陳列群の情報から、サーチ対象品や関連陳列品であるか否かを判定したい陳列品の図書名と作者名を抽出する。

次に、ステップＳ１９０３にて、クライアント端末１１０は、ステップＳ１９０２で抽出した図書名と作者名とが、両方とも一致するか否かを判定する。そして、両方が一致すると判定された場合、ステップＳ１９０４に遷移し、判定したい陳列品（書籍）をサーチ対象品であると判定、検出、記憶する。一方、両方が一致しないと判定された場合、ステップＳ１９０５に遷移する。

ステップＳ１９０５では、クライアント端末１１０は、作者名が一致するか否かを判定する。そして、一致すると判定した場合は、ステップＳ１９０７に遷移する。一方、一致しないと判定した場合は、ステップＳ１９０６−１に遷移する。

ステップＳ１９０６−１では、クライアント端末１１０は、図書名が一致するか否かを判定する。そして、一致すると判定した場合は、ステップＳ１９０７に遷移する。一方、一致しないと判定した場合は、ステップＳ１９０６−２に遷移する。

ステップＳ１９０６−２では、クライアント端末１１０は、図書名が検索キーと同一ではないが、検索キーと同一シリーズの図書名であるか否か（例えば、タイトルが同じで巻数が異なるなど、検索キーと所定の共通事項を持っているか否か）を判定する。巻数の概念は、同じ書籍のシリーズを示唆する表現、例えば「上・中・下」や「○○の巻」「○○編」なども含むものとする。そして、同一シリーズであると判定した場合は、ステップＳ１９１１に遷移する。一方、同一シリーズではないと判定した場合は、ステップＳ１９１２に遷移する。

次に、ステップＳ１９０７にて、クライアント端末１１０は、ステップＳ１９０２で「判定したい陳列品」として定めた陳列品の近傍の書籍から図書名と作者名を抽出する。先に述べたように、陳列品の近傍の書籍の定義は、適宜設定可能である。例えば「判定したい陳列品」から左右何冊とする、隣に書籍がない時には一段上または下の棚のまたは右端の陳列品を含める、隣に書籍がない時には隣の本棚の略同じ高さにある右端もしくは左端の陳列品を含める、などが考えられる。

次に、ステップＳ１９０８では、クライアント端末１１０は、ステップＳ１９０７で抽出した「判定したい陳列品の近傍の書籍」の図書名と作者名をもとに、それぞれの近傍の書籍の判定を繰り返し行う。

ステップＳ１９０９では、クライアント端末１１０は、判定対象の「判定したい陳列品の近傍の書籍」の図書名が同一シリーズであり、かつ、作者名が一致するか否かの判定を行う（近傍一致判定手段）。そしてもし、図書名が同一シリーズであり、かつ、作者名が一致すると判定された場合には、ステップＳ１９０８の全ての繰り返し判定を待たずに、ステップＳ１９１０に遷移する。一方、図書名が同一シリーズであり、かつ、作者名が一致すると判定されなかった場合には、ステップＳ１９０８に従って、全ての「判定したい陳列品の近傍の書籍」の繰り返し判定を行った後に、ステップＳ１９１１に遷移する。

ステップＳ１９１０では、クライアント端末１１０は、ステップＳ１９０２で「判定したい陳列品（書籍）」として図書名と作者名の抽出を行った陳列品を、検索キーとの関連性の高い関連陳列品（一致度高）として判定・検出・記憶する。

ステップＳ１９１１では、クライアント端末１１０は、ステップＳ１９０２で「判定したい陳列品（書籍）」として図書名と作者名の抽出を行った陳列品を、検索キーとの関連性の低い関連陳列品（一致度高）として判定・検出・記憶する。

ステップＳ１９１２では、クライアント端末１１０は、ステップＳ１９０２で「判定したい陳列品（書籍）」として図書名と作者名の抽出を行った陳列品を、検索キーとの関連のない陳列品として判定・検出・記憶する。

以上説明したように、本発明は、物品の調達が必要になった際に、容易に調達できる状況にある関係者を見つけ出し、調達を行うよう通知する仕組みを提供することができる。
そして、本発明は、次のことを特徴とするものである。

特徴１：ユーザが検索したい陳列品であるサーチ対象品を検索する検索システムであって、陳列品群を、連続撮影する連続撮影手段（カメラ２１４）と、前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示手段（ＣＲＴ２１０、携帯端末の表示部）と、前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別手段（ステップＳ５０１にあるように、陳列品を個別に抽出）と、前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付手段（図８にあるような画面で、検索条件や検索キーを受付ける、図１０にあるように、サーチ対象品の選択を受付けを通じて検索キーを定める）と、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段（ステップＳ５０２やステップＳ１９０３にあるように、検索キーとの一致を判定し、ステップＳ１９０４にあるように、陳列品を検出する）と、前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段（ステップＳ５０８やステップＳ１８０９にあるように、サーチ対象品の方向を算出、検出する）と、前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示手段（ステップＳ５０８やＳ１８０９にあるように、サーチ対象品の方向を表示する）とを備えることを特徴とする検索システム。

特徴２：前記方向表示手段は、前記表示端末から前記陳列品検出手段によって検出された前記サーチ対象品への方向を指し示すことを特徴とする検索システム。

特徴３：前記陳列品検出手段の検索対象となる前記陳列品の個別の情報を記憶する記憶手段（図９にあるようなデータテーブルを記憶する外部メモリ２１１）と、前記受付手段により受けつけた前記検索キーを用いて前記記憶手段に記憶された前記個別の情報を検索した結果を表示した表示画面を介して、検索の対象となる前記サーチ対象品についての前記個別の情報からなる検索キーを受けつける個別情報受付手段（ステップＳ４１３やステップＳ４１４の検索キーから検索されたサーチ候補つまり「個別の情報」を表示して、「個別の情報からなる検索キー」を受けつけるプロセス。図１０にあるように、検索キーを基に図９のデータベースから抽出された検索結果を表示し、選択を受けつける）とをさらに備え、前記陳列品検出手段は、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記個別情報受付手段によって受けつけた前記個別の情報からなる検索キーとの類似度の高い前記陳列品を検出することで、前記陳列品を検出することを特徴とする検索システム。

特徴４：前記表示端末と前記陳列品との距離を算出する算出手段（ステップＳ５０３、ステップＳ５０５、ステップＳ５０８による距離の算出、表示）をさらに備え、前記方向表示手段によって前記表示端末に示される情報には、前記算出手段によって算出された前記表示端末と前記陳列品との距離の情報を含むことを特徴とする検索システム。

特徴５：前記検索キーは、複数の情報群（図１６や図１７のような複数の検索キーがある状態）からなり、前記陳列品検出手段は、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーと一部が一致する陳列品である関連陳列品を検出（ステップＳ１９０５乃至ステップＳ１９１１の関連陳列品の検出フロー）し、前記方向検出手段は、前記表示端末から見た前記関連陳列品の方向を検出（ステップＳ１８１６の関連陳列品の方向の算出と表示）し、前記方向表示手段は、前記陳列品検出手段によって前記サーチ対象品が検出されておらず前記関連陳列品が検出されている場合には、前記方向検出手段によって検出された前記関連陳列品の方向を、前記表示端末に特定可能に表示する（ステップＳ１８１６の関連陳列品の方向の算出と表示）ことを特徴とする検索システム。

特徴６：前記陳列品検出手段は、関連陳列品を複数検出可能であり、前記方向表示手段は、前記方向検出手段によって検出された前記関連陳列品のそれぞれの方向を、前記表示端末に特定可能にそれぞれ表示する（図１６の携帯端末に複数表示された関連陳列品方向表示部１６０３）ことを特徴とする検索システム。

特徴７：前記陳列品検出手段が検出した関連陳列品と前記検索キーとで一致しなかった部分に対応する情報が、当該検索キーと当該関連陳列品の近傍の陳列品とで一致するか否かを判定する近傍一致判定手段（ステップＳ１９０７乃至１９０９）をさらに備え、前記陳列品検出手段は、検出した複数の関連陳列品の情報のうち、前記近傍一致判定手段によって、前記検索キーと前記関連陳列品の近傍の陳列品とが一致すると判定した関連陳列品を、より一致度の高い関連陳列品として検出し（ステップＳ１９１０）、前記方向表示手段は、前記陳列品検出手段が検出した前記関連陳列品のうち一致度の高い関連陳列品の方向を、優先して前記表示端末に特定可能に表示する（ステップＳ１８１６にて優先度の高い関連陳列品の方向や距離を優先的に表示）ことを特徴とする検索システム。

以上、各実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１１０ クライアント端末（あるいは端末、または携帯端末）
１２０ 管理サーバ
１３０ ＷＡＮ（通信ネットワーク）
６０１ ユーザＩＤ入力部
６０２ ログインパスワード入力部
８０１ 検索キー受付部（検索条件が図書名）
８０２ 検索キー受付部（検索条件が作者名）
８０３ 検索キー受付部（検索条件が書籍コード）
８０４ 検索キー受付部（検索条件がジャンル）
１３０１ サーチ対象品の方向表示部
１３０３ サーチ対象品の方向表示部（１３０１の別の事例１）
１３０４ サーチ対象品の方向表示部（１３０１の別の事例２）

Claims (12)

1. ユーザが検索したい陳列品であるサーチ対象品を検索する検索システムであって、
   陳列品群を、連続撮影する連続撮影手段と、
   前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示手段と、
   前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別手段と、
   前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付手段と、
   前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段と、
   前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段と、
   前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示手段と
   を備えることを特徴とする検索システム。
2. 前記方向表示手段は、前記表示端末から前記陳列品検出手段によって検出された前記サーチ対象品への方向を指し示すことを特徴とする請求項１に記載の検索システム。
3. 前記陳列品検出手段の検索対象となる前記陳列品の個別の情報を記憶する記憶手段と、
   前記受付手段により受けつけた前記検索キーを用いて前記記憶手段に記憶された前記個別の情報を検索した結果を表示した表示画面を介して、検索の対象となる前記サーチ対象品についての前記個別の情報からなる検索キーを受けつける個別情報受付手段とをさらに備え、
   前記陳列品検出手段は、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記個別情報受付手段によって受けつけた前記個別の情報からなる検索キーとの類似度の高い前記陳列品を検出することで、前記陳列品を検出することを特徴とする請求項１または請求項２に記載の検索システム。
4. 前記表示端末と前記陳列品との距離を算出する算出手段をさらに備え、
   前記方向表示手段によって前記表示端末に示される情報には、前記算出手段によって算出された前記表示端末と前記陳列品との距離の情報を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の検索システム。
5. 前記検索キーは、複数の情報群からなり、
   前記陳列品検出手段は、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーと一部が一致する陳列品である関連陳列品を検出し、
   前記方向検出手段は、前記表示端末から見た前記関連陳列品の方向を検出し、
   前記方向表示手段は、前記陳列品検出手段によって前記サーチ対象品が検出されておらず前記関連陳列品が検出されている場合には、前記方向検出手段によって検出された前記関連陳列品の方向を、前記表示端末に特定可能に表示することを特徴とする請求項１乃至４のいずれか１項に記載の検索システム。
6. 前記陳列品検出手段は、関連陳列品を複数検出可能であり、
   前記方向表示手段は、前記方向検出手段によって検出された前記関連陳列品のそれぞれの方向を、前記表示端末に特定可能にそれぞれ表示することを特徴とする請求項５に記載の検索システム。
7. 前記陳列品検出手段が検出した関連陳列品と前記検索キーとで一致しなかった部分に対応する情報が、当該検索キーと当該関連陳列品の近傍の陳列品とで一致するか否かを判定する近傍一致判定手段をさらに備え、
   前記陳列品検出手段は、検出した複数の関連陳列品の情報のうち、前記近傍一致判定手段によって、前記検索キーと前記関連陳列品の近傍の陳列品とが一致すると判定した関連陳列品を、より一致度の高い関連陳列品として検出し、
   前記方向表示手段は、前記陳列品検出手段が検出した前記関連陳列品のうち一致度の高い関連陳列品の方向を、優先して前記表示端末に特定可能に表示することを特徴とする請求項６に記載の検索システム。
8. ユーザが検索したい陳列品であるサーチ対象品を検索する検索システムにおける制御方法であって、
   前記検索システムの連続撮影手段が、陳列品群を、連続撮影する連続撮影工程と、
   前記検索システムの画像表示手段が、前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示工程と、
   前記検索システムの識別手段が、前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別工程と、
   前記検索システムの受付手段が、前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付工程と、
   前記検索システムの陳列品検出手段が、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出工程と、
   前記検索システムの方向検出手段が、前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出工程と、
   前記検索システムの方向表示手段が、前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示工程とをを含むことを特徴とする制御方法。
9. ユーザが検索したい陳列品であるサーチ対象品を検索する検索システムで読み取り実行が可能なプログラムであって、
   前記検索システムを、
   陳列品群を、連続撮影する連続撮影手段と、
   前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示手段と、
   前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別手段と、
   前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付手段と、
   前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段と、
   前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段と、
   前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示手段として機能させることを特徴とするプログラム。
10. ユーザが検索したい陳列品であるサーチ対象品を検索する検索装置であって、
    陳列品群を、連続撮影する連続撮影手段と、
    前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示手段と、
    前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別手段と、
    前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付手段と、
    前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段と、
    前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段と、
    前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示手段とを備えることを特徴とする検索装置。
11. ユーザが検索したい陳列品であるサーチ対象品を検索する検索装置における制御方法であって、
    前記検索装置の連続撮影手段が、陳列品群を、連続撮影する連続撮影工程と、
    前記検索装置の画像表示手段が、前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示工程と、
    前記検索装置の識別手段が、前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別工程と、
    前記検索装置の受付手段が、前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付工程と、
    前記検索装置の陳列品検出手段が、前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出工程と、
    前記検索装置の方向検出手段が、前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出工程と、
    前記検索装置の方向表示手段が、前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示工程とを含むことを特徴とする制御方法。
12. ユーザが検索したい陳列品であるサーチ対象品を検索する検索装置で読み取り実行が可能なプログラムであって、
    前記検索装置を、
    陳列品群を、連続撮影する連続撮影手段と、
    前記連続撮影手段によって撮影された撮影画像を、順次、表示端末に表示する画像表示手段と、
    前記連続撮影手段によって撮影された前記陳列品群の前記撮影画像から、陳列品を各個に識別する識別手段と、
    前記撮影画像から前記サーチ対象品を検索するための検索キーを、受けつける受付手段と、
    前記識別手段によって個別に識別され、前記画像表示手段によって前記表示端末に表示された前記陳列品群の中から、前記検索キーに対応する前記サーチ対象品を検出する陳列品検出手段と、
    前記陳列品検出手段によって検出された前記サーチ対象品と、前記連続撮影手段によって連続撮影された前記陳列品群から、前記表示端末から見た前記サーチ対象品の方向を検出する方向検出手段と、
    前記方向検出手段によって検出された前記サーチ対象品の方向を、前記表示端末に特定可能に表示させる方向表示手段として機能させることを特徴とするプログラム。

Images