JP2019016255A

JP2019016255A - 情報処理装置、プログラム及び情報処理方法

Info

Publication number: JP2019016255A
Application number: JP2017134423A
Authority: JP
Inventors: 敏明嶋田; Toshiaki Shimada
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-07-10
Filing date: 2017-07-10
Publication date: 2019-01-31

Abstract

【課題】検索対象の画像データを用いて、複数の画像データの中から、所望の画像データを検索できるようにする情報処理装置、プログラム及び情報処理方法を提供する。【解決手段】撮像装置で撮像された画像データを蓄積画像データとして記憶する記憶部１０１と、検索対象である第１の対象と一緒に撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、蓄積画像データから第２の対象が含まれている画像の画像データを、候補画像データとして検索し、候補画像データの中から、第１の対象が含まれている画像の画像データを特定し、特定された画像データの画像から第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、第２の画像データを用いて、蓄積画像データから第１の対象が含まれている画像の画像データを検索対象画像データとして検索する検索部１０５とを備える。【選択図】図１

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関し、特に、撮像装置で撮像された画像データから検索対象の画像データを検索する情報処理装置、プログラム及び情報処理方法に関する。

移動途中で所有物をなくしたり、一緒に移動した人（子供又は年配者）が途中でいなくなったりした場合、対象の物又は人を探すことになる。このような状況において、対象となる物又は人を効率的に探すための技術が要望されている。

特許文献１には、ユーザ端末で入力された遺失物情報が、ネットワーク経由で遺失物管理受付サーバに送られ、遺失物管理受け付けサーバが、遺失物届出情報を含む遺失物データを作成して照合サーバに送信し、照合サーバが、拾得物の情報を含む拾得物データと遺失物データとの照合を行うシステムが記載されている。

拾得物データは、拾得年月日、拾得場所、拾得者氏名、物品データ等のテキストデータ、及び、物品そのものの物体イメージをデジタルカメラで撮影した画像データ等のデータである。例えば、ユーザは、自転車を紛失した場合、自転車の「色」、「サイズ」、「かごの有無」等の特徴を検索条件画面で入力し、また、画面に表示された複数の画像のうち紛失した自転車のイメージに近い画像を選択する。照合サーバは、ユーザが入力した内容に従って作成された遺失物データと、拾得物データとの照合を行う。照合サーバでの照合のアルゴリズムは、曖昧画像検索エンジン及びテキスト検索エンジンを併用したものである。

特開２００２−１８９８３９号公報

特許文献１では、テキストデータ及び画像データの両方を使用して、遺失物データと拾得物データとの照合を行っている。このときの画像データは、紛失した検索対象のイメージに近い画像を選択したものであり、照合サーバに記録されている拾得物データから条件に合う画像が検索される。特許文献１では、テキストデータの情報を条件に入れて検索が行われているが、画像データとテキストデータとは、何れも検索対象に近い情報を表しているものの、拾得物データには遺失者が紛失した検索対象以外のデータがあり、拾得物データが多いほど検索に時間がかかる。

また、特許文献１では、拾得物データは、警察等で保管している拾得物に関する情報を登録したデータであり、登録されていないデータについては遺失物データと照合することができない。
さらに、特許文献１では、検索依頼者と関連付けて検索対象を検索することは行っておらず、検索対象の検索は、検索依頼者とは独立して行われている。このため、検索依頼者が保持していた場所及び時間帯で、検索対象以外の対象も検索結果として候補対象となるため、検索結果が冗長になっている。

一般的に、検索対象を探す場合、検索依頼時点で検索対象がなく、前記検索対象の写った画像の画像データを検索依頼者が持っていないと、検索対象の画像データをキーとした画像データの検索を行うことはできない。

そこで、本発明は、検索対象の画像データを用いて、複数の画像データの中から、所望の画像データを検索できるようにすることを目的とする。

本発明の一態様に係る情報処理装置は、撮像装置で撮像された画像データを蓄積画像データとして記憶する記憶部と、検索対象である第１の対象と一緒に前記撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、前記蓄積画像データから前記第２の対象が含まれている画像の画像データを、候補画像データとして検索し、前記候補画像データの中から、前記第１の対象が含まれている画像の画像データを特定し、前記特定された画像データの画像から前記第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、前記第２の画像データを用いて、前記蓄積画像データから前記第１の対象が含まれている画像の画像データを検索対象画像データとして検索する検索部と、前記検索対象画像データを表示する表示部と、を備えることを特徴とする。

本発明の一態様に係るプログラムは、コンピュータを、撮像装置で撮像された画像データを蓄積画像データとして記憶する記憶部、検索対象である第１の対象と一緒に前記撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、前記蓄積画像データから前記第２の対象が含まれている画像の画像データを、候補画像データとして検索し、前記候補画像データの中から、前記第１の対象が含まれている画像の画像データを特定し、前記特定された画像データの画像から前記第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、前記第２の画像データを用いて、前記蓄積画像データから前記第１の対象が含まれている画像の画像データを検索対象画像データとして検索する検索部、及び、前記検索対象画像データを表示する表示部、として機能させることを特徴とする。

本発明の一態様に係る情報処理方法は、記憶部が、撮像装置で撮像された画像データを蓄積画像データとして記憶し、検索部が、検索対象である第１の対象と一緒に前記撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、前記蓄積画像データから前記第２の対象が含まれている画像の画像データを、候補画像データとして検索し、前記候補画像データの中から、前記第１の対象が含まれている画像の画像データを特定し、前記特定された画像データの画像から前記第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、前記第２の画像データを用いて、前記蓄積画像データから前記第１の対象が含まれている画像の画像データを検索対象画像データとして検索し、表示部が、前記検索対象画像データを表示することを特徴とする。

本発明の一態様によれば、検索対象の画像データを用いて、複数の画像データの中から、所望の画像データを検索することができる。

実施の形態１及び２に係る情報処理装置の構成を概略的に示すブロック図である。実施の形態１における検索対象領域を示す概略図である。（Ａ）及び（Ｂ）は、ハードウェア構成を示す概略図である。実施の形態１に係る情報処理装置での処理を示すフローチャートである。実施の形態１における検索結果データの一例を示す概略図である。実施の形態１における判定結果データの一例を示す概略図である。実施の形態１における検索条件更新部での切り出し処理の第１例を説明するための概略図である。実施の形態１における検索条件更新部での切り出し処理の第２例を説明するための概略図である。実施の形態１における検索条件更新部での切り出し処理の第３例を説明するための概略図である。実施の形態１における提示画面画像の一例を示す概略図である。実施の形態１における情報処理装置の変形例を示す概略図である。実施の形態２における移動経路を説明するための概略図である。実施の形態２における検索結果を説明するための概略図である。実施の形態２における提示画面画像の一例を示す概略図である。

実施の形態１．
図１は、実施の形態１に係る情報処理装置１００の構成を概略的に示すブロック図である。
情報処理装置１００は、記憶部１０１と、入力部１０２と、検索部１０５と、表示部１１０とを備える。
実施の形態１では、検索対象として遺失物（落し物又は忘れ物）を検索する場合について説明する。ここで、検索対象を第１の対象ともいう。また、遺失物の遺失者のように検索対象と一緒に撮像されたことのある対象を第２の対象ともいう。

記憶部１０１は、情報処理装置１００での処理に必要なデータを記憶する。
例えば、情報処理装置１００が、図２に示されている検索対象領域ＡＲ１内で撮像された画像データを検索するものである場合には、記憶部１０１は、検索対象領域ＡＲ１内に配置されている複数の撮像装置（カメラ）１２０で撮像された画像データを蓄積画像データとして記憶する。蓄積画像データは、撮像装置１２０毎に、撮像場所及び撮像時間に対応付けられて記憶される。撮像場所は、撮像装置１２０が設置されている場所に応じて、撮像装置１２０毎に予め定められているものとする。

なお、検索対象領域ＡＲ１内には、第１施設〜第７施設が設けられており、人は、通路（図２ではハッチングされている領域）を通って、第１施設〜第７施設に移動することができる。なお、検索対象領域ＡＲ１には、入口と出口とが設けられている。

図１に戻り、入力部１０２は、ユーザから入力を受け付ける。
入力部１０２は、撮像部１０３と、操作部１０４とを備える。
撮像部１０３は、対象の撮像を行い、撮像された対象の画像を示す画像データを生成する。実施の形態１では、撮像部１０３は、遺失物（第１の対象）を所持していた遺失者（第２の対象）を撮像し、遺失者の画像を示す画像データを生成する。そして、撮像部１０３は、生成された画像データを検索キー（第１の検索キー）ＳＫ１として、検索条件設定部１０６に与える。なお、第１の検索キーＳＫ１として用いられる画像データを、第１の画像データともいう。

操作部１０４は、ユーザからの操作の入力を受け付ける。
例えば、操作部１０４は、遺失者から、検索範囲として、遺失物を持っていたと推定される時間帯及び場所（遺失物と遺失者とが一緒に撮像された時間帯及び場所）の少なくとも何れか一方の入力を受け付け、入力された検索範囲（第１の検索範囲）を示す検索範囲情報（第１の検索範囲情報）ＳＲ１を検索条件設定部１０６に与える。
また、操作部１０４は、後述するように、検索部１０５で検索された検索結果データＦＤからさらに検索を行うために、検索対象の特徴の入力を受け付け、入力された検索対象の特徴を示す検索対象情報ＳＴを検索部１０５に与える。

なお、検索対象情報ＳＴは、検索対象（実施の形態１では遺失物）の特徴を示す。例えば、遺失物がカバンである場合、検索対象情報ＳＴは、カバンの大きさ、色、形、ブランド名、品名又は型番等の特徴を示す情報である。検索対象情報ＳＴは、検索対象の特徴を示すテキストデータであってもよく、検索対象の特徴を示す画像データであってもよい。

検索対象情報ＳＴがテキストデータである場合には、例えば、記憶部１０１に記憶されている画像データには、テキストデータから検索を行うためのリンクデータが対応付けられている。リンクデータは、例えば、情報処理装置１００の図示しない制御部、又は、情報処理装置１００ではない別の装置（コンピュータ）により生成されるデータであるものとする。ここでは、情報処理装置１００の図示しない制御部によりリンクデータが生成されるものとして説明する。

リンクデータは、画像データに含まれている対象の特徴を示すテキストデータである。図２に示されているように、画像データを撮像する撮像装置１２０が特定の場所に固定されている場合には、制御部は、予め、撮像装置１２０が設置された位置において、背景となる基準画像データを取得しておく。基準画像データは、画像データ内に移動体が含まれていないデータ、言い換えると、画像データ内に固定的に撮像される物のみが含まれているデータである。制御部は、撮像装置１２０から画像データが送られてくる毎に、送られてきた画像データと基準画像データとを比較することで、基準画像データには含まれていない対象を特定する。そして、制御部は、特定された対象を、複数のサンプル画像と比較して、類似するサンプル画像を特定することにより、特定された対象の特徴を示すテキストデータを生成し、生成したテキストデータをリンクデータとして、画像データに対応付けて記憶部１０１に記憶しておく。
例えば、複数のサンプル画像の画像データは、記憶部１０１に記憶されているものとする。制御部は、特定された対象の画像と、サンプル画像とを比較することにより、例えば、特定された対象の、大きさ、色及び形を特定する。さらに、その特定された対象が物である場合には、制御部は、その物のブランド名、品名又は型番等のその他の特徴も特定する。
具体的には、対象の「大きさ」については、撮像装置１２０からの距離で変わるため、撮像装置１２０からの距離（画像内での位置）に応じてサンプル画像を用意しておくことで、「大きさ」を特定することができる。
対象の「色」については、特定の色に含まれる範囲のサンプル画像を用意しておくことで、対象が類似しているサンプル画像が属している色により対象の色を特定することができる。
対象の「形」については、予め定められた形のサンプル画像を用意しておくことで、対象の「形」を特定することができる。
対象の「ブランド名」については、ブランド毎に製品のサンプル画像を用意しておくことで、類似するサンプル画像があれば、対象の「ブランド名」を特定することができる。
対象の「品名」又は「型番」についても、「品名」又は「型番」毎に製品のサンプル画像を用意しておくことで、類似するサンプル画像があれば、対象の「品名」又は「型番」を特定することができる。
対象のその他の特徴についても、特徴毎にサンプル画像を用意しておくことで、類似するサンプル画像があれば、対象のその他の特徴を特定することができる。
そして、制御部は、このようにして特定した特徴を示すテキストデータをリンクデータとして生成する。なお、リンクデータは、特定された対象毎に、画像における位置、範囲及び特定された特徴が区別されていることが望ましい。

また、検索対象情報ＳＴが画像データである場合には、例えば、記憶部１０１には、物品の特徴を表した画像（特徴画像）の画像データ（特徴画像データ）が記憶されており、遺失者は、複数の特徴画像を表示部１１０に表示させて、表示された複数の特徴画像から、操作部１０４を介して、特徴画像を選択することで、選択された特徴画像の画像データを検索対象情報ＳＴとすることができる。
さらに、操作部１０４は、後述するように、入力された検索対象の特徴を示す検索対象情報ＳＴを検索情報ＳＩとして、検索条件更新部１０９にも与える。

検索部１０５は、記憶部１０１に記憶されている画像データの検索を行う。
例えば、検索部１０５は、遺失物と一緒に撮像されたことのある遺失者の画像を示す画像データである第１の検索キーＳＫ１を用いて、記憶部１０１に記憶されている画像データから、遺失者が含まれている画像の画像データ（候補画像データ）を検索する。また、検索部１０５は、検索された画像データの中から、遺失物が含まれている画像の画像データを特定し、特定された画像データの画像から遺失物を含む一部の画像を抽出することで画像データを生成する。そして、検索部１０５は、生成された画像データを第２の検索キーＳＫ２として用いて、記憶部１０１に記憶されている画像データから、遺失物が含まれている画像の画像データ（検索対象画像データ）を検索する。なお、第２の検索キーＳＫ２として用いられる画像データを、第２の画像データともいう。
検索部１０５は、検索条件設定部１０６と、画像検索部１０７と、検索結果判定部１０８と、検索条件更新部１０９とを備える。

検索条件設定部１０６は、画像検索部１０７で画像データの検索を行う検索条件を設定する。
例えば、検索条件設定部１０６は、撮像部１０３から与えられる第１の検索キーＳＫ１及び操作部１０４から与えられる第１の検索範囲情報ＳＲ１を検索条件（第１の検索条件）ＦＳＣとして、画像検索部１０７に設定する。
また、検索条件設定部１０６は、後述するように検索条件更新部１０９から与えられる検索キー（第２の検索キー）ＳＫ２及び検索範囲情報（第２の検索範囲情報）ＳＲ２を検索条件（第２の検索条件）ＳＳＣとして、画像検索部１０７に設定する。

画像検索部１０７は、検索条件設定部１０６から設定された検索条件に合致する画像データを記憶部１０１に記憶されている画像データから検索する。
例えば、画像検索部１０７は、検索条件設定部１０６から設定された第１の検索条件ＦＳＣに合致する画像データを記憶部１０１に記憶されている画像データから検索する。合致した画像データは、その画像データが撮像された撮像場所及び撮像時間とともに、検索結果データＦＤとして検索結果判定部１０８に与えられる。なお、リンクデータが必要な場合には、検索結果データＦＤには、含まれている画像データのリンクデータも含まれる。
また、画像検索部１０７は、検索条件設定部１０６から設定された第２の検索条件ＳＳＣに合致する画像データを記憶部１０１に記憶されている画像データから検索する。画像検索部１０７は、合致した画像データ（検索対象画像データ）から、予め定められた表示形式の提示画面画像の画像データ（提示画面画像データ）ＳＤを生成し、その提示画面画像データＳＤを表示部１１０に送り、表示部１１０に提示画面画像を表示させる。提示画面画像では、第２の検索条件ＳＳＣで検索された画像データの画像が表示される。
なお、画像データの検索方法については、パターンマッチング、ディープラーニング又はニューラルネットワークによる画像検索、その他の検索手法でもよい。

検索結果判定部１０８は、画像検索部１０７から取得された検索結果データＦＤから、操作部１０４から与えられた検索対象情報ＳＴに示されている検索対象の特徴に合致する対象が含まれている画像データを判定し、判定された画像データを、その画像データが撮像された撮像場所及び撮像時間とともに、判定結果データＤＤとして検索条件更新部１０９に与える。なお、検索結果判定部１０８は、リンクデータが必要な場合には、判定結果データＤＤに、含まれている画像データのリンクデータを含める。

例えば、検索対象情報ＳＴがテキストデータである場合には、検索結果判定部１０８は、検索対象情報ＳＴで示されている全ての特徴を含むリンクデータに対応付けられている画像データを、検索対象情報ＳＴに示されている検索対象の特徴に合致する対象が含まれている画像データと判定する。
また、検索対象情報ＳＴがテキストデータである場合には、検索結果判定部１０８は、検索対象情報ＳＴの画像データで示される画像と、検索結果データＦＤに含まれている画像データで示されている画像の一部との類似度を、公知の技術で順次算出し、その類似度が予め定められた閾値を超えた部分を有する画像データを、検索対象情報ＳＴに示されている検索対象の特徴に合致する対象が含まれている画像データと判定する。

検索条件更新部１０９は、検索結果判定部１０８から取得された判定結果データＤＤから、操作部１０４より与えられた検索情報ＳＩに合致する対象の画像を切り出した切り出し画像の画像データ（切り出し画像データ）を、検索キー（第２の検索キー）ＳＫ２として、検索条件設定部１０６に与える。また、検索条件更新部１０９は、検索対象の画像の切り出しを行った画像データの撮像時間以降の時間帯を検索範囲（第２の検索範囲）として示す第２の検索範囲情報ＳＲ２を検索条件設定部１０６に与える。

表示部１１０は、各種画面画像を表示する。
例えば、表示部１１０は、画像検索部１０７から与えられた提示画面画像データＳＤに基づいて、画像検索部１０７での最終的な検索結果である提示画面画像を表示する。

以上に記載された検索部１０５の一部又は全部は、例えば、図３（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

また、検索部１０５の一部は、例えば、図３（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔｓ）又はＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の処理回路１２で構成することもできる。

なお、記憶部１０１は、ＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の記憶装置により構成することができる。
撮像部１０３は、カメラ等の撮像装置により構成することができる。
操作部１０４は、キーボード又はマウス等の入力装置により構成することができる。
表示部１１０は、ディスプレイ等の表示装置により構成することができる。

図４は、実施の形態１に係る情報処理装置１００での処理を示すフローチャートである。
遺失物を探している遺失者は、遺失物を探している時点では、遺失物を手元に備えていない。そのため、遺失物を探すために利用可能なものとして、遺失者が遺失物を所持していたときの画像を利用する。具体的には、遺失者が遺失物を持っていたと推定される時間帯又は場所を検索範囲とし、この検索範囲内で遺失物をもっていた遺失者の画像を検索する。このため、撮像部１０３は、遺失者の画像を撮像し、撮像された画像の画像データを第１の検索キーＳＫ１として、検索条件設定部１０６に与えるとともに、操作部１０４は、遺失者から遺失物を持っていたと推定される時間帯及び場所の少なくとも何れか一方の入力を受け付け、入力された内容を第１の検索範囲として示す第１の検索範囲情報ＳＲ１を検索条件設定部１０６に与える（Ｓ１０）。ここでは、時間帯は、１０時頃、場所は、検索対象領域ＡＲ１全域とする。

次に、検索条件設定部１０６は、入力部１０２から与えられた第１の検索キーＳＫ１及び第１の検索範囲情報ＳＲ１を第１の検索条件ＦＳＣとして、画像検索部１０７に設定する（Ｓ１１）。

次に、画像検索部１０７は、設定された第１の検索条件ＦＳＣに合致する画像データを、記憶部１０１に記憶されている画像データから検索する（Ｓ１２）。そして、画像検索部１０７は、合致する画像データを、その撮像場所及び撮像時間の情報とともに、検索結果データＦＤとして、検索結果判定部１０８に与える。

図５は、検索結果データＦＤの一例を示す概略図である。
検索結果データＦＤは、図５に示されているように、第１の検索キーＳＫ１で示されている遺失者の画像に基づいて、その遺失者の画像に対応する対象を含む画像データを含む。なお、図５に示されているように、検索結果データＦＤには、撮像場所及び撮像時間が含まれている。さらに、必要な場合には、検索結果データＦＤには、含まれている画像データのリンクデータが含まれる。

図４に戻り、操作部１０４は、検索結果データＦＤから、さらに検索を行うための検索対象の特徴の入力を受け付ける（Ｓ１３）。そして、操作部１０４は、入力された検索対象の特徴を示す検索対象情報ＳＴを検索結果判定部１０８に与えるとともに、検索対象情報ＳＴを検索情報ＳＩとして検索条件更新部１０９に与える。

検索結果判定部１０８は、検索結果データＦＤから、検索対象情報ＳＴで示されている検索対象の特徴を備える対象を含む画像データを判定する（Ｓ１４）。具体的には、検索結果判定部１０８は、検索結果データＦＤに含まれている画像データが検索対象情報ＳＴで示されている検索対象の特徴を備える対象を含むか否かを判定する。そして、検索結果判定部１０８は、そのような検索対象を含む画像データと、その画像データの撮像場所及び時間とを含む判定結果データＤＤを生成し、その判定結果データＤＤを検索条件更新部１０９に与える。さらに、必要な場合には、判定結果データＤＤには、含まれている画像データのリンクデータが含まれる。

図６は、判定結果データＤＤの一例を示す概略図である。
判定結果データＤＤは、図５に示されている検索結果データＦＤから、図６に示されているように、検索対象情報ＳＴで示されている検索対象の特徴を備える対象（ここでは、カバン）を含む画像データを抽出したデータである。

図４に戻り、検索条件更新部１０９は、検索結果判定部１０８から与えられた判定結果データＤＤから、操作部１０４から与えられた検索情報ＳＩで示されている検索対象の属性に合致する対象の画像を切り出す（Ｓ１５）。

具体的には、検索条件更新部１０９は、判定結果データＤＤの含まれている画像データから、１つの画像データを選択する。
ここでの選択方法は、どのようなものであってもよい。例えば、検索条件更新部１０９は、判定結果データＤＤに基づいて、判定結果データＤＤに含まれている画像データを選択するための選択画面画像を表示部１１０に表示させて、操作部１０４を介して、ユーザ（遺失者）からの選択を受け付けてもよい。
また、最も過去の撮像時間の画像データ又は現在に一番近い画像データが自動的に選択されてもよい。
さらに、検索対象が最も大きく映っている画像データが選択されてもよい。例えば、検索情報ＳＩがテキストデータである場合には、リンクデータに対象の範囲が含まれていれば、検索対象の大きさを特定することができる。検索情報ＳＩが画像データである場合には、その画像データで示されている画像との類似度が予め定められた閾値よりも高い画像部分の大きさにより、検索対象の大きさを特定することができる。

そして、検索条件更新部１０９は、選択された画像データから、検索情報ＳＩで示されている検索対象の属性に合致する対象の画像部分を特定し、特定された画像部分（検索対象の画像）を切り出し（抽出し）、切り出された画像部分を示す画像データを生成する。ここでの画像データは、検索対象の画像を示しているものとみなすことができる。
例えば、検索情報ＳＩがテキストデータである場合には、リンクデータに、対象毎の位置、範囲及び特徴が含まれていれば、検索対象の画像部分を特定することができる。また、検索情報ＳＩが画像データである場合には、その画像データで示されている画像との類似度が予め定められた閾値よりも高い画像部分により、検索対象の画像部分を特定することができる。

さらに、検索条件更新部１０９は、生成された画像データを第２の検索キーＳＫ２として、検索条件設定部１０６に与えるとともに、選択された画像データの撮像時間から現在までの時間帯と、検索対象領域ＡＲ１の全域とを第２の検索範囲として示す第２の検索範囲情報ＳＲ２を検索条件設定部１０６に与える。

図７は、検索条件更新部１０９での切り出し処理を説明するための概略図である。
図７では、「検索結果１」の画像データが選択され、その画像データから検索対象の画像である部分画像ＰＡが切り出されている。そして、部分画像ＰＡを示す画像データＩＭが、第２の検索キーＳＫ２となる。

なお、部分画像の切り出し方法については、どのようなものであってもよい。例えば、検索条件更新部１０９は、選択された画像データに基づいて、表示部１１０に画面画像を表示させ、操作部１０４を介して、切り出す部分画像の範囲の指定を受け付けてもよい。
また、図８に示されているように、検索条件更新部１０９は、選択された画像データに基づいて、表示部１１０に画面画像を表示させ、操作部１０４を介して、切り出す部分画像の範囲として、複数の範囲の指定を受け付け、その複数の範囲の中で、検索情報ＳＩで示されている検索対象の属性に最も近い範囲の部分画像を切り出し対象としてもよい。
さらに、検索条件更新部１０９は、指示された対象領域の画像データに対しエッジを解析して検索対象の部分画像を抽出してもよく、検索情報ＳＩに基づいて色又は形状等の特徴情報により検索対象の部分画像を抽出してもよい。

ここで、部分画像の範囲の指定は、表示部１１０に表示されている画面画像において、選択したい箇所を画面タッチして対象物又はタッチ周辺領域を選択してもよく、検索対象を囲むような図形（円又は四角）で囲って検索対象を指示して領域を選択したりしてもよい。また、図９に示されているように、ポインタＰＩで選択した対象又はポインタＰＩの周辺領域が選択されてもよい。

図４に戻り、検索条件設定部１０６は、検索条件更新部１０９から与えられた第２の検索キーＳＫ２及び第２の検索範囲情報ＳＲ２を第２の検索条件ＳＳＣとして画像検索部１０７に設定する（Ｓ１６）。ここでの、第２の検索キーＳＫ２は、遺失物そのものの画像を示す画像データである。

次に、画像検索部１０７は、設定された第２の検索条件ＳＳＣに合致する画像データを、記憶部１０１に記憶されている画像データから検索する（Ｓ１７）。そして、画像検索部１０７は、合致した画像データ（検索対象画像データ）から、予め定められた表示形式の提示画面画像の画像データ（提示画面画像データ）ＳＤを生成し、その提示画面画像データＳＤを表示部１１０に送る。

表示部１１０は、画像検索部１０７から送られてきた提示画面画像データＳＤに基づいて、最終的な検索結果である提示画面画像を表示する（Ｓ１８）。提示画面画像は、検索結果である検索対象画像データを示すものである。
図１０は、提示画面画像の一例を示す概略図である。
提示画面画像ＲＩでは、第２の検索範囲情報ＳＲ２である撮像時間１０：１５以降において、検索対象領域ＡＲ１の全域で、第２の検索キーＳＫ２で示されている検索対象を含む全ての画像データの画像、並びに、その撮像時間及び撮像場所が示されている。
図１０によれば、検索結果３及び４により、検索対象の遺失物が同じ位置に置かれているのがわかる。

以上のように、実施の形態１では、検索する時点で遺失物の画像データがない場合でも、検索対象領域ＡＲ１内で撮像された画像データの中から、遺失者を第１回目の検索キーとして遺失者の画像データを検索して、遺失者のもとに遺失物があるときの画像データを検出する。これにより、遺失者のもとに写っている遺失物そのものの画像データが得られるため、その遺失物そのものの画像データを第２回目の検索キーとして、検索された画像データの撮像時間以降で、検索対象である遺失物の画像データを再検索することができる。このため、検索対象である遺失物の画像データを精度高く検出することができ、また検索された画像データにより、遺失物がいつ、どこにあったのかを検出することができる。

なお、実施の形態１に係る情報処理装置１００は、撮像部１０３を備えているが、実施の形態１はこのような例に限定されない。例えば、情報処理装置１００は、カメラ等の撮像装置から、遺失者の画像データを取得してもよい。また、検索対象領域ＡＲ１内に配置されている、複数の撮像装置１２０の何れかで撮像された、遺失者の画像データが第１の検索キーＳＫ１として用いられてもよい。
さらに、予め記憶部１０１に記録された遺失者の画像データ又はメール又はクラウド等のネットワーク経由で入手された画像データが第１の検索キーＳＫ１として用いられてもよい。このような場合、入力部１０２は、画像データを取得するための通信インターフェース部を備えていればよい。

検索条件更新部１０９は、検索結果判定部１０８から取得された判定結果データＤＤから、操作部１０４から与えられた検索情報ＳＩに合致する対象の画像を自動的に切り出してもよく、また、表示部１１０及び操作部１０４を介して、手動で画像の切り出しを行ってもよい。

実施の形態１では、操作部１０４は、遺失物を持っていたと推定される場所を第１の検索範囲情報ＳＲ１として入力を受け付けているが、実施の形態１はこのような例に限定されない。例えば、操作部１０４は、検索範囲として遺失者が遺失したと想定される場所及びその周辺、又は、検索対象領域ＡＲ１の入り口付近等、その他の場所の入力を受け付けて、第１の検索範囲情報ＳＲ１としてもよい。具体的には、画像検索部１０７の１回目の検索結果として検索された遺失者の画像データの内、検索対象情報ＳＴに合致する対象物を含まない、一番古い時間の画像データ（例えば、図５の検索結果４）が撮像された場所を基点にして、その周辺の領域を１回目の検索範囲としてもよい。このような場合、検索対象領域ＡＲ１の全域を検索範囲とするより、少ない時間で検索することができる。遺失物がその周辺領域の場所範囲で検索できない場合、次の検索としてさらにその周辺の領域に拡大して再検索してもよい。

実施の形態１では、操作部１０４と表示部１１０とが別々に記載されているが、例えば、タッチパネル等のように、これらが一体に構成されていてもよい。

なお、以上の説明では、図７に示されている画像データの内、「検索結果１」の画像データが選択されているが、実施の形態１は、このような例に限定されない。検索対象である遺失物が写っていて、２回目の検索に用いる第２の検索キーＳＫ２として適切である部分画像が含まれていれば、他の検索結果の画像データが選択されてもよい。

以上の説明では、検索結果データＦＤを図５に示し、判定結果データＤＤを図６に示しているが、これらに基づいて画面画像を表示部１１０に表示する際には、これらの図面で示されている形式で表示されてもよく、又は、別の形式で表示されてもよい。例えば、検索結果データＦＤ又は判定結果データＤＤの表示は、１つ画像データでも複数の画像データでもよい。画像データが１つの場合は、スクロール又は番号指定等により別の画像データを選択表示できるようにすればよい。または、画像データのサムネイルを表示部１１０に表示させて、その中で確認したい画像データを選択表示させたり、または、表示数を設定して、設定された表示数の画像データを表示させたりしてもよい。

また、検索結果データＦＤの表示を行う際には、画像データが撮像時間の古い順に撮像場所に寄らずに表示されてもよく、また、撮像場所毎にカテゴリ分けして表示されてもよく、さらに、撮像時間の新しい順に表示されてもよい。さらに、画像データの表示の仕方を、ユーザが操作部１０４を介して指定してもよい。

記憶部１０１に記憶されている画像データは、静止画でも動画でもよい。また、表示部１１０に表示される画像データも、静止画でも動画でもよい。画像データが動画である場合には、画像データは、予め定められた時間帯毎に分けて記憶されていていることが望ましい。画像検索部１０７は、予め定められた時間帯毎に分けられた画像データから、任意の静止画を抽出して、検索条件ＦＳＣ、ＳＳＣに合致する画像データを検索すればよい。
なお、表示部１１０で画像データを表示する際には、画像データ毎にサムネイル画像を表示して、選択されたサムネイル画像に対応した動画が再生されてもよい。サムネイルは、５分毎等のように任意の時間毎に表示されればよい。また、サムネイルを介さずに、表示部１１０に、予め定められた順番で動画が再生されてもよい。

実施の形態１では、第２の検索範囲情報ＳＲ２の検索範囲として、検索対象領域ＡＲ１の全域が指定されているが、実施の形態１はこのような例に限定されない。例えば、「入り口」等特定の場所が検索範囲として指定されてもよく、また、「入り口と第１施設」又は「第１施設と第２施設と第３施設」のように複数の場所が検索範囲として指定されてもよい。

実施の形態１では、遺失物を検索対象としたが、検索対象を迷子、徘徊者、万引き者等の特定の人物としてもよい。この場合、検索対象の傍にいる人又は物の画像データを第１の検索キーＳＫ１とし、第１の検索キーＳＫ１の対象と共に写っている人物の部分画像を切り出すことで、特定の人物を効率的に検索することができる。
また、第１の検索キーＳＫ１の対象と、真に検索したい人物とが途中で別れた場合は、第１の検索キーＳＫ１の対象と一緒にいた最後の画像データの場所及び撮像時間を基点にして、このような基点となる時間以降の時間帯で、このような基点となる場所及びその周辺に対し、第２の検索キーＳＫ２で検索することで、第１の検索キーＳＫ１の対象と真に検索したい人物とが途中で別れた以降の、真に検索したい人物の移動経路をトレースすることができる。

実施の形態１では、検索結果データＦＤは、検索結果判定部１０８に与えられているが、図１１に示されている情報処理装置１００＃のように、検索結果データＦＤが、画像検索部１０７＃から表示部１１０＃にも与えられるようにしてもよい。

実施の形態１では、第１の検索キーＳＫ１とする画像データは、撮像部１０３で撮像されているが、実施の形態１は、このような例に限定されない。
例えば、第１の検索キーＳＫ１とする画像データは、スマートフォン又はカメラ等の他の装置から情報処理装置１００に入力されたものでもよい。このような場合、情報処理装置１００は、撮像部１０３の代わりに、他の装置と通信するための通信インターフェース部を備えていればよい。なお、通信インターフェース部は、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）等のネットワークと通信を行う装置であってもよく、また、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）又はブルートゥース（登録商標）等の通信インターフェースであってもよい。
また、第１の検索キーＳＫ１とする画像データは、記憶部１０１に記憶されている画像データから選択された画像データであってもよい。ユーザ（遺失者）は、操作部１０４を用いて、表示部１１０に画像データを表示させて、第１の検索キーＳＫ１として使用する画像データを選択すればよい。

実施の形態２
図１に示されているように、実施の形態２に係る情報処理装置２００は、記憶部１０１と、入力部１０２と、検索部２０５と、表示部１１０とを備える。
実施の形態２に係る情報処理装置２００は、検索部２０５を除いて、実施の形態１に係る情報処理装置１００と同様に構成されている。

検索部２０５は、記憶部１０１に記憶されている画像データの検索を行う。
検索部２０５は、検索条件設定部１０６と、画像検索部１０７と、検索結果判定部１０８と、検索条件更新部２０９とを備える。
実施の形態２における検索部２０５は、検索条件更新部２０９を除いて、実施の形態１における検索部１０５と同様に構成されている。

検索条件更新部２０９は、実施の形態１と同様に、検索結果判定部１０８から取得された判定結果データＤＤから、操作部１０４から与えられた検索情報ＳＩに合致する検索対象の画像を切り出した切り出し画像の画像データを、第２の検索キーＳＫ２として、検索条件設定部１０６に与える。

また、検索条件更新部２０９は、検索対象である第１の対象が、第２の対象と一緒ではなくなった時間帯、及び、第１の対象が第２の対象と一緒ではなくなった場所の少なくとも何れか一方、例えば、遺失物を遺失した時間帯、及び、遺失物を遺失した場所の少なくとも何れか一方を第２の検索範囲として示す第２の検索範囲情報ＳＲ２＃を検索条件設定部１０６に与える。
実施の形態１では、検索条件更新部１０９は、選択された画像データの撮像時間から現在までの時間帯を第２の検索範囲情報ＳＲ２に含めているが、実施の形態２では、検索条件更新部２０９は、遺失物を遺失したと思われる時間から現在までの時間帯を第２の検索範囲情報ＳＲ２＃に含めている。

例えば、実施の形態２における検索条件更新部２０９は、判定結果データＤＤに含まれている画像データの内、検索情報ＳＩで示されている検索対象の属性に合致する対象を含んでいる最も時間の新しい画像データの時間以降の時間帯を第２の検索範囲情報ＳＲ２＃に含めればよい。
また、検索条件更新部２０９は、判定結果データＤＤに含まれている画像データの内、検索情報ＳＩで示されている検索対象の属性に合致する対象を含まない画像データを特定し、特定された画像データの内、最も時間の古い画像データ（例えば、図５の検索結果４）を遺失した直後の画像データと想定する。このため、検索条件更新部２０９は、検索情報ＳＩで示されている検索対象の属性に合致する対象を含んでいる最も時間の新しい画像データの時間以降、検索対象情報ＳＴで示されている検索対象の属性に合致する対象を含まない、最も古い時間の画像データの撮像時間又はこの撮像時間から指定時間さかのぼった時間までの時間帯を第２の検索範囲情報ＳＲ２＃に含めてもよい。
さらに、検索条件更新部２０９は、操作部１０４を介して、ユーザ（遺失者）から遺失物を遺失した時間の入力を受け付けてもよい。
また、検索条件更新部２０９は、検索対象情報ＳＴで示されている検索対象の属性に合致する対象を含み、最も新しい時間の画像データの撮像時間から、その撮像時間よりオフセット（負値のオフセットもありうる）を加算した時間までの時間帯を、遺失物を遺失した時間帯としてもよい。

検索結果データＦＤが、図５に示されているようになっているとすると、検索結果３の時間及び場所では、遺失者が遺失物を持っていて、検索結果４の時間及び場所では、遺失者が遺失物を持っていない。このため、図１２に示されているように、第３施設から第５施設へ遺失者が移動している途中で、遺失物を遺失した可能性があり、遺失した時間帯は、１０：５０から１１：０５までの間であることがわかる。なお、図１２で第３施設から第５施設を結ぶ矢印は、遺失者の移動経路である。

従って、図５に示されている検索結果データＦＤにおける検索結果３と、検索結果４との間の画像データ（静止画又は動画）を確認することで、いつ、どこで遺失物を遺失したか、遺失物はどこにあるかがわかる。
例えば、検索結果３に対応する画像データが動画の場合、その画像データを再生して確認することで、その撮像装置１２０で撮像された範囲で遺失しているかどうかを確認することができる。

また、画像データが静止画の場合、検索時間の間隔が長いと、遺失物を所持している時間と遺失した時間とに開きがあり、場所も離れている場合があり、遺失場所及び時間の特定が困難な場合もありうる。
そのため、実施の形態２では、１回目の検索結果より切り出された遺失物の画像データを第２の検索キーＳＫ２として、検索結果３の時間から順に遺失物の移動経路の画像データをトレースすることで、いつ、どこで遺失物を遺失したか確認することができる。

例えば、画像検索部１０７での１回目の検索結果が図１３に示されている検索結果データＦＤである場合には、図１３における検索結果３と検索結果４との間の時間で、図１４に示されているように、２回目の検索において、第３施設から第５施設の移動途中の通路に遺失物であるカバンが写っている画像を検索することができる。

即ち、実施の形態２では、検索条件更新部２０９は、図１３に示されている検索結果３と検索結果４のように、基点となる２つの場所（移動経路）及び２つの時間（時間帯）を第２の検索範囲として示す第２の検索範囲情報ＳＲ２を検索条件設定部１０６に設定することで、遺失物を遺失した時間及び場所を特定することができる。なお、画像検索部１０７には、２つの場所の組み合わせ毎に、検出すべき場所が予め定められているものとする。即ち、画像検索部１０７は、移動経路毎に、検索すべき場所が予め定められているものとする。

図１０に示されている提示画面画像ＲＩのように、検索結果３以降、遺失物が同一場所に遺失されていることがわかる場合があるが、例えば、図示してはいないが、図１０の検索結果３以降の時間で、遺失物が検索対象範囲で検索できない場合もありうる。
遺失物が検索対象範囲で検索できない場合は、遺失者以外の人が拾得したり、持ち去ったりした場合である。その場合は、遺失物が検索対象範囲で検索できた最後の画像データに、人物が含まれている場合には、その人物を拾得者又は持去り者の人物を特定（推定）することができる。
そして、検索条件更新部２０９は、遺失物が検索対象範囲で検索できた最後の画像データの撮影場所及び撮影時間を基点とする第３の検索範囲情報、及び、拾得者又は持去り者の画像データを第３の検索キーとして、検索条件設定部１０６に通知する。これにより、検索条件設定部１０６は、第３の検索範囲情報及び第３の検索キーを第３の検索条件として画像検索部１０７に設定することで、画像検索部１０７に、拾得者又は持去り者の画像データを検索させる。この結果、遺失者は、拾得者又は持去り者の移動経路を特定することができ、遺失物の移動経路を特定することができる。

拾得者又は持去り者の移動経路の特定は、遺失物が検索対象範囲で検索できた最後の画像データの撮像場所及び撮像時間を基点にして、その基点となる時間以降で、その基点となる場所を含む周辺領域を検索範囲とすればよい。
なお、拾得者又は持去り者が第３の検索範囲情報が示す第３の検索範囲外に移動した場合は、検索条件設定部１０６は、移動方向から新たな場所と時間帯とを含む第４の検索範囲を示す第４の検索範囲情報を検索条件設定部１０６に通知することで、移動経路のトレースができる。その結果、例えば、サービスセンターへ遺失物の拾得届けをしたこと、又は、検索対象領域ＡＲの全域より外に持ち出されたことがわかる。
なお、新たな検索範囲は、ユーザ（遺失者）が操作部１０４を介して、検索条件設定部１０６に入力してもよい。また、遺失物が検索できた最後の画像データに、人物が含まれている場合には、ユーザ（遺失者）が操作部１０４を介して、拾得者又は持去り者を特定してもよい。

実施の形態２においては、検索対象の画像を切り出した切り出し画像の画像データを、第２の検索キーＳＫ２とし、遺失物を遺失した時間帯、及び、遺失物を遺失した場所の少なくとも何れか一方を第２の検索範囲として、２回目の検索が行われているが、例えば、遺失者の画像の画像データである第１の検索キーＳＫ１と、遺失物を遺失した時間帯、及び、遺失物を遺失した場所の少なくとも何れか一方を示す第２の検索範囲とを用いて、２回目の検索が行われ、そして、検索対象の画像を切り出した切り出し画像の画像データを、第２の検索キーＳＫ２とし、遺失物を遺失した時間帯、及び、遺失物を遺失した場所の少なくとも何れか一方を第２の検索範囲として、３回目の検索が行われてもよい。例えば、表示部１１０＃への表示がサムネイル画像であったり、時間間隔を指定して間引かれた画像であったりする場合もある。このような場合には、時間又は場所を絞って、再度検索を行うことで、いつ、どこで遺失物を遺失したか、遺失物はどこにあるのかを容易に特定することができる。

１００，１００＃，２００情報処理装置、１０１記憶部、１０２入力部、１０３撮像部、１０４操作部、１０５，２０５検索部、１０６検索条件設定部、１０７画像検索部、１０８検索結果判定部、１０９，２０９検索条件更新部、１１０，１１０＃表示部。

Claims

撮像装置で撮像された画像データを蓄積画像データとして記憶する記憶部と、
検索対象である第１の対象と一緒に前記撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、前記蓄積画像データから前記第２の対象が含まれている画像の画像データを、候補画像データとして検索し、前記候補画像データの中から、前記第１の対象が含まれている画像の画像データを特定し、前記特定された画像データの画像から前記第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、前記第２の画像データを用いて、前記蓄積画像データから前記第１の対象が含まれている画像の画像データを検索対象画像データとして検索する検索部と、
前記検索対象画像データを表示する表示部と、を備えること
を特徴とする情報処理装置。
前記第２の対象を撮像することで前記第１の画像データを生成する撮像部をさらに備えること
を特徴とする請求項１に記載の情報処理装置。
前記蓄積画像データの中から前記第１の画像データを選択する操作部をさらに備えること
を特徴とする請求項１に記載の情報処理装置。
他の装置と通信するための通信インターフェース部をさらに備え、
前記第１の画像データは、前記通信インターフェース部を介して、前記他の装置から取得された画像データであること
を特徴とする請求項１に記載の情報処理装置。
前記蓄積画像データは、撮像された時間及び場所に対応付けられており、
前記第２の対象が前記第１の対象と一緒に撮像された時間帯及び場所の入力を受け付ける操作部をさらに備え、
前記検索部は、前記操作部が入力を受け付けた前記時間帯及び場所を第１の検索範囲とし、前記蓄積画像データの内前記第１の検索範囲に含まれる画像データの中から、前記第２の対象が含まれている画像の画像データを前記候補画像データとして検索すること
を特徴とする請求項１に記載の情報処理装置。
前記検索部は、前記特定された画像データが撮像された時間以降の時間帯を第２の検索範囲とし、前記蓄積画像データの内前記第２の検索範囲に含まれる画像データの中から、前記第１の対象が含まれている画像の画像データを前記検索対象画像データとして検索すること
を特徴とする請求項５に記載の情報処理装置。
前記検索部は、前記第１の対象が前記第２の対象と一緒ではなくなった時間帯、及び、前記第１の対象が前記第２の対象と一緒ではなくなった場所の少なくとも何れか一方を第２の検索範囲とし、前記蓄積画像データの内前記第２の検索範囲に含まれる画像データの中から、前記第１の対象が含まれる画像の画像データを前記検索対象画像データとして検索すること
を特徴とする請求項５に記載の情報処理装置。
前記検索部は、前記候補画像データの内、前記第２の対象が前記第１の対象とともに撮像された最後の画像データが撮像された時間から、前記第１の対象が含まれていない最初の画像データが撮像された時間までの時間帯を前記第２の検索範囲とすること
を特徴とする請求項７に記載の情報処理装置。
前記検索部は、前記候補画像データの内、前記第２の対象が前記第１の対象とともに撮像された最後の画像データが撮像された時間から、前記第１の対象が含まれていない最初の画像データが撮像された時間から指定時間さかのぼった時間までの時間帯を前記第２の検索範囲とすること
を特徴とする請求項７に記載の情報処理装置。
コンピュータを、
撮像装置で撮像された画像データを蓄積画像データとして記憶する記憶部、
検索対象である第１の対象と一緒に前記撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、前記蓄積画像データから前記第２の対象が含まれている画像の画像データを、候補画像データとして検索し、前記候補画像データの中から、前記第１の対象が含まれている画像の画像データを特定し、前記特定された画像データの画像から前記第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、前記第２の画像データを用いて、前記蓄積画像データから前記第１の対象が含まれている画像の画像データを検索対象画像データとして検索する検索部、及び、
前記検索対象画像データを表示する表示部、として機能させること
を特徴とするプログラム。
記憶部が、撮像装置で撮像された画像データを蓄積画像データとして記憶し、
検索部が、検索対象である第１の対象と一緒に前記撮像装置で撮像されたことのある第２の対象の画像を示す第１の画像データを用いて、前記蓄積画像データから前記第２の対象が含まれている画像の画像データを、候補画像データとして検索し、前記候補画像データの中から、前記第１の対象が含まれている画像の画像データを特定し、前記特定された画像データの画像から前記第１の対象を含む一部の画像を抽出することで第２の画像データを生成し、前記第２の画像データを用いて、前記蓄積画像データから前記第１の対象が含まれている画像の画像データを検索対象画像データとして検索し、
表示部が、前記検索対象画像データを表示すること
を特徴とする情報処理方法。