JP2021068102A - 情報処理システム、情報処理システムの制御方法、情報処理装置、及びプログラム - Google Patents

Abstract

【課題】画像を利用した検索に係るユーザの手間を軽減する。【解決手段】本発明の情報処理システムは、一連の画像の中から第１の検索条件を満たす画像を検索することで、１以上の画像を含む第１の検索結果を取得する第１の検索手段と、前記第１の検索結果のうち少なくとも一部の画像を除外対象として特定する特定手段と、前記一連の画像の中から、前記第１の検索結果のうち検索対象として指定された少なくとも一部の画像に応じた第２の検索条件を満たす画像を検索することで、１以上の画像を含む第２の検索結果を取得する第２の検索手段と、前記特定の結果に基づき、前記第２の検索結果に応じた情報の出力を制御する出力制御手段と、を備える。【選択図】図３

Description

本開示は、情報処理システム、情報処理システムの制御方法、情報処理装置、及びプログラムに関する。

デジタルカメラ等の撮像装置による静止画像や動画像等の画像の撮像結果を利用して所定の領域の監視を行う画像監視システムが知られている。特に近年では、ネットワークを介して接続された複数の撮像装置を利用することで、コンビニエンスストア等のような店舗内の限られた領域に限らず、商店街やショッピングモール等のようなより広い領域を監視可能な画像監視技術も各種検討されている。

また、近年では、画像解析技術の発展に伴い、撮像された画像からの人物の検出、検出した人物の追跡、及び顔認証技術等を利用した人物の特定等も可能となってきており、画像監視システムに対するこれらの画像解析技術の適用も検討されている。特に、上記のような解析技術が画像監視システムに適用されることで、例えば、画像から検出された人物の特徴と、あらかじめ取得しておいた人物の特徴と、を比較し、当該比較の結果に基づき、画像に撮像された所望の人物を検索することも可能となる。例えば、特許文献１には、検索条件（検索キー）として指定された画像の特徴量に類似する特徴量を有する画像を検索することで、画像に撮像された所望の人物を検索する技術の一例が開示されている。

特許第５８６３４００号公報

画像解析技術に基づき画像に撮像された所望の人物を検索する場合には、例えば、当該人物の画像を検索条件（検索キー）として検索を行い、検索結果に含まれる画像を検索条件として再検索を行うことがある。このように検索が繰り返し行われることで、最初の検索結果には含まれない結果を発見できる場合がある。
一方で、検索が繰り返し行われるような状況下では、その都度得られる検索結果を確認することとなるため、繰り返しの回数が増えるほどユーザへの負担が増加する場合がある。

本発明は上記の問題を鑑み、画像を利用した検索に係るユーザの手間を軽減することを目的とする。

本発明の情報処理システムは、一連の画像の中から第１の検索条件を満たす画像を検索することで、１以上の画像を含む第１の検索結果を取得する第１の検索手段と、前記第１の検索結果のうち少なくとも一部の画像を除外対象として特定する特定手段と、前記一連の画像の中から、前記第１の検索結果のうち検索対象として指定された少なくとも一部の画像に応じた第２の検索条件を満たす画像を検索することで、１以上の画像を含む第２の検索結果を取得する第２の検索手段と、前記特定の結果に基づき、前記第２の検索結果に応じた情報の出力を制御する出力制御手段と、を備える。

本発明によれば、画像を利用した検索に係るユーザの手間を軽減することが可能となる。

画像監視システムのシステム構成の一例を示した図である。 情報処理装置のハードウェア構成の一例を示した図である。 画像監視システムの機能構成の一例を示したブロック図である。 操作画面の一例を示した図である。 検索結果を管理するためのデータの一例を示した図である。 画像監視システムの処理の一例を示したフローチャートである。 再検索の結果として提示される情報の一例を示した図である。 再検索の結果として得られるデータの一例を示した図である。 画像監視システムの処理の一例を示したフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本開示では、静止画像と動画像とを特に区別しない場合には、単に「画像」と称する場合がある。

＜第１の実施形態＞
本発明の第１の実施形態について以下に説明する。本実施形態に係る画像監視システムは、デジタルカメラ等の撮像装置による画像の撮像結果を利用することで、当該撮像装置が撮像対象とする領域の監視を可能とする。本実施形態に係る画像監視システムは、所望の領域が撮像範囲に含まれるように設置された１以上の撮像装置による撮像結果に応じた画像を利用することで、当該領域の監視を実現する。このような特性から、当該画像監視システムは、スーパーマーケット、コンビニエンスストア、及びレンタルビデオ店等のような比較的狭い領域に限らず、商店街、ショッピングモール、及び公園等のような比較的広い領域も監視対象とすることを想定している。

（システム構成）
図１を参照して、本実施形態に係る画像監視システムのシステム構成の一例について説明する。本実施形態に係る画像監視システム１０１は、１以上のネットワークカメラ１０５と、画像解析サーバ１０３と、クライアント端末１０２とを含む。また、画像監視システム１０１は、録画サーバ１０４を含んでもよい。１以上のネットワークカメラ１０５と、画像解析サーバ１０３と、クライアント端末１０２と、録画サーバ１０４とは、所定のネットワークを介して接続されている。
なお、図１に示す各装置を接続するネットワークの種別は特に限定されない。具体的な一例として、上記ネットワークは、インターネット、専用線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていてもよい。また、上記ネットワークは、有線のネットワークでもよく、無線のネットワークでもよい。また、上記ネットワークは、互いに異なる種別のネットワークを含んでもよい。換言すると、図１に示す各装置間の通信が論理的に確立されていればよく、物理的には図１に示す各装置のうち２以上の装置間の通信が他の通信装置等により中継されてもよい。
また、画像監視システム１０１が、「情報処理システム」の一例に相当する。

クライアント端末１０２は、所定の入力装置を介して受け付けられたユーザからの指示を、画像解析サーバ１０３、録画サーバ１０４、及びネットワークカメラ１０５に送信する。また、クライアント端末１０２は、画像解析サーバ１０３、録画サーバ１０４、及びネットワークカメラ１０５から上記指示に対する応答を受信し、所定の出力装置を介して当該応答に応じた情報をユーザに提示する。

ネットワークカメラ１０５は、周囲の環境を撮像し、撮像結果に応じた画像（すなわち、監視対象となる領域の画像）の画像データを、画像解析サーバ１０３、録画サーバ１０４、及びクライアント端末１０２等の他の装置に送信する。ネットワークカメラ１０５は、監視対象となる領域が撮像範囲に含まれるように設置されるとよい。
また、ネットワークカメラ１０５は、パン制御やチルト制御等に基づき画角の向き（撮像方向）が制御されてもよいし、ズーム制御等に基づき画角の大きさ（撮像に係る拡大率）が制御されてもよい。

ネットワークカメラ１０５は、画像が撮像された時間、画像が撮像された位置、画像の撮像条件等のような各種情報を、撮像結果に応じた画像の画像データに対して関連付けたうえで、当該画像データを他の装置に送信してもよい。なお、画像の撮像条件としては、例えば、画角の向き（撮像方向）、画角の大きさ（撮像に係る拡大率）、シャッタースピードや絞り等の露出条件、ホワイトバランスの設定等が挙げられる。
また、ネットワークカメラ１０５は、人感センサ、温度センサ、音声センサ、及び赤外線センサ等の各種センサが接続されていてもよい。このような構成に基づき、ネットワークカメラ１０５は、各種センサにより取得された周囲の環境の情報を、撮像結果に応じた画像の画像データに関連付けたうえで、当該画像データを他の装置に送信してもよい。

ネットワークカメラ１０５は、画像解析サーバ１０３、録画サーバ１０４、及びクライアント端末１０２等の他の装置からの指示に応じて、周囲の環境の撮像や、他の装置への画像データの送信を行ってもよい。また、他の一例として、ネットワークカメラ１０５は、周囲の環境の撮像や、他の装置への画像データの送信を、あらかじめ設定された各種条件に基づき自律的に行ってもよい。

録画サーバ１０４は、各ネットワークカメラ１０５から撮像結果に応じた画像の画像データを収集し、当該画像データを記憶する。また、録画サーバ１０４は、他の装置（例えば、画像解析サーバ１０３）に対して記録した画像データを送信する。

録画サーバ１０４は、画像解析サーバ１０３及びクライアント端末１０２等の他の装置からの指示に応じて、各ネットワークカメラ１０５からの画像データの収集や、他の装置への画像データの送信を行ってもよい。また、他の一例として、録画サーバ１０４は、各ネットワークカメラ１０５からの画像データの収集や、他の装置への画像データの送信を、あらかじめ設定された各種条件に基づき自律的に行ってもよい。

画像解析サーバ１０３は、ネットワークカメラ１０５または録画サーバ１０４から画像データを取得し、当該画像データが示す画像に対して画像解析処理を施す。画像解析サーバ１０３は、当該画像解析処理の結果に基づき、画像中に撮像された所定の被写体（例えば、人物等）の認識や、当該被写体の行動の分析等を行う。以上のようにして、画像解析サーバ１０３は、取得した画像データが示す画像の解析を行う。
なお、画像解析サーバ１０３は、上記画像データが示す画像の解析結果に応じた情報を、他の装置（例えば、クライアント端末１０２）に送信してもよい。また、画像解析サーバ１０３は、上記画像データが示す画像の解析結果に応じた情報を、所定の記憶領域に記憶させてもよい。この場合には、画像解析サーバ１０３は、他の装置からの指示に応じて、当該記憶領域に記憶させた情報（すなわち、上記画像データが示す画像の解析結果に応じた情報）を当該他の装置に送信してもよい。

画像解析サーバ１０３は、クライアント端末１０２等の他の装置からの指示に応じて、上記画像データが示す画像の解析や、他の装置への当該解析の結果に応じた情報の送信を行ってもよい。また、他の一例として、画像解析サーバ１０３は、上記画像データが示す画像の解析や、他の装置への当該解析の結果に応じた情報の送信を、あらかじめ設定された各種条件に基づき自律的に行ってもよい。

（ハードウェア構成）
図２を参照して、情報処理装置２００のハードウェア構成の一例について説明する。本実施形態では、画像解析サーバ１０３、録画サーバ１０４、及びクライアント端末１０２のそれぞれは、情報処理装置２００と同様の情報処理装置によって実現される。情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御する。これにより、ＣＰＵ２１１は、図１に示す画角制御装置Ａ１００２の各機能を実現する。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラム等を格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータ等を一時的に記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。
通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。

図２では、表示部２１５と操作部２１６が情報処理装置２００の内部に存在する場合の一例について示しているが、表示部２１５と操作部２１６とのうち少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。この場合には、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。

画像解析サーバ１０３のＣＰＵ２１１が、画像解析サーバ１０３のＲＯＭ２１２または補助記憶装置２１４に記憶されたプログラムにしたがって処理を実行することで、図３に示す機能及び図６及び図９に示す処理が実現される。

（機能構成）
図３を参照して、画像監視システム１０１の機能構成の一例について説明する。画像監視システム１０１は、画像取得部３０２と、特徴量記憶部３０３と、検索要求受付部３０４と、検索部３０５と、操作情報保持部３０６と、確認済結果判定部３０７と、出力制御部３０８とを含む。

画像取得部３０２は、各ネットワークカメラ１０５から撮像結果に応じた画像の画像データを取得する。画像取得部３０２は、取得した画像データを録画サーバ１０４に記憶させてもよい。また、画像取得部３０２は、取得した画像データを画像解析サーバ１０３に転送することで、画像解析サーバ１０３に当該画像データが示す画像の解析を行わせてもよい。

特徴量記憶部３０３は、画像データが示す画像に対して画像解析を施すことで、所定の被写体（例えば、人物等）の特徴量を算出し、当該特徴量に関する情報を算出元の画像と関連付けて記憶する。また、特徴量記憶部３０３は、記憶した特徴量に関する情報を、他の機能構成に出力してもよい。

検索要求受付部３０４は、各ネットワークカメラ１０５により撮像された一連の画像からの、画像の検索に係る指示をユーザから受け付ける。例えば、検索要求受付部３０４は、所望の人物が撮像された画像の検索に係る指示を受け付けてもよい。検索に係る指示には、例えば、撮像されている被写体に関する条件（例えば、人物が撮像されている等）、画像が撮像された時間に関する条件（例えば、期間等）、及び画像データに関連付けられた属性情報に関する条件（例えば、撮像条件等）等が含まれてもよい。
また、検索要求受付部３０４は、従前の検索による検索結果に含まれる画像の指定を受けて、当該画像に基づく検索の指示を受け付けてもよい。
以上のようにして、検索要求受付部３０４は、ユーザからの画像の検索に係る指示を受け付け、当該指示を検索部３０５に送信する。

検索部３０５は、検索要求受付部３０４から画像の検索に係る指示を受け、当該指示に含まれる条件を満たす画像を、画像取得部３０２により取得された一連の画像データが示す画像（以下、便宜上「一連の画像」とも称する）から検索する。
例えば、検索部３０５は、一連の画像から、画像の検索に係る指示に含まれる画像が撮像された時間に関する条件を満たす画像（例えば、検索条件として指定された期間中に撮像された画像）を検索してもよい。
また、他の一例として、検索部３０５は、指定された画像に基づく検索の指示を受けた場合には、当該画像から算出される特徴量を、特徴量記憶部３０３に記憶された特徴量と比較することで、一連の画像から指定された画像に類似する画像を検索してもよい。

出力制御部３０８は、所定の出力装置（例えば、表示部２１５）に情報を出力させることで、当該情報をユーザに提示する。例えば、出力制御部３０８は、検索部３０５から検索結果に応じた情報を取得し、当該情報を出力装置に出力させてもよい。また、出力制御部３０８は、確認済結果判定部３０７から各種判定結果に応じた情報を取得し、当該情報を出力装置に出力させてもよい。なお、確認済結果判定部３０７による判定に係る処理については詳細を別途後述する。

ここで、図４を参照して、検索または再検索に指示をユーザから受け付け、検索または再検索の結果をユーザに提示するための操作画面の一例について説明する。図４に示す操作画面４００は、例えば、出力制御部３０８が、クライアント端末１０２の表示部２１５に表示させることでユーザに提示される。操作画面４００は、検索指示設定領域４０１と、検索結果提示領域４０３とを含む。

検索指示設定領域４０１は、画像の検索条件の指定をユーザから受け付ける領域である。
検索指示設定領域４０１は、例えば、検索条件として指定された画像が提示される領域を含んでもよい。出力制御部３０８は、検索条件として画像が指定された場合に、上記領域に対して当該画像を表示させてもよい。
また、検索指示設定領域４０１は、画像の検索に係る条件の指定をユーザから受け付けるための領域が設けられていてもよい。例えば、図４に示す例では、検索指示設定領域４０１は、画像が撮像された時間に関する条件の指定をユーザから受け付けるための領域を含んでいる。
検索要求受付部３０４は、検索指示設定領域４０１に指定された各種情報を、ユーザからの画像の検索に係る指示として受け付ける。

また、検索指示設定領域４０１は、検索実行ボタン４０２と、再検索実行ボタン４０７とを含む。なお、再検索実行ボタン４０７については詳細を別途後述する。検索実行ボタン４０２は、検索の実行に係る指示をユーザから受け付けるためのボタンである。検索実行ボタン４０２が押下されると、検索要求受付部３０４が、検索指示設定領域４０１に指定された検索条件に基づき、検索部３０５に対して画像検索を指示する。検索部３０５は、検索要求受付部３０４からの指示に基づき、検索条件を満たす画像を検索対象となる一連の画像の中から検索する。そして、出力制御部３０８が、検索結果に応じた情報を検索結果提示領域４０３に表示させる。例えば、図４に示す例では、検索結果に応じた情報として、検索条件を満たす画像の一覧が検索結果提示領域４０３に表示されている。

４０４は、検索結果として得られた個々の候補が提示される候補提示領域である。出力制御部３０８は、候補提示領域４０４に対して、検索結果として得られた個々の画像と、当該画像に関する情報と、を表示させる。また、出力制御部３０８は、検索結果として得られた画像について、検索条件として指定された画像との類似度に関する情報を取得した場合には、当該類似度に関する情報を候補提示領域４０４に表示させてもよい。

また、候補提示領域４０４は、再検索指示受付部４０５と、除外指定受付部４０６とを含む。再検索指示受付部４０５及び除外指定受付部４０６は、例えば、チェックボックスとして実現される。

再検索指示受付部４０５は、再検索が行われる際の検索条件としての指定をユーザから受け付けるための領域である。すなわち、検索要求受付部３０４は、ユーザにより再検索指示受付部４０５に対してチェックが入力された場合に、対応する候補提示領域４０４に提示された画像を再検索時の検索条件として利用する。

除外指定受付部４０６は、再検索が行われた場合に再検索結果からの除外対象としての指定をユーザから受け付けるための領域である。すなわち、出力制御部３０８は、ユーザにより除外指定受付部４０６に対してチェックが入力された場合に、再検索の結果に対して対応する候補提示領域４０４に提示された画像が含まれていたとしても、当該画像を再検索結果としての提示対象からは除外する。例えば、ユーザは、検索結果として得られた画像を確認した結果、当該画像が検索対象でないと判断した場合に、対応する除外指定受付部４０６に対してチェックを入力してもよい。これにより、再検索が行われた場合における再検索結果の提示対象から当該画像が除外されるため、ユーザが改めて当該画像を確認するような事態の発生を防止することが可能となる。

再検索実行ボタン４０７は、再検索の実行に係る指示をユーザから受け付けるためのボタンである。再検索実行ボタン４０７が押下されると、検索要求受付部３０４が、各候補提示領域４０４の再検索指示受付部４０５に対する入力状況に応じて検索指示設定領域４０１に指定された検索条件に基づき、検索部３０５に対して画像検索を指示する。検索部３０５は、検索要求受付部３０４からの指示に基づき、検索条件を満たす画像を一連の画像の中から再検索する。そして、出力制御部３０８が、検索結果に応じた情報を検索結果提示領域４０３に改めて表示させる。このとき、出力制御部３０８は、再検索の実行に係る指示が受け付けられた際に、各候補提示領域４０４の除外指定受付部４０６に対する入力に状況に応じて、対応する画像を、再検索結果としての提示対象から除外する。

ここで、改めて図３を参照して、画像監視システム１０１の他の機能構成について説明する。
操作情報保持部３０６は、ユーザから受け付けた検索指示に係る操作内容に関する情報を検索要求受付部３０４から取得し、当該操作内容に関する情報を保持する。操作内容に関する情報としては、例えば、検索指示等のユーザから受け付けた入力に基づく情報、検索結果の提示に係る情報、検索結果に対してユーザから受け付けた入力に基づく情報等が挙げられる。また、検索結果に対してユーザから受け付けた入力に基づく情報には、例えば、再検索が行われる際に検索条件としての指定が行われたか否かを示す情報や、再検索結果の提示対象からの除外の指定が行われたか否かを示す情報が含まれる。

確認済結果判定部３０７は、操作情報保持部３０６から操作内容に関する情報を取得し、当該情報に基づき、検索指示設定領域４０１に対する情報の入力状況や、検索結果提示領域４０３に表示された各候補提示領域４０４に対する情報の入力状況を認識する。これにより、例えば、確認済結果判定部３０７は、検索結果提示領域４０３に表示された各候補提示領域４０４のうち、再検索指示受付部４０５や除外指定受付部４０６が入力を受け付けた候補提示領域４０４を特定することが可能となる。すなわち、確認済結果判定部３０７は、検索結果として得られた画像のうち、再検索の条件として指定された画像や、再検索結果の提示対象から除外された画像を認識することが可能となる。
確認済結果判定部３０７は、上記認識結果を検索結果と比較することで、検索結果として得られる各画像が、確認済みの画像か否か（例えば、除外対象として指定された画像か否か）を判定する。そして、確認済結果判定部３０７は、上記判定の結果を出力制御部３０８に出力する。これにより、出力制御部３０８は、確認済みと判定された画像を認識することが可能となるため、例えば、当該画像を再検索結果としての提示対象から除外することが可能となる。

なお、図３に示す画像監視システム１０１の機能構成のうち、画像取得部３０２は、例えば、録画サーバ１０４の機能構成として実現され得る。また、検索要求受付部３０４及び出力制御部３０８は、例えば、クライアント端末１０２の機能構成として実現され得る。また、特徴量記憶部３０３、検索部３０５、操作情報保持部３０６、及び確認済結果判定部３０７は、例えば、画像解析サーバ１０３の機能構成として実現され得る。
もちろん、上記はあくまで一例であり、必ずしも画像監視システム１０１の機能構成を限定するものではない。すなわち、図３に示す画像監視システム１０１の各機能構成の処理を実現することが可能であれば、各機能構成に対応する処理の主体となる装置は必ずしも限定はされない。

（データモデル）
図５を参照して、本実施形態に係る画像監視システム１０１が検索結果を管理するためのデータの一例について説明する。

データ５０１は、画像監視システム１０１による画像の検索結果を示すデータの一例を示している。データ５０１は、個々の検索結果として、「ＩＤ」、「カメラ」、「時刻」、「特徴量」、「類似度」、及び「元画像」に関する情報を含む。「ＩＤ」は、個々の検索結果を識別するための識別情報である。「カメラ」は、検索結果として得られた画像を撮像した撮像装置を示す情報である。「時刻」は、検索結果として得られた画像が撮像された時刻を示す情報である。「特徴量」は、検索結果として得られた画像から算出された特徴量を示している。「類似度」は、検索条件として指定された画像から算出された特徴量と、検索結果として得られた画像から算出された特徴量と、の間の比較結果に基づく類似度を示している。「元画像」は、検索結果として得られた画像、もしくは、当該画像の取得元となる画像を示している。
図５に示す情報はあくまで一例であり、検索結果として得られる情報を限定するものではない。具体的な一例として、所定の被写体の検出結果に応じた情報（例えば、検出位置や顔の認識結果等）や、撮像条件に関する情報（例えば、明るさや被写体との距離等）、センサ等により取得された情報（例えば、混雑度当）等が検索結果に含まれていてもよい。

（処理）
図６を参照して、画像監視システム１０１の処理の一例について説明する。なお、図６に示す例では、画像監視システム１０１は、ユーザから検索指示により指定された人物が撮像された画像を、検索対象となる一連の画像（例えば、各ネットワークカメラ１０５により撮像された画像）の中から検索するものとする。この際に、画像監視システム１０１は、ユーザから検索指示を受け付けて画像の検索を実行したうえで検索結果をユーザに提示し、その後、ユーザからの再検索指示に基づき再検索を実行したうえで再検索結果をユーザに提示するものとする。

まず、図６（ａ）について説明する。
Ｓ６０１において、出力制御部３０８は、クライアント端末１０２の表示部２１５に操作画面４００を表示させることで、当該操作画面４００をユーザに提示する。検索要求受付部３０４は、操作画面４００の検索指示設定領域４０１が受け付けたユーザからの指示に基づき、検索条件として指定された画像及び期間を特定し、当該検索条件に基づき検索部３０５に対して画像検索を指示する。なお、Ｓ６０１で指定される検索条件が、第１の検索条件の一例に相当する。

Ｓ６０２において、検索部３０５は、検索要求受付部３０４からの指示に基づき、検索条件を満たす画像を検索対象となる一連の画像の中から検索する。具体的には、検索部３０５は、検索条件として指定された画像に対して画像解析を施すことで人物を抽出し、当該人物の抽出結果に基づき特徴量を算出する。検索部３０５は、算出した人物の特徴量を、特徴量記憶部３０３に記憶されている各画像から算出された特徴量と比較することで、抽出した人物に類似する人物が撮像された画像を検索する。なお、Ｓ６０２の処理が、第１の検索処理の一例に相当する。

Ｓ６０３において、出力制御部３０８は、Ｓ６０２において取得された検索結果に応じた情報を、操作画面４００の検索結果提示領域４０３に表示させることでユーザに提示する。なお、Ｓ６０３の処理において出力される検索結果が、第１の検索結果の一例に相当する。

Ｓ６０４において、検索要求受付部３０４は、検索結果提示領域４０３への検索結果の提示後に、操作画面４００の検索指示設定領域４０１及び検索結果提示領域４０３を介して、ユーザからの再検索指示を受け付ける。具体的な一例として、検索要求受付部３０４は、個々の検索結果について表示された候補提示領域４０４の再検索指示受付部４０５を介して、再検索時の検索条件に利用する検索結果の指定をユーザから受け付けてもよい。また、検索要求受付部３０４は、個々の検索結果について表示された候補提示領域４０４の除外指定受付部４０６を介して、再検索が行われた場合における再検索結果からの除外対象の指定をユーザから受け付けてもよい。

Ｓ６０５において、確認済結果判定部３０７は、Ｓ６０４において受け付けられた個々の検索結果に対するユーザからの指示と、Ｓ６０２において得られた検索結果と、を比較することで、検索結果として得られた各画像が確認済みか否かを判定する。

ここで、図６（ｂ）を参照して、図６（ａ）のＳ６０５の処理についてより詳しく説明する。図６（ｂ）に示すＳ６１１〜Ｓ６１３の処理は、図６（ａ）のＳ６０２において取得された一連の検索結果それぞれに対して実行される。

Ｓ６１１において、確認済結果判定部３０７は、判定対象となる個々の検索結果について、Ｓ６０４においてユーザから再検索結果からの除外対象として指定されたか否かを判定する。確認済結果判定部３０７は、Ｓ６１１において判定対象となる個々の検索結果が除外対象として指定されていると判定した場合には、処理をＳ６１３に進める。この場合には、Ｓ６１３において、確認済結果判定部３０７は、判定対象となる個々の検索結果（画像）を、確認済みの検索結果として記録し、記録結果を出力制御部３０８に出力する。そのうえで、確認済結果判定部３０７は、次の検索結果を判定の対象として、Ｓ６１１から改めて処理を実行する。
一方で、確認済結果判定部３０７は、Ｓ６１１において判定対象となる個々の検索結果が除外対象として指定されていないと判定した場合には、処理をＳ６１２に進める。

Ｓ６１２において、確認済結果判定部３０７は、判定対象となる個々の検索結果が、再検索の条件として指定された画像よりも信頼度が高いか否かを判定する。確認済結果判定部３０７は、Ｓ６１２において、判定対象となる個々の検索結果が、再検索の条件として指定された画像よりも信頼度が高いと判定した場合には、処理をＳ６１３に進める。この場合には、Ｓ６１３において、確認済結果判定部３０７は、判定対象となる個々の検索結果（画像）を、確認済みの検索結果として記録し、記録結果を出力制御部３０８に出力する。そのうえで、確認済結果判定部３０７は、次の検索結果を判定の対象として、Ｓ６１１から改めて処理を実行する。
一方で、確認済結果判定部３０７は、判定対象となる個々の検索結果が、再検索の条件として指定された画像よりも信頼度が低いと判定した場合には、次の検索結果を判定の対象として、Ｓ６１１から改めて処理を実行する。

そして、確認済結果判定部３０７は、図６（ａ）のＳ６０２において取得された一連の検索結果それぞれについてＳ６１１〜Ｓ６１３の処理の実行が完了すると、図６（ｂ）に示す処理を終了する。

ここで、改めて図６（ａ）を参照して、Ｓ６０６以降の処理について説明する。
Ｓ６０６において、検索部３０５は、Ｓ６０４において再検索時の検索条件への利用対象として指定された画像に対して画像解析を施すことで人物を抽出し、当該人物の抽出結果に基づき特徴量を算出する。そして、検索部３０５は、算出した人物の特徴量を、特徴量記憶部３０３に記憶されている各画像から算出された特徴量と比較することで、指定された画像から抽出した人物に類似する人物が撮像された画像を検索する。なお、Ｓ６０６の処理が、第２の検索処理の一例に相当する。また、Ｓ６０６の処理において指定される検索条件が、第２の検索条件の一例に相当する。

Ｓ６０７において、出力制御部３０８は、Ｓ６０６において得られた再検索の結果と、Ｓ６０５における判定の結果と、に応じた情報を、操作画面４００の検索結果提示領域４０３に表示させることでユーザに提示する。なお、Ｓ６０７の処理において出力される検索結果が、第２の検索結果の一例に相当する。

ここで、図７を参照して、再検索の結果として提示される情報の一例について説明する。まず、図７（ａ）を参照して、再検索に係る指示の一例について説明する。図７（ａ）に示す例では、検索指示設定領域７０１に指定された検索条件に基づき人物が撮像された画像の検索が行われ、当該検索の結果に応じた一連の画像が、検索条件として指定された画像に対する類似度の順で検索結果提示領域７０２に提示されている。
図７（ａ）に示す例では、検索結果７０３に対して再検索が行われる際の検索条件としての指定が行われており、検索結果７０４に対して除外対象としての指定が行われている。また、検索結果７０５は、検索条件として指定された画像との類似度（すなわち、検索結果の信頼度）が、再検索が行われる際の検索条件として指定された検索結果７０３よりも高い値を示している。

以上のような条件に基づき再検索が行われるものとする。この場合には、検索結果７０４については、図６（ｂ）におけるＳ６１１の判定に基づき、Ｓ６１３において確認済みの検索結果として記録される。また、検索結果７０５については、再検索が行われる際の検索条件としての指定された検索結果７０３よりも類似度が高い値を示しているため、図６（ｂ）におけるＳ６１２の判定に基づき、Ｓ６１３において確認済みの検索結果として記録される。

次いで、図７（ｂ）及び図８を参照して、再検索の結果に応じて提示される情報の一例について説明する。図７（ｂ）は、図７（ａ）に示す条件に基づく再検索の結果として提示される情報の一例を示している。また、図８は、再検索の結果として得られるデータの一例を示している。

まず、図８について説明する。図８に示す再検索の結果に応じたデータ８０１では、ＩＤとして「００１」、「００３」、「００６」、「００７」、「００４」、及び「００８」が割り当てられた画像が検索されている。この再検索の結果のうち、ＩＤとして「００３」、「００６」、及び「００１」が割り当てられた画像が、図７（ａ）における検索結果７０３、７０４、及び７０５にそれぞれ対応している。

次いで、図７（ｂ）について説明する。図７（ｂ）では、検索指示設定領域７１１に指定された再検索の条件に基づき人物が撮像された画像の再検索が行われ、当該再検索の結果に応じた一連の画像が、再検索条件として指定された画像に対する類似度の順で検索結果提示領域７１２に提示されている。
図７（ｂ）に示す例では、図８に示す再検索の結果８０１のうち、ＩＤとして「００３」、「００６」、及び「００１」が割り当てられた画像が、検索結果提示領域７１２への提示対象として除外されている。ＩＤとして「００３」が割り当てられた画像は、図７（ａ）において、再検索の条件として指定された検索結果７０３に対応している。また、ＩＤとして「００６」及び「００１」が割り当てられた画像は、除外対象として記録された画像であり、図７（ａ）における検索結果７０４及び７０５にそれぞれ対応している。

なお、本実施形態では、確認済結果判定部３０７は、検索条件として指定された画像との類似度が、再検索の条件として指定された画像よりも高い他の画像を、確認済みの画像として判定し、再検索結果としての提示対象から除外している。一方で、同判定はあくまで一例であり、必ずしも確認済結果判定部３０７が、確認済みの画像として判定するための条件を限定するものではない。具体的な一例として、確認済結果判定部３０７は、検索結果として得られた画像のうち画面に表示された画像を、確認済みの画像として判定してもよい。

また、本実施形態では、出力制御部３０８は、検索結果及び再検索結果間において重複した画像を提示対象から除外している。一方で、同制御はあくまで一例であり、必ずしも出力制御部３０８による情報の提示に係る処理を限定するものではない。例えば、出力制御部３０８は、再検索結果として得られた一連の画像のうち、検索結果及び再検索結果間において重複した画像を、他の画像とは異なる態様で提示してもよい。より具体的な一例として、出力制御部３０８は、検索結果及び再検索結果間において重複した画像を一時的に非表示とし、所定の操作が受け付けられた場合に提示してもよい。また、他の一例として、出力制御部３０８は、検索結果及び再検索結果間において重複した画像のサイズが、他の画像のサイズよりも小さくなるように制御してもよい。

また、再検索の条件として複数の画像が指定されてもよく、除外対象として複数の画像が指定されてもよい。この場合には、個々の画像に対して個別に判定が行われればよい。

以上のように、本実施系形態に係る画像監視システム１０１に依れば、検索結果において確認済みと判定された画像が、再検索の結果としての提示対象から除外される。これにより、検索が繰り返し行われるような状況下においても、互いに異なる検索結果間において重複する画像の確認に係るユーザの手間を軽減することが可能となる。

＜第２の実施形態＞
本発明の第２の実施形態について以下に説明する。第１の実施形態では、検索結果として得られる一連の画像のうち少なくとも一部の画像が確認済みか否かを判定し、確認済みと判定された画像を再検索結果の提示対象から除外することで、検索結果の確認に係るユーザの手間を軽減している。本実施形態では、第１の実施形態に対して、さらに再検索の結果の件数が少なくなりすぎないように制御する機能を追加している。
なお、本実施形態では、主に第１の実施形態と異なる部分に着目して説明し、第１の実施形態と実質的に同様の部分については詳細な説明は省略する。具体的には、第２の実施形態に係る情報処理装置は、検索部３０５による再検索に係る処理が異なり、この点を除けば、システム構成、機能構成、データ構造については第１の実施形態と同様である。そのため、以降では、主に再検索に係る処理について説明を行うこととする。

（処理）
図９を参照して、本実施形態に係る画像監視システムの処理の一例について説明する。
図９において、Ｓ９０１〜Ｓ９０５の処理は、図６に示すＳ６０１〜Ｓ６０５の処理と実質的に同様のため詳細な説明は省略する。

Ｓ９０６において、検索部３０５は、Ｓ９０４において再検索時の検索条件への利用対象として指定された画像に対して画像解析を施すことで人物を抽出し、当該人物の抽出結果に基づき特徴量を算出する。そして、検索部３０５は、算出した人物の特徴量を、特徴量記憶部３０３に記憶されている各画像から算出された特徴量と比較することで、抽出した人物に類似する人物が撮像された画像を検索する。この際に、検索部３０５は、最大表示件数、最小類似度、対象カメラ等の検索条件の指定を行ってもよい。なお、検索条件の指定については、検索結果として得られる画像の集合のフィルタリングを行うことが可能であれば、上記に例示した条件には限定されない。また、検索部３０５は、指定した検索条件に関する情報を、検索結果に対して関連付けて保持しておく。

Ｓ９０７において、出力制御部３０８は、Ｓ９０６で得られた再検索の結果と、Ｓ９０５における判定の結果と、に応じて、操作画面４００の検索結果提示領域４０３に表示させる情報を生成する。

Ｓ９０８において、出力制御部３０８は、Ｓ９０７で生成した情報に基づき、検索結果提示領域４０３に表示させる検索結果の件数が閾値以上か否かを判定する。
出力制御部３０８は、Ｓ９０８において検索結果の件数が閾値以上ではないと判定した場合（すなわち、件数が閾値未満と判定した場合）には、検索結果の件数がより多くなるように検索条件を変更したうえで、処理をＳ９０６に進める。検索条件の変更方法としては、例えば、最大表示件数をより大きくする、最小類似度をより小さくする、対象カメラの指定数をより多くする等の変更方法が挙げられる。そして、Ｓ９０６において、検索部３０５が、変更後の検索条件に基づき改めて検索を行うこととなる。

一方で、出力制御部３０８は、Ｓ９０８において検索結果の件数が閾値以上であると判定した場合には、処理をＳ９０９に進める。
Ｓ９０９において、出力制御部３０８は、Ｓ９０７で生成した情報を、操作画面４００の検索結果提示領域４０３に表示させることでユーザに提示する。

以上のように、本実施形態に係る画像検索システムでは、再検索の結果の件数が閾値以上となるように制御される。これにより、再検索の結果としてユーザの提示される情報の件数が少なくなりすぎないように制御する（すなわち、提示される情報の件数が所定数以上となるように維持する）ことが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、図３に示す機能構成はあくまで一例であり、図３に示す各機能構成を実現することが可能であれば、必ずしも画像監視システム１０１の機能構成を限定するものではない。具体的な一例として、図３に示す各機能構成が、１つの情報処理装置の機能構成として実現されてもよい。この場合には、当該情報処理装置が、画像監視システム１０１と実質的に同等の役割を担うこととなる。また、図３に示す各機能構成のうち少なくとも一部の機能構成の処理の実行に伴う処理負荷が複数の装置に分散されてもよい。
また、図１に示すシステム構成はあくまで一例であり、上記機能構成にあわせて適宜変更されてもよい。具体的な一例として、クライアント端末１０２、画像解析サーバ１０３、及び録画サーバ１０４のうち少なくとも２以上の装置の役割を、１つの装置が担ってもよい。

また、図２に示すハードウェア構成はあくまで一例であり、必ずしも画像解析サーバ１０３、録画サーバ１０４、及びクライアント端末１０２を実現するための情報処理装置２００のハードウェア構成を限定するものではない。例えば、図２に示す情報処理装置２００の各構成のうち一部の構成が外部装置として情報処理装置２００に外付けされていてもよい。具体的な一例として、表示部２１５や操作部２１６に相当する構成が、情報処理装置２００に対して外付けされていてもよい。

また、上述した実施形態では、主に人物が撮像されている画像を検索する場合の一例について説明したが、検索対象となる画像は、必ずしも人物が撮像された画像には限定されない。すなわち、動物、建築物、移動体等のような人物以外の他の被写体が撮像されている画像を検索対象とする場合においても、上述した実施形態と同様の思想に基づき検索結果を提示することで、検索結果の確認に係るユーザの手間を軽減することが可能となる。

１０１ 画像監視システム
３０４ 検索要求受付部
３０５ 検索部
３０７ 確認済結果判定部
３０８ 出力制御部

Claims (11)

1. 一連の画像の中から第１の検索条件を満たす画像を検索することで、１以上の画像を含む第１の検索結果を取得する第１の検索手段と、
   前記第１の検索結果のうち少なくとも一部の画像を除外対象として特定する特定手段と、
   前記一連の画像の中から、前記第１の検索結果のうち検索対象として指定された少なくとも一部の画像に応じた第２の検索条件を満たす画像を検索することで、１以上の画像を含む第２の検索結果を取得する第２の検索手段と、
   前記特定の結果に基づき、前記第２の検索結果に応じた情報の出力を制御する出力制御手段と、
   を備える、情報処理システム。
2. 前記第１の検索手段は、前記第１の検索条件として指定された画像の特徴量に基づき、前記一連の画像の中から１以上の画像を検索する、請求項１に記載の情報処理システム。
3. 前記第２の検索手段は、前記第１の検索結果のうち検索対象として指定された少なくとも一部の画像の特徴量を前記第２の検索条件として、前記一連の画像の中から１以上の画像を検索する、請求項１または２に記載の情報処理システム。
4. 前記出力制御手段は、前記第２の検索結果のうち、前記除外対象として特定された画像を出力の対象から除外する、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記特定手段は、前記第１の検索結果のうち除外対象として指定された少なくとも一部の画像を特定する、請求項４に記載の情報処理システム。
6. 前記特定手段は、前記第１の検索結果のうち、検索対象として指定された少なくとも一部の画像よりも信頼度の高い他の画像を特定する、請求項４または５に記載の情報処理システム。
7. 前記第２の検索手段は、
   前記第２の検索結果として検索された画像の数が閾値未満の場合には前記第２の検索条件を変更し、
   変更後の当該第２の検索条件を満たす画像を再検索することで、新たに前記第２の検索結果を取得する、
   請求項１〜６のいずれか１項に記載の情報処理システム。
8. 前記第２の検索手段は、前記第２の検索結果として検索された画像の数が前記閾値未満の場合に、前記再検索により新たに前記第２の検索結果として検索される画像の数が当該閾値以上となるように、前記第２の検索条件を変更する、請求項７に記載の情報処理システム。
9. 情報処理システムの制御方法であって、
   一連の画像の中から第１の検索条件を満たす画像を検索することで、１以上の画像を含む第１の検索結果を取得する第１の検索ステップと、
   前記第１の検索結果のうち少なくとも一部の画像を除外対象として特定する特定ステップと、
   前記一連の画像の中から、前記第１の検索結果のうち検索対象として指定された少なくとも一部の画像に応じた第２の検索条件を満たす画像を検索することで、１以上の画像を含む第２の検索結果を取得する第２の検索ステップと、
   前記特定の結果に基づき、前記第２の検索結果に応じた情報の出力を制御する出力制御ステップと、
   を含む、情報処理システムの制御方法。
10. 一連の画像の中から第１の検索条件を満たす画像を検索することで、１以上の画像を含む第１の検索結果を取得する第１の検索手段と、
    前記第１の検索結果のうち少なくとも一部の画像を除外対象として特定する特定手段と、
    前記一連の画像の中から、前記第１の検索結果のうち検索対象として指定された少なくとも一部の画像に応じた第２の検索条件を満たす画像を検索することで、１以上の画像を含む第２の検索結果を取得する第２の検索手段と、
    前記特定の結果に基づき、前記第２の検索結果に応じた情報の出力を制御する出力制御手段と、
    を備える、情報処理装置。
11. コンピュータを、請求項１０に記載の情報処理装置の各手段として機能させるためのプログラム。

Images