JP2021192275A - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents

Abstract

【課題】物品の管理のために解析される撮像画像の画質を評価する。【解決手段】情報処理システム４０００は、第１情報処理装置２０００と第２情報処理装置３０００を有する。第１情報処理装置２０００は、撮像画像１２から特徴点を検出し、検出した特徴点の数が所定の条件を満たすか否かを判定する。そして、特徴点の数が所定の条件を満たさない場合、第１情報処理装置２０００は所定の通知４０を出力する。第２情報処理装置３０００は、この撮像画像１２について、特徴点を用いたオブジェクト認識処理を行うことにより、物品の認識を行う。【選択図】図１

Description

本発明は物品の管理に関する。

撮像画像の画質を評価する技術が開発されている。例えば特許文献１は、撮像画像の輝度信号に対してヒストグラムを生成し、このヒストグラムに基づいて、コントラストと露出を評価する技術を開示している。その他にも例えば、特許文献２は、画像の明暗の分布を色成分ごとに生成し、このヒストグラムに基づいて、色成分ごとの画質不良レベルを判定する技術を開示している。

特開２００３−３３３３８１号公報 特開２００７−０８８５５２号公報 国際公開第２０１６／０５２３８３号

画像解析の活用方法の一つとして、物品の管理がある。例えば物品には、店舗の商品棚に陳列されている商品や、自動販売機に陳列される商品サンプルなどがある。例えば特許文献３は、陳列場所が撮像された撮像画像から商品と値札を認識することで、陳列場所に置かれている商品と、陳列場所に付されている棚札との関係が正しいかどうかを自動的に判定する技術を開示している。

この点、特許文献１や特許文献２では、画質評価後の撮像画像に対して画像解析を行うことは想定されておらず、物品の管理のために画像解析される撮像画像に求められる画質については言及されていない。また、特許文献３は、解析する撮像画像の画質については言及していない。

本願発明は上記の課題に鑑みてなされたものであり、その目的の一つは、物品の管理のために解析される撮像画像の画質を評価する技術を提供することである。

本発明の情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、３）所定の条件が満たされていない場合、所定の通知を出力する出力部と、を有する。
前記検出部は、前記撮像画像に含まれる１つ以上の各前記部分領域から特徴点を検出し、前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかであってもよい。
或いは、前記撮像画像に含まれる物品の種類の入力を受け付け、前記判定部は、物品の種類に対応づけて前記基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記基準値を取得し、取得した前記基準値を用いて、前記所定の条件が満たされているか否かを判定してもよい。

本発明の情報処理システムは、第１情報処理装置と第２情報処理装置を有する。
第１情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、３）所定の条件が満たされていない場合には所定の通知を出力し、所定の条件が満たされている場合には撮像画像を出力する出力部と、を有する。
第２情報処理装置は、第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う。
前記検出部は、前記撮像画像に含まれる１つ以上の各前記部分領域から特徴点を検出し、 前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかであってもよい。
或いは、前記撮像画像に含まれる物品の種類の入力を受け付け、前記判定部は、物品の種類に対応づけて前記基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記基準値を取得し、取得した前記基準値を用いて、前記所定の条件が満たされているか否かを判定してもよい。

本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出ステップと、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定ステップと、３）所定の条件が満たされていない場合、所定の通知を出力する出力ステップと、を有する。
前記検出ステップでは、前記撮像画像に含まれる１つ以上の各前記部分領域から特徴点を検出し、前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかであってもよい。
或いは、前記撮像画像に含まれる物品の種類の入力を受け付けるステップをさらに有し、
前記判定ステップでは、物品の種類に対応づけて前記基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記基準値を取得し、取得した前記基準値を用いて、前記所定の条件が満たされているか否かを判定してもよい。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、物品の管理のために解析される撮像画像の画質を評価する技術が提供される。

実施形態１に係る情報処理システムの動作を概念的に例示する図である。 情報処理システムの機能構成を例示する図である。 第１情報処理装置を実現する計算機の構成を例示する図である。 第２情報処理装置を実現する計算機の構成を例示する図である。 実施形態１の情報処理システムによって実行される処理の流れを例示するフローチャートである。 部分領域を指定する入力を受け付ける様子を例示する図である。 部分領域が予め定められているケースを例示する図である。 横方向に位置をずらしながら行う撮像を概念的に例示する図である。 撮像のやり直しを促す通知を例示する図である。 撮像画像のチェックを促す通知である。 特徴点の数が基準値未満である部分領域が強調表示される様子を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

以下の説明において、特に説明しない限り、各種の基準値や所定値は、これらを利用する機能構成部からアクセス可能な記憶装置に予め記憶させておく。

［実施形態１］
＜概要＞
図１は、実施形態１に係る情報処理システム４０００の動作を概念的に例示する図である。ここで、図１を用いて説明する情報処理システム４０００の動作は、情報処理システム４０００の理解を容易にするための例示であり、情報処理システム４０００の動作を限定するものではない。情報処理システム４０００の動作の詳細やバリエーションについては後述する。

情報処理システム４０００は、第１情報処理装置２０００と第２情報処理装置３０００を有する。第１情報処理装置２０００は、物品が陳列されている陳列場所が撮像された撮像画像の生成に利用される。図１では、第１情報処理装置２０００に設けられているカメラ１０によって陳列場所２０が撮像された結果、撮像画像１２が生成されている。撮像画像１２には、陳列場所２０及び陳列場所２０に陳列されている物品が含まれている。例えば物品は、商品棚に陳列される商品や、自動販売機に陳列されている商品サンプルなどである。なお、前者の場合には商品棚が陳列場所２０となり、後者の場合には自動販売機が陳列場所２０となる。

第１情報処理装置２０００が対象とする陳列場所は、物品が陳列される場所であればよく、図１に示されるような複数の段を持つものに限定されない。例えば、机に商品が平積みにされるようなケースでは、この机が陳列場所として扱われる。

第１情報処理装置２０００は、撮像画像１２を出力する。第２情報処理装置３０００は、第１情報処理装置２０００から出力された撮像画像１２に対してオブジェクト認識処理を行う。これにより、第２情報処理装置３０００は、陳列場所２０に陳列されている物品を認識する。ここで、「物品の認識」とは、その物品が何であるか（例えば物品の識別子）を特定することを意味する。

オブジェクト認識処理の手法の一つとして、画像から検出される特徴点を利用してオブジェクト認識を行う手法がある。例えば特徴点は、コーナー、エッジ、又はブロブなどである。例えば、データベースに予め登録されている物品の特徴点群と、撮像画像１２から検出される特徴点群とのマッチングを行うことで、撮像画像１２から検出された特徴点群がその物品を表しているかどうかの判定が行われる。そして、データベースに登録されている物品の中に、その特徴点群と撮像画像１２から検出される特徴点群とが十分にマッチするものがある場合、撮像画像１２からその物品が認識される。

ここで、撮像画像１２に物品が含まれているにもかかわらず、撮像画像１２に対して特徴点を利用したオブジェクト認識処理を行っても、その物品を認識できないことがある。このような事態が生じる原因には、例えば、撮像画像１２においてぶれ、ボケ、白とび、又は黒つぶれなどが生じているといった原因がある。ぶれやボケが生じている画像領域からは、ぶれやボケなどが生じていない画像領域と比較し、検出できる特徴点の数が少なくなる。その結果、前述した特徴点のマッチングによる物品の認識が難しくなる。

撮像画像１２から物品を認識できないという事態が生じないように、第２情報処理装置３０００が利用する撮像画像１２は、オブジェクト認識処理に適したものであることが好適である。すなわち、第１情報処理装置２０００には、オブジェクト認識処理に適した撮像画像１２を出力することが求められる。

そこで第１情報処理装置２０００は、撮像画像１２がオブジェクト認識処理に適したものであるか否かを判定する機能を有する。具体的には、第１情報処理装置２０００は、撮像画像１２から特徴点を検出し、検出した特徴点の数が所定の条件を満たすか否かを判定する。そして、特徴点の数が所定の条件を満たさない場合、第１情報処理装置２０００は所定の通知４０を出力する。通知４０は、撮像画像１２がオブジェクト認識処理に適した画像でないことを第１情報処理装置２０００のユーザが把握できるようにするための通知である。例えば通知４０は、撮影のやり直しを促す通知である。通知４０の出力先は、例えば、情報処理装置２０００に設けられているディスプレイ装置である。

一方、特徴点の数が所定の条件を満たす場合、第１情報処理装置２０００は撮像画像１２を出力する。第２情報処理装置３０００は、この撮像画像１２について、特徴点を用いたオブジェクト認識処理を行うことにより、物品の認識を行う。撮像画像１２から検出される特徴点の数が所定の条件を満たしているため、撮像画像１２から検出される特徴点の数が所定の条件を満たさない場合と比較し、撮像画像１２から物品を認識できる蓋然性が高くなる。

＜作用効果＞
本実施形態の情報処理システム４０００は、撮像画像１２から検出される特徴点の数が所定の条件を満たしているかを判定し、所定の条件が満たされていない場合には通知４０を出力する。これにより、撮像画像１２がオブジェクト認識処理に適したものでない場合に、そのことを第１情報処理装置２０００のユーザが把握できるようになる。

ここで、撮像画像１２の画質を評価する指標として、撮像画像１２の輝度の分布に着目したり、輝度の分布から導き出される明るさやコントラストに着目したりする方法も考えられる。これに対し、情報処理システム４０００は、撮像画像１２から検出される特徴点の数に着目している。このように、特徴点という物品の認識に直接利用される情報に着目して撮像画像１２を評価することにより、撮像画像１２が物品の認識に適したものであるか否かをより高い精度で判定できる。すなわち、情報処理システム４０００によれば、画像解析（物品の認識）に利用される撮像画像１２の画質を高い精度で評価することができる。

また、情報処理システム４０００には、物品を管理する作業の効率を高くするという利点もある。撮像画像１２を利用して物品を管理する方法として、カメラ１０が陳列場所２０を生成したタイミングで第２情報処理装置３０００に物品認識を行わせ、第２情報処理装置３０００が撮像画像１２から物品を認識できたことを確認してから次の撮像を行うという方法が考えられる。しかしながらこの方法では、第２情報処理装置３０００が物品の認識を完了するまで陳列場所２０を撮像する作業が遅延する。そのため、作業全体に要する時間が長くなる。

その他の方法として、撮像の際には撮像画像１２の画質をチェックせず、複数の撮像画像１２について後でまとめて（例えば、夜間のバッチ処理で）第２情報処理装置３０００による物品認識を行うという方法も考えられる。しかしながらこの方法では、第２情報処理装置３０００が撮像画像１２から物品を認識できなかった場合に、陳列場所２０の撮像をやり直すという手戻りが発生する。作業における手戻りの発生は、作業効率を下げる要因となる。特に、店舗にラウンダー等の作業員が出向して陳列場所２０を撮像する作業を行う場合、後日再度ラウンダーがその店舗に出向しなければならない事態が生じ、作業効率が大きく下がる。

これに対し、本実施形態の情報処理システム４０００では、第１情報処理装置２０００が撮像画像１２の画質をチェックして出力し、チェック後の撮像画像１２を第２情報処理装置３０００が利用する。ここで、第１情報処理装置２０００が行う処理は特徴点の検出及びその数のチェックであり、物品を認識する処理と比較して処理に要する時間が短い。よって、第１情報処理装置２０００による撮像画像１２のチェックが完了するのを待っても、陳列場所２０の撮像を行う作業に与える影響は小さいと言える。また、撮像画像１２の特徴点の数が所定の条件を満たさなければ通知４０が出力されるため、第１情報処理装置２０００のユーザはその場で陳列場所２０の撮像をやり直すことができる。そのため、作業の手戻りが発生することを防ぐことができる。

このように、情報処理システム４０００によれば、特徴点の数のチェックという比較的短い時間で完了する処理で撮像画像１２の画質をチェックすることにより、陳列場所２０を撮像する作業に遅延が生じることを避けつつ、作業の手戻りの発生を防ぐことができる。よって、物品の管理作業全体の効率が高くなる。

以下、情報処理システム４０００についてより詳細に説明する。

＜機能構成の例＞
図２は、情報処理システム４０００の機能構成を例示する図である。情報処理システム４０００は、第１情報処理装置２０００及び第２情報処理装置３０００を有する。第１情報処理装置２０００は、検出部２０２０、判定部２０４０、及び出力部２０６０を有する。検出部２０２０は、撮像画像１２から特徴点を検出する。判定部２０４０は、検出された特徴点が所定の条件を満たすか否かを判定する。出力部２０６０は、検出された特徴点が所定の条件を満たさない場合、通知４０を出力する。一方で、出力部２０６０は、検出された特徴点が所定の条件を満たす場合、撮像画像１２を出力する。

第２情報処理装置３０００は、第１情報処理装置２０００によって出力された撮像画像１２を取得する。そして、第２情報処理装置３０００は、撮像画像１２から検出される特徴点を用いてオブジェクト認識処理を行うことで、撮像画像１２に含まれる物品の認識を行う。

＜第１情報処理装置２０００のハードウエア構成の例＞
第１情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第１情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、第１情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、タブレット端末、スマートフォン、又なヘッドマウントディスプレイなどの可搬型の計算機である。計算機１０００は、第１情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などで実現されるプロセッサである。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース１１００には、カメラ１０が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は第１情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

＜カメラ１０について＞
カメラ１０は、撮像を行い、撮像結果を表す画像を生成することができる任意の撮像装置である。例えば第１情報処理装置２０００がスマートフォン等の可搬型の端末で実現される場合、カメラ１０には、第１情報処理装置２０００と一体として設けられるカメラを利用することができる。ただし、カメラ１０は、第１情報処理装置２０００と別体として設けられてもよい。

＜第２情報処理装置３０００のハードウエア構成の例＞
第２情報処理装置３０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第２情報処理装置３０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、第２情報処理装置３０００を実現する計算機５０００の構成を例示する図である。計算機５０００は種々の計算機である。例えば計算機５０００は、Personal Computer（PC）やサーバマシンなどである。計算機５０００は、第２情報処理装置３０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機５０００は、バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０を有する。バス５０２０、プロセッサ５０４０、メモリ５０６０、ストレージデバイス５０８０、入出力インタフェース５１００、及びネットワークインタフェース５１２０が有する機能はそれぞれ、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が有する機能と同様である。

ただし、ストレージデバイス５０８０には、第２情報処理装置３０００の各機能を実現するためのプログラムモジュールが記憶される。プロセッサ５０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

＜処理の流れ＞
図５は、実施形態１の情報処理システム４０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。検出部２０２０は、撮像画像１２から特徴点を検出する（Ｓ１０４）。出力部２０６０は、撮像画像１２から検出された特徴点の数が所定の条件を満たすか否かを判定する（Ｓ１０６）。所定の条件が満たされない場合（Ｓ１０６：ＮＯ）、出力部２０６０は通知４０を出力する（Ｓ１０８）。一方、所定の条件が満たされる場合（Ｓ１０６：ＹＥＳ）、出力部２０６０は、撮像画像１２を出力する（Ｓ１１０）。

第２情報処理装置３０００は、出力部２０６０によって出力された撮像画像１２を取得する（Ｓ１１２）。第２情報処理装置３０００は、撮像画像１２から検出される特徴点を用いて、撮像画像１２に含まれる物品を認識する（Ｓ１１４）。

第１情報処理装置２０００が図５に示す一連の処理を実行する契機は様々である。例えば、カメラ１０が撮像画像１２を生成したことに応じて検出部２０２０がこの撮像画像１２を取得することにより、上記一連の処理が実行される。その他にも例えば、撮像画像１２を指定する入力操作を受け付け、指定された撮像画像１２について図５に示す一連の処理を実行してもよい。この場合、第１情報処理装置２０００は、ユーザから入力操作を受け付けたことを契機として、図５に示す一連の処理を実行する。

第２情報処理装置３０００が図５に示す一連の処理を実行する契機は様々である。例えば第２情報処理装置３０００は、第１情報処理装置２０００によって撮像画像１２が出力されたことに応じ、その撮像画像１２を対象として、上記図５に示す処理を実行する。その他にも例えば、第２情報処理装置３０００は、所定のタイミングで、１つ以上の撮像画像１２を対象に、上記一連の処理を実行してもよい。この場合、例えば、第１情報処理装置２０００から出力される１つ以上の撮像画像１２を記憶装置に記憶させておき、第２情報処理装置３０００がこの記憶装置から撮像画像１２を読み出すようにする。すなわち、記憶装置に記憶されている１つ以上の撮像画像１２が、所定のタイミングでバッチ処理される。

＜撮像画像１２の取得：Ｓ１０２＞
検出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。例えば検出部２０２０は、撮像画像１２が記憶されている記憶装置から撮像画像１２を取得する。撮像画像１２が記憶されている記憶装置は、検出部２０２０の内部に設けられていてもよいし、外部に設けられていてもよい。その他にも例えば、検出部２０２０は、ユーザによる入力操作によって入力される撮像画像１２を取得する。その他にも例えば、検出部２０２０は、他の装置によって送信される撮像画像１２を受信することで、撮像画像１２を取得する。

ここで、検出部２０２０が取得する撮像画像１２は、カメラ１０によって生成された撮像画像そのものであってもよいし、カメラ１０によって生成された撮像画像に何らかの処理が施されたものであってもよい。後者の場合、例えば、カメラ１０によって生成された撮像画像に対してトリミングを行って不要な画像領域を取り除いたり、カメラ１０によって生成された撮像画像に対して手ぶれ補正や色調補正を施したりすることで、撮像画像１２が生成される。

＜特徴点の検出：Ｓ１０４＞
検出部２０２０は、撮像画像１２から特徴点を検出する（Ｓ１０４）。ここで、画像からエッジ、コーナー、又はブロブなどの特徴点を検出する技術には、既存の技術を利用することができる。

＜判定部２０４０による判定：Ｓ１０６＞
判定部２０４０は、撮像画像１２から検出された特徴点の数が所定の条件を満たすか否かを判定する（Ｓ１０６）。ここで、概念的には、所定の条件は、撮像画像１２が物品の認識に利用することに適しているものである場合に満たされる条件である。以下、そのような条件のバリエーションについて例示する。

＜＜撮像画像１２全体における特徴点の数＞＞
例えば所定の条件は、「撮像画像１２全体から検出される特徴点の数が基準値以上である」という条件である。この場合、検出部２０２０は、撮像画像１２全体について、特徴点を検出する処理を行う。そして、判定部２０４０は、撮像画像１２全体から検出された特徴点の数が基準値以上であるか否かを判定する。検出された特徴点の数が基準値以上であれば所定の条件が満たされていることになり、検出された特徴点の数が基準値未満であれば所定の条件が満たされていないことになる。

＜＜撮像画像１２の特定の領域から検出される特徴点の数＞＞
例えば所定の条件は、「撮像画像１２に含まれる部分領域から検出される特徴点の数が基準値以上である」という条件である。検出部２０２０は、撮像画像１２内の部分領域について、特徴点を検出する処理を行う。そして判定部２０４０は、部分領域から検出された特徴点の数が基準値以上であるか否かを判定する。

特徴点検出の対象とする部分領域は、ユーザによって指定されてもよいし、予め定められていてもよい。以下、それぞれのケースについて説明する。

＜＜＜部分領域をユーザが指定するケース＞＞＞
例えば第１情報処理装置２０００は、第１情報処理装置２０００に設けられているディスプレイ装置に撮像画像１２を表示させ、このディスプレイ装置に表示された撮像画像１２に対して部分領域を指定する入力を受け付ける。指定できる部分領域は１つであってもよいし、複数であってもよい。

図６は、部分領域を指定する入力を受け付ける様子を例示する図である。図６において、第１情報処理装置２０００に設けられているディスプレイ装置３０には、タッチパネルが備えられている。

図６の上段の例において、ユーザは、ディスプレイ装置３０をタップしている。第１情報処理装置２０００は、タップされた位置を中心とする所定サイズの領域を、部分領域１４として定義する。一方、図６の下段の例において、ユーザは、ディスプレイ装置３０をドラッグしている。例えば、第１情報処理装置２０００は、ドラッグ位置の始点から終点まで所定サイズの領域を移動させた場合にその領域が通過する範囲全体を、部分領域１４として定義する。

ここで、部分領域１４は、物品を含む領域であることが好ましい。撮像画像１２から物品を認識できるためには、物品を含む領域において十分な数の特徴点が検出されることが必要であるため、特徴点の数についての検証は、物品を含む領域を対象として行われることが好適である。

そこでユーザは、入力操作において物品を含む領域を指定することが好適である。例えば図６の上段の例では、ユーザは、物品の位置をタップすることで、物品が含まれる領域を指定している。また、図６の下段の例では、ユーザは、商品棚のうち、物品が陳列される領域をドラッグすることで、物品が含まれる領域を指定している。

＜＜＜部分領域が予め決められているケース＞＞＞
検出部２０２０は、予め定められている部分領域１４から特徴点を検出する。部分領域１４を定義する情報は、検出部２０２０からアクセス可能な記憶装置に予め記憶させておく。

部分領域１４は、任意の領域とすることができる。図７は、部分領域が予め定められているケースを例示する図である。左側の例では、部分領域１４が１つあり、撮像画像１２の中央に位置する。中央の例では、部分領域１４が３つあり、それぞれ撮像画像１２の左上、中央、及び右下に位置する。右側の例では、部分領域１４が３つあり、それぞれ撮像画像１２において物品が陳列されると推測される領域である。

ここで、撮像画像１２において物品が陳列される領域を推測する方法について説明する。前提として、第１情報処理装置２０００のユーザは、横方向に位置をずらしながら陳列場所２０を繰り返し撮像することで、陳列場所２０に陳列されている物品を撮像していくとする。図８は、横方向に位置をずらしながら行う撮像を概念的に例示する図である。図８では、横方向に長い陳列場所２０が、横方向に位置を５回ずらして撮像される。なお、撮像されない物品がないように、撮像範囲を一部重複させている。

このように横方向に位置をずらしながら撮像する場合、２回目以降に生成される撮像画像１２において物品が陳列される高さ方向の位置は、１回目の撮像画像１２と同じであると推測できる。そこで、第１情報処理装置２０００は、１回目の撮像画像１２について、ユーザから、物品が陳列されている領域を指定する入力を受け付ける。例えばこの入力は、図６の下段に示した入力と同様である。そして、第１情報処理装置２０００は、以降に生成される撮像画像１２については自動的に、上記指定された領域と同じ領域を部分領域１４として設定する。

＜＜物品の種類ごとの基準値＞＞
撮像画像１２全体や部分領域１４について定められる基準値は、陳列される物品の種類に応じて異なっていてもよい。形状や模様が複雑な物品ほど、物品の認識に必要となる基準値が多くなる傾向があるためである。例えば、物品の種類と基準値とを対応づけた情報を、予め記憶装置に記憶させておく。情報処理装置２０００は、陳列場所２０に陳列されている物品の種類を指定する入力を受け付け、指定された種類に対応する基準値を記憶装置から取得し、この基準値を利用する。

＜＜複数存在する部分領域１４の基準値について＞＞
部分領域１４が複数存在する場合、基準値は、各部分領域１４から検出される特徴点の合計数について定められていてもよいし、個々の部分領域１４から検出される特徴点の数について定められていてもよい。前者の場合、所定の条件は、「各部分領域１４から検出される特徴点の合計数が基準値以上である」という条件となる。例えば判定部２０４０は、各部分領域１４に含まれる画素を合計した値に単位基準値を乗じることで得られる値を基準値とする。

各部分領域１４から検出される特徴点の合計数について基準値を定めることには、検出される特徴点の数が少ない部分領域１４があったとしても、他の部分領域１４から十分な数の特徴点が検出されれば、所定の条件が満たされることになるという利点がある。例えば図７の真ん中の例のように、予め定められた部分領域１４から特徴点を検出する場合、複数の部分領域１４の中に、物品が含まれない領域（例えば商品棚の枠）が存在しうる。このように物品が含まれない領域は、物品が含まれる領域と比較し、検出される特徴点の数が少ない蓋然性が高い。しかしながら、物品が含まれる領域から十分な数の特徴点が得られれば物品の認識には支障がないため、このように物品が含まれない領域から検出される特徴点の数は少なくてもよい。そこで、部分領域１４から検出される特徴点の合計数について基準値を定めておくことにより、物品を内部に含まない部分領域１４があったとしても、他の部分領域１４から十分な数の特徴点が検出されれば、所定の条件が満たされるようにしておく。

個々の部分領域１４から検出される特徴点の数について基準値を定める場合、例えば判定部２０４０は、特徴点の数が基準値未満である部分領域１４が１つでも存在すれば、通知４０を出力する。すなわち、「全ての部分領域１４において、特徴点の数が基準値以上である」を所定の条件とする。例えばユーザが物品の位置を複数指定することで複数の部分領域１４が定められた場合、これらの部分領域１４はいずれも物品の認識に利用できる必要がある。そこで、全ての部分領域１４について十分な数の特徴点が検出されるようにする。

ただし、特徴点の数が基準値以上となる部分領域１４の数にも、基準値を設けるようにしてもよい。具体的には、判定部２０４０は、特徴点の数が基準値以上である部分領域１４の数が所定数未満である場合に、通知４０を出力する。すなわち、「所定数以上の部分領域１４において、特徴点の数が基準値以上である」を所定の条件とうる。

なお、個々の部分領域１４から検出される特徴点の数について基準値を定める場合、例えば判定部２０４０は、各部分領域１４の基準値を、その部分領域１４に含まれる画素の数に単位基準値を乗じることで得られる値とする。

＜＜複数の撮像画像１２の一部を重複させるケースについて＞＞
図８に示したように、第１情報処理装置２０００のユーザが、横方向に位置をずらしながら陳列場所２０を繰り返し撮像することで、陳列場所２０に陳列されている物品を撮像していくケースがある。そしてこの場合、図８に示すように、隣接する撮像範囲を一部重複させることが好適である。

ここで、隣接する撮像範囲を一部重複させると、或る撮像画像１２とその次に生成される撮像画像１２とにおいて、一部の領域が、略同一の場所を撮像した領域となる。以下、この領域を、共通領域と呼ぶ。これら２つの撮像画像１２がいずれもブレなどがない適切な画像であれば、共通領域から検出される特徴点の数の差は小さいと考えられる。

そこで、このように横方向に位置をずらしながら撮像を行うという方法で第１情報処理装置２０００を運用する場合、第１情報処理装置２０００は、部分領域１４の一つとして前述した共通領域を設定してもよい。ただし、共通領域を部分領域１４として設定できるのは、２回目以降の撮像で生成される撮像画像１２である。

この場合、共通領域に対応する部分領域１４から検出される特徴点の数については、基準値を、前の撮像画像１２の共通領域から検出された特徴点の数に基づいて設定してもよい。例えば、前の撮像画像１２の共通領域から検出された特徴点の数 N に所定の係数αを乗じたαN を基準値とする。α＝１の場合、前の撮像画像１２の共通領域から検出された特徴点の数を基準値とすることになる。一方、α＜１の場合、前の撮像画像１２の共通領域から検出された特徴点の数よりも小さい値を基準値とすることになる。αを１に近い１未満の値（例えば、0.9など）に設定することにより、特徴点の数の多少の減少を許容することができる。

＜通知４０の出力：Ｓ１０８＞
出力部２０６０は、撮像画像１２から検出される特徴点の数が所定の条件を満たさない場合に（Ｓ１０６：ＮＯ）、通知４０を出力する（Ｓ１０８）。通知４０は、撮像画像１２が物品認識に適していないものであることを第１情報処理装置２０００のユーザに把握させるための通知である。

例えば前述したように、通知４０は、撮像のやり直しをユーザに促す通知である。この通知により、ユーザは、撮像のやり直し（すなわち、撮像画像１２の生成のやり直し）をすべきことを把握することができる。ユーザは、第１情報処理装置２０００を操作してカメラ１０による撮像を再度行う。第１情報処理装置２０００は、この結果として生成される撮像画像を新たに撮像画像１２として扱って、一連の処理を実行する。

図９は、撮像のやり直しを促す通知を例示する図である。図９では、第１情報処理装置２０００に設けられているディスプレイ装置３０に、撮像のやり直しを促す通知４０が表示されている。ユーザによって通知４０に含まれる「カメラ起動」というボタンを押されると、第１情報処理装置２０００は、カメラ１０による撮像を行える状態に切り替わる。

その他にも例えば、所定の通知は、撮像画像１２が適切なものであるか否かをチェックするように促す通知である。図１０は、撮像画像１２のチェックを促す通知である。問題があると判断した場合、ユーザは、「カメラ起動」というボタンを押すことで撮像をやり直す。一方、第１情報処理装置２０００のユーザは、撮像画像１２を目で見て確認し、問題がないと判断したら「問題なし」というボタンを押す。この場合、出力部２０６０は、撮像画像１２の出力を行う。

撮像画像１２が適切なものであるか否かをチェックするように促す通知を利用する形態には、例えば次のような利点がある。まず、複数設定されている部分領域１４の中に、物品が含まれていない部分領域１４があるとする。この場合、その部分領域１４から検出される特徴点の数は少なくなるため、特徴点の数が所定の条件を満たさない可能性がある。しかしながらこの場合、物品が含まれる他の部分領域１４から検出される特徴点の数が十分多ければ、撮像画像１２は問題なく物品認識に利用できる蓋然性が高いと考えられる。

そこで、撮像画像１２が適切なものであるか否かをチェックするように促す通知を出力するようにすれば、ユーザが各部分領域１４を確認して、上述したように撮像画像１２が問題なく物品認識に利用できるものであるかどうかを確認することができる。そして、撮像画像１２が問題なく物品認識に利用できるならば「問題なし」ボタンを押すようにすることで、撮像のやり直しを避けることができる。

ここで、判定部２０４０が部分領域１４について判定を行った場合、出力部２０６０は、特徴点の数が基準値未満である部分領域１４を強調表示することが好適である。図１１は、特徴点の数が基準値未満である部分領域１４が強調表示される様子を例示する図である。

図１１の上段では、枠５０により、特徴点の数が基準値未満である部分領域１４が強調表示されている。また、図１１の下段では、特徴点の数が基準値未満である部分領域１４を拡大して表示（符号６０）することにより、この部分領域１４を強調表示している。なお、実際には、部分領域１４を表す点線は表示されなくてもよい。

強調表示の方法は、上述した方法に限定されない。例えば、マークを付したり色を変えたりするといった様々な方法を採用することができる。

＜撮像画像１２の出力：Ｓ１１０＞
出力部２０６０は、撮像画像１２から検出される特徴点の数が所定の条件を満たす場合に（Ｓ１０６：ＹＥＳ）、撮像画像１２を出力する（Ｓ１１０）。ここで出力される撮像画像１２は第２情報処理装置３０００によって利用されるため、撮像画像１２は、第２情報処理装置３０００が利用可能な態様で出力される必要がある。

例えば出力部２０６０は、第２情報処理装置３０００からアクセス可能な所定の記憶装置（例えば、第１情報処理装置２０００と第２情報処理装置３０００の双方と通信可能に接続されている NAS（Network Attached Storage））に、撮像画像１２を記憶させる。その他にも例えば、出力部２０６０は、第２情報処理装置３０００に対して撮像画像１２を送信してもよい。

＜第２情報処理装置３０００による撮像画像１２の取得：Ｓ１０８＞
第２情報処理装置３０００は、出力部２０６０によって出力された撮像画像１２を取得する（Ｓ１０８）。例えば出力部２０６０が撮像画像１２を記憶装置に記憶させる場合、第２情報処理装置３０００は、この記憶装置から撮像画像１２を読み出すことで、撮像画像１２を取得する。その他にも例えば、第１情報処理装置２０００が第２情報処理装置３０００に対して撮像画像１２を送信する場合、第２情報処理装置３０００は、この撮像画像１２を受信することで、撮像画像１２を取得する。

＜物品の認識：Ｓ１１０＞
第２情報処理装置３０００は、撮像画像１２から検出された特徴点を用いて、物品の認識を行う（Ｓ１１０）。特徴点を用いたオブジェクト認識には、既存の技術を利用することができる。

第２情報処理装置３０００は、検出部２０２０によって撮像画像１２から検出された特徴点を物品の認識に利用してもよい。この場合、出力部２０６０は、撮像画像１２に対応づけて、撮像画像１２から検出された特徴点を表す情報を出力する。こうすることで、撮像画像１２から特徴点を検出する処理を重複して実行することがなくなるため、情報処理システム４０００全体の処理を効率化できる。ただし、検出部２０２０によって特徴点が検出された領域が撮像画像１２の一部である場合、第２情報処理装置３０００は、少なくとも残りの領域については、特徴点の検出を行う。

第２情報処理装置３０００は、検出部２０２０によって撮像画像１２から検出された特徴点を用いなくてもよい。この場合、第２情報処理装置３０００は、撮像画像１２から特徴点を検出する処理を行う。第２情報処理装置３０００でも特徴点の検出を行う場合、第１情報処理装置２０００が特徴点検出に利用するアルゴリズムと、第２情報処理装置３０００が特徴点検出に利用するアルゴリズムとは、互いに同一であることが好適である。これらのアルゴリズムを異なるものにすると、第１情報処理装置２０００で検出された特徴点が第２情報処理装置３０００において検出されなくなり、第２情報処理装置３０００において特徴点の数が不足する可能性があるためである。

ただし、第２情報処理装置３０００で検出される特徴点の数が第１情報処理装置２０００で検出される特徴点の数より多くなればよいため、そのように第１情報処理装置２０００と第２情報処理装置３０００のそれぞれで利用する特徴点検出のアルゴリズムを決めてもよい。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

例えば、上述した情報処理システム４０００は第１情報処理装置２０００と第２情報処理装置３０００を有しているが、第１情報処理装置２０００が第２情報処理装置３０００の役割も担うようにしてもよい。すなわち、撮像画像１２から物品を認識する処理を第１情報処理装置２０００が行うようにしてもよい。この場合、情報処理システム４０００は第１情報処理装置２０００のみを有すればよく、第２情報処理装置３０００を有する必要はない。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力部と、を有する情報処理装置。
２． 前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、１．に記載の情報処理装置。
３． 前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
前記所定の条件は、
複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、１．に記載の情報処理装置。
４． 前記撮像画像に含まれる物品の種類の入力を受け付け、
前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、２．又は３．に記載の情報処理装置。
５． 前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、１．乃至５．いずれか一つに記載の情報処理装置。
７． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、６．に記載の情報処理装置。
８． 前記出力部は、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、１．乃至７．いずれか一つに記載の情報処理装置。

９． 第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
前記第１情報処理装置は、
物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出部と、
前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定部と、
前記検出された特徴点の数が所定の条件を満たさない場合には所定の通知を出力し、前記検出された特徴点が所定の条件を満たさない場合には前記撮像画像を出力する出力部と、を有し、
前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う、情報処理システム。
１０． 前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、９．に記載の情報処理システム。
１１． 前記検出部は、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
前記所定の条件は、
複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、９．に記載の情報処理システム。
１２． 前記撮像画像に含まれる物品の種類の入力を受け付け、
前記判定部は、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、１０．又は１１．に記載の情報処理システム。
１３． 前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、９．乃至１２．いずれか一つに記載の情報処理システム。
１４． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、９．乃至１３．いずれか一つに記載の情報処理システム。
１５． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、１４．に記載の情報処理システム。

１６． コンピュータによって実行される制御方法であって、
物品の陳列場所を撮像することで生成された撮像画像から特徴点を検出する検出ステップと、
前記検出された特徴点の数が所定の条件を満たすか否かを判定する判定ステップと、
前記検出された特徴点の数が所定の条件を満たさない場合、所定の通知を出力する出力ステップと、を有する制御方法。
１７． 前記所定の条件は、前記撮像画像全体から検出された特徴点の数が基準値以上であることである、１６．に記載の制御方法。
１８． 前記検出ステップにおいて、前記撮像画像に含まれる１つ以上の各部分領域から特徴点を検出し、
前記所定の条件は、
複数の部分領域それぞれから検出された特徴点の数の合計が基準値以上であることであること、
複数の部分領域それぞれから検出された特徴点の数がいずれも基準値以上であること、又は、
複数の部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも基準値以上であることである、１６．に記載の制御方法。
１９． 前記撮像画像に含まれる物品の種類の入力を受け付け、
前記判定ステップにおいて、物品の種類に対応づけて前記特徴点の数の基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記特徴点の数の基準値を取得し、前記取得した基準値を用いて、前記検出された特徴点の数が前記所定の条件を満たすか否かを判定する、１７．又は１８．に記載の制御方法。
２０． 前記所定の通知は、前記陳列場所を再度撮像することを促す通知を含む、１６．乃至１９．いずれか一つに記載の制御方法。
２１． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を表す表示を含む、１６．乃至２０．いずれか一つに記載の制御方法。
２２． 前記所定の通知は、検出された特徴点の数が基準値未満である部分領域を拡大した表示を含む、２１．に記載の制御方法。
２３． 前記出力ステップにおいて、前記検出された特徴点の数が所定の条件を満たす場合に前記撮像画像を出力し、
前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、１６．乃至２２．いずれか一つに記載の制御方法。

２４． １６．乃至２３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

１０ カメラ
１２ 撮像画像
１４ 部分領域
２０ 陳列場所
３０ ディスプレイ装置
４０ 通知
５０ 枠
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 第１情報処理装置
２０００ 情報処理装置
２０２０ 検出部
２０４０ 判定部
２０６０ 出力部
３０００ 第２情報処理装置
４０００ 情報処理システム
５０００ 計算機
５０２０ バス
５０４０ プロセッサ
５０６０ メモリ
５０８０ ストレージデバイス
５１００ 入出力インタフェース
５１２０ ネットワークインタフェース

本発明の情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、３）所定の条件が満たされていない場合、所定の通知を出力する出力部と、を有する。
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域である。

本発明の情報処理システムは、第１情報処理装置と第２情報処理装置を有する。
第１情報処理装置は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、３）所定の条件が満たされていない場合には所定の通知を出力し、所定の条件が満たされている場合には撮像画像を出力する出力部と、を有する。
第２情報処理装置は、第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行う。
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域である。

本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出ステップと、２）検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定ステップと、３）所定の条件が満たされていない場合、所定の通知を出力する出力ステップと、を有する。
前記部分領域は、ユーザによって指定された領域または予め定められた領域であり、前記ユーザによって指定された領域は、ディスプレイ装置へのタップまたはドラッグにより範囲を指定された領域である。

Claims (8)

1. 物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、
   前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、
   前記所定の条件が満たされていない場合、所定の通知を出力する出力部と、を有し、
   前記検出部は、前記撮像画像に含まれる１つ以上の各前記部分領域から特徴点を検出し、
   前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである、情報処理装置。
2. 物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、
   前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、
   前記所定の条件が満たされていない場合、所定の通知を出力する出力部と、を有し、
   前記撮像画像に含まれる物品の種類の入力を受け付け、
   前記判定部は、物品の種類に対応づけて前記基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記基準値を取得し、取得した前記基準値を用いて、前記所定の条件が満たされているか否かを判定する、情報処理装置。
3. 前記出力部は、前記所定の条件が満たされている場合に前記撮像画像を出力し、
   前記出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識が行われる、請求項１又は２に記載の情報処理装置。
4. 第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
   前記第１情報処理装置は、
   物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、
   前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、
   前記所定の条件が満たされていない場合には所定の通知を出力し、前記所定の条件が満たされている場合には前記撮像画像を出力する出力部と、を有し、
   前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行い、
   前記検出部は、前記撮像画像に含まれる１つ以上の各前記部分領域から特徴点を検出し、
   前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである、情報処理システム。
5. 第１情報処理装置と第２情報処理装置を有する情報処理システムであって、
   前記第１情報処理装置は、
   物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出部と、
   前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定部と、
   前記所定の条件が満たされていない場合には所定の通知を出力し、前記所定の条件が満たされている場合には前記撮像画像を出力する出力部と、を有し、
   前記第２情報処理装置は、前記第１情報処理装置によって出力された撮像画像から検出される特徴点を用いて、その撮像画像に含まれる物品の認識を行い、
   前記第１情報処理装置は、さらに、前記撮像画像に含まれる物品の種類の入力を受け付け、
   前記判定部は、物品の種類に対応づけて前記基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記基準値を取得し、取得した前記基準値を用いて、前記所定の条件が満たされているか否かを判定する、情報処理システム。
6. コンピュータによって実行される制御方法であって、
   物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出ステップと、
   前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定ステップと、
   前記所定の条件が満たされている場合、所定の通知を出力する出力ステップと、を有し、
   前記検出ステップでは、前記撮像画像に含まれる１つ以上の各前記部分領域から特徴点を検出し、
   前記所定の条件は、（Ａ）複数の前記部分領域それぞれから検出された特徴点の数の合計が前記基準値以上であること、（Ｂ）複数の前記部分領域それぞれから検出された特徴点の数がいずれも前記基準値以上であること、（Ｃ）複数の前記部分領域のうち、所定数以上の部分領域において検出された特徴点の数がいずれも前記基準値以上であること、のいずれかである、制御方法。
7. コンピュータによって実行される制御方法であって、
   物品の陳列場所を撮像することで生成された撮像画像に含まれる領域であって、かつ、物品を含む領域である部分領域から、特徴点を検出する検出ステップと、
   前記検出された特徴点の数と、前記特徴点の数の基準値との関係が、所定の条件を満たすか否かを判定する判定ステップと、
   前記所定の条件が満たされている場合、所定の通知を出力する出力ステップと、
   前記撮像画像に含まれる物品の種類の入力を受け付けるステップと、を有し、
   前記判定ステップでは、物品の種類に対応づけて前記基準値を記憶している記憶装置から、前記入力された物品の種類に対応する前記基準値を取得し、取得した前記基準値を用いて、前記所定の条件が満たされているか否かを判定する、制御方法。
8. 請求項６又は７に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images