JP2017046324A - ユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラム - Google Patents

Abstract

【課題】ユーザが任意に設定した地点に、対象物が移動したことを通知することにより、ユーザの利便性を向上させたユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラムを提供する。【解決手段】カメラ２００で撮影された動作対象の動きについて、ユーザに通知するユーザ端末１００は、ユーザの画面操作により、動作対象の特定を受け付け、特定された動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行い、ユーザの画面操作により、所定の境界線の入力を受け付け、物体認識した動作対象が、境界線に接触した場合に、通知を行う。【選択図】図１

Description

本発明は、カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラムに関する。

近年、カメラ等の撮影装置で撮影された動画像や静止画像等の画像を画像解析し、画像中の物体を認識することが行われている。

例えば、特許文献１のように、対象物が有する発光部の発光に基づいて、対象物を認識することにより、対象物を識別することが開示されている。

特開２０１１−７６３５７号公報

特許文献１の構成では、対象物のＩＤ情報と、発光により認識する対象物の画像とを関連付けることにより、画像上での対象物の位置の認識を行っているが、対象物を発光させることや、ＩＤ情報の取得に必要があり、利便性が低かった。

また、特許文献１の構成では、画像中における移動体端末の位置を認識することができるものの、ユーザが任意に設定した位置に来た場合に、通知をするものでもなかったため、利便性が低かった。

そこで、本発明は、ユーザが任意に設定した地点に、対象物が移動したことを通知する点に着目した。

本発明の目的は、ユーザが任意に設定した地点に、対象物が移動したことを通知することにより、ユーザの利便性を向上させたユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末であって、
前記ユーザの画面操作により、前記動作対象の特定を受け付ける動作対象受付手段と、
特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行う物体認識手段と、
前記ユーザの画面操作により、所定の境界線の入力を受け付ける境界線受付手段と、
物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行う通知手段と、
を備えることを特徴とするユーザ端末を提供する。

第１の特徴に係る発明によれば、カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末は、前記ユーザの画面操作により、前記動作対象の特定を受け付け、特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行い、前記ユーザの画面操作により、所定の境界線の入力を受け付け、物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行う。

ここで、第１の特徴に係る発明は、ユーザ端末のカテゴリであるが、通知方法、ユーザ端末用プログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、受け付けた前記境界線を変更する境界線変更手段と、
をさらに備え、
前記通知手段は、物体認識した前記動作対象が、変更した前記境界線に接触した場合に、通知を行う、ことを特徴とする第１の特徴に係る発明であるユーザ端末を提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるユーザ端末は、受け付けた前記境界線を変更し、物体認識した前記動作対象が、変更した前記境界線に接触した場合に、通知を行う。

第３の特徴に係る発明は、前記境界線受付手段は、所定の境界線の入力を複数箇所受け付け、
前記通知手段は、物体認識した前記動作対象が、受け付けた複数箇所の前記境界線のいずれか又は複数箇所に接触した場合に、通知を行う、ことを特徴とする第１又は２の特徴に係る発明であるユーザ端末を提供する。

第３の特徴に係る発明によれば、第１又は第２の特徴に係る発明であるユーザ端末は、所定の境界線の入力を複数箇所受け付け、物体認識した前記動作対象が、受け付けた複数箇所の前記境界線のいずれか又は複数箇所に接触した場合に、通知を行う、ことを特徴とする。

第４の特徴に係る発明は、カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末と通信可能に接続された物体認識サーバであって、
物体の識別子と、当該物体の特徴量とを対応付けて記憶する物体認識データベースと、
前記ユーザ端末が特定した動作対象物に関する情報を受信する動作対象物情報受信手段と、
前記受信した情報に基づいて、前記物体認識サーバを参照し、特徴量を抽出することにより、物体の識別子を取得し、動作対象の物体認識を行う物体認識手段と、
前記物体認識を行った物体の識別子を、前記ユーザ端末に送信する識別子送信手段と、
を備えることを特徴とする物体認識サーバを提供する。

第４の特徴に係る発明によれば、カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末と通信可能に接続された物体認識サーバは、物体の識別子と、当該物体の特徴量とを対応付けて記憶する物体認識データベースを有し、前記ユーザ端末が特定した動作対象物に関する情報を受信し、前記受信した情報に基づいて、前記物体認識サーバを参照し、特徴量を抽出することにより、物体の識別子を取得し、動作対象の物体認識を行い、前記物体認識を行った物体の識別子を、前記ユーザ端末に送信する。

第５の特徴に係る発明は、カメラで撮影された動作対象の動きについて、ユーザに通知する通知方法であって、
前記ユーザの画面操作により、前記動作対象の特定を受け付けるステップと、
特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行うステップと、
前記ユーザの画面操作により、所定の境界線の入力を受け付けるステップと、
物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行うステップと、
を備えることを特徴とする通知方法を提供する。

第６の特徴に係る発明は、カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末に、
前記ユーザの画面操作により、前記動作対象の特定を受け付けるステップ、
特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行うステップ、
前記ユーザの画面操作により、所定の境界線の入力を受け付けるステップ、
物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行うステップ、
を実行させるためのユーザ端末用プログラムを提供する。

本発明によれば、ユーザが任意に設定した地点に、対象物が移動したことを通知することにより、ユーザの利便性を向上させたユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラムを提供することが可能となる。

図１は、第１の実施形態における物体認識システム１の概要を示す図である。 図２は、第２の実施形態における物体認識システム１の概要を示す図である。 図３は、第１の実施形態における物体認識システム１の全体構成図である。 図４は、第２の実施形態における物体認識システム１の全体構成図である。 図５は、第１の実施形態におけるユーザ端末１００、カメラ２００の機能ブロック図である。 図６は、第２の実施形態における物体認識サーバ１０、ユーザ端末１００、カメラ２００の機能ブロック図である。 図７は、第１の実施形態におけるユーザ端末１００、カメラ２００が実行する物体認識処理を示すフローチャートである。 図８は、第１の実施形態におけるユーザ端末１００が実行する変更処理を示すフローチャートである。 図９は、第２の実施形態における物体認識サーバ１０、ユーザ端末１００、カメラ２００が実行する物体認識処理を示すフローチャートである。 図１０は、第２の実施形態におけるユーザ端末１００が実行する変更処理を示すフローチャートである。 図１１は、ユーザ端末１００が表示する撮影画像を示す図である。 図１２は、ユーザ端末１００が表示する対象線１０３を示す図である。 図１３は、ユーザ端末１００又は物体認識サーバ１０が記憶する物体認識データベースを示す図である。 図１４は、ユーザ端末１００が表示する境界線１０４を示す図である。 図１５は、ユーザ端末１００が表示する動作対象１０２及び境界線１０４を示す図である。 図１６は、ユーザ端末１００が表示する通知１０５を示す図である。 図１７は、ユーザ端末１００が表示する動作対象変更通知１０６を示す図である。 図１８は、ユーザ端末１００が表示する境界線変更通知１０７を示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［物体認識システム１の概要］
図１は、本発明の好適な第１の実施形態である物体認識システム１の概要を説明するための図である。物体認識システム１は、ユーザ端末１００、物体認識データベース１０１及びカメラ２００から構成される。なお、第１の実施形態において、ユーザ端末１００は、物体認識データベース１０１を有する。

物体認識システム１において、ユーザ端末１００は、物体認識データベース１０１とＬＡＮやインターネット等の公衆回線網を通じて通信可能となっていても良いし、物体認識データベース１０１を自身に有していても良い。また、ユーザ端末１００は、カメラ２０とＬＡＮや公衆回線網を通じて通信可能となっている。

はじめに、ユーザ端末１００は、物体認識用アプリケーションを起動し、カメラ２００が撮影する動画像や静止画像等の画像を取得する（ステップＳ０１）。ユーザ端末１００は、取得した画像を自身に表示する。

次に、ユーザ端末１００は、表示した画像に含まれる認識させたい動作対象を指定する対象線を入力する（ステップＳ０２）。ステップＳ０２において、ユーザ端末１００は、ユーザがタップ操作することにより、対象線の入力を受け付ける。対象線とは、例えば、動作対象を円で囲った線や、直線で囲った線等の、動作対象を他と区別するための線を示す。なお、対象線は、線ではなく、点や矢印といった、動作対象を指定するための別の態様であっても良い。

ユーザ端末１００は、対象線で囲われた範囲を画像認識し、この対象線内の画像の特徴量を抽出し、抽出した特徴量に基づいて、物体認識データベース１０１を参照し、対象線で囲われた動作対象の物体認識を実行する（ステップＳ０３）。

次に、ユーザ端末１００は、表示した画像への境界線の入力を受け付ける（ステップＳ０４）。ステップＳ０４において、ユーザ端末１００は、ユーザがタップ操作することにより、境界線の入力を受け付ける。境界線とは、例えば、画像中の特定の領域と他の領域とを仕切るための直線や、曲線、円、破線等の線を示す。なお、境界線は、線ではなく、点や矢印といった、画像中の特定の領域を示すための別の態様であっても良い。

ユーザ端末１００は、カメラ２００が撮影する画像を定期的に取得し（ステップＳ０５）、ステップＳ０３において認識した動作対象が、ステップＳ０４において受け付けた境界線に接触したか否かを判断し、接触した場合に、通知を行う。

以上が、第１の実施形態における物体認識システム１の概要である。

図２は、本発明の好適な第２の実施形態である物体認識システム１の概要を説明するための図である。物体認識システム１は、物体認識サーバ１０、ユーザ端末１００、物体認識データベース１０１及びカメラ２００から構成される。なお、第２の実施形態において、物体認識サーバ１０は、物体認識データベース１０１を有する。

物体認識システム１において、ユーザ端末１００は、物体認識サーバ１０とＬＡＮやインターネット等の公衆回線網を通じて通信可能となっている。また、ユーザ端末１００は、カメラ２００とＬＡＮや公衆回線網を通じて通信可能となっている。

はじめに、ユーザ端末１００は、物体認識用アプリケーションを起動し、カメラ２００が撮影する動画像や静止画像等の画像を取得する（ステップＳ１０）。ユーザ端末１００は、取得した画像を自身に表示する。

次に、ユーザ端末１００は、表示した画像に含まれる認識させた動作対象を指定する対象線を入力する（ステップＳ１１）。ステップＳ１１において、ユーザ端末１００は、ユーザがタップ操作することにより、対象線の入力を受け付ける。対象線とは、例えば、動作対象を円で囲った線や、直線で囲った線等の、動作対象を他と区別するための線を示す。なお、対象線は、線ではなく、点や矢印といった、動作対象を指定するための別の態様であっても良い。

ユーザ端末１００は、対象線で囲われた範囲の画像の画像データを抽出し、この画像データを物体認識サーバ１０に送信する（ステップＳ１２）。物体認識サーバ１０は、この画像データの特徴量を抽出し、抽出した特徴量に基づいて、物体認識データベース１０１を参照し、この画像データに含まれる動作対象の物体認識を実行する。

物体認識サーバ１０は、物体認識を実行した動作対象の動作対象データをユーザ端末１００に送信する（ステップＳ１３）。ステップＳ１３において、物体認識サーバ１０は、動作対象データとして、物体認識した動作対象の識別子を送信する。

次に、ユーザ端末１００は、表示した画像への境界線の入力を受け付ける（ステップＳ１４）。ステップＳ１４において、ユーザ端末１００は、ユーザがタップ操作することにより、境界線の入力を受け付ける。境界線とは、例えば、画像中の特定の領域と他の領域とを仕切るための直線や、曲線、円、破線等の線を示す。なお、境界線は、線ではなく、点や矢印といった、画像中の特定の領域を示すための別の態様であっても良い。

ユーザ端末１００は、カメラ２００が撮影する画像を定期的に取得し（ステップＳ１５）、物体認識サーバ１０が認識した動作対象が、ステップＳ１４において受け付けた境界線に接触したか否かを判断し、接触した場合に、通知を行う。

以上が、第２の実施形態における物体認識システム１の概要である。

［第１の実施形態］
図３は、本発明の好適な第１の実施形態である物体認識システム１のシステム構成図である。物体認識システム１は、ユーザ端末１００、カメラ２００、公衆回線網３（インターネット網や第３世代、第４世代通信網）、物体認識データベース１０１から構成される。

ユーザ端末１００は、データ通信を行うことが可能な家庭用又は業務用の電化製品であって、携帯して使用されることが期待される電化製品である。例えば、携帯電話、携帯情報端末に加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の情報家電を含む。

カメラ２００は、ユーザ端末１００とデータ通信を行うことが可能な、ウェブカメラ等の動画像や静止画像等の画像を撮影可能な撮影装置である。カメラ２００は、撮影する画像をユーザ端末１００に送信する。

物体認識データベース１０１は、後述する物体の識別子と、その特徴量とを対応付けたデータベースである。本実施形態においては、ユーザ端末１００は、物体認識データベース１０１を有する。

［各機能の説明］
図５に基づいて、各装置の構成について説明する。

ユーザ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。

また、ユーザ端末１００は、後述する物体認識データベース１０１を記憶する記憶部１３０として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備え、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部と、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等に加え、時刻を取得する時計機能、位置情報取得デバイスや、高度、通信強度、傾き、加速度等を取得する各種センサを備える。

ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことで、通信部１２０と協働して、画像取得モジュール１５０、撮影画像受信モジュール１５１、物体認識データ取得モジュール１５２を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことで、記憶部１３０と協働して、データベース記憶モジュール１６０、動作対象記憶モジュール１６１、境界線記憶モジュール１６２を実現する。また、ユーザ端末１００において、制御部１１０が所定のプロプラムを読み込むことで、入出力部１４０と協働して、入力受付モジュール１７０、特徴量抽出モジュール１７１、通知生成モジュール１７２を実現する。

カメラ２００は、ユーザ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備える。

また、カメラ２００は、動画像や静止画像等の画像を撮影する撮影部２３０として、撮影素子やレンズ等を備える。

カメラ２００において、制御部２１０が所定のプログラムを読み込むことで、通信部２２０と協働して、画像取得要求受信モジュール２４０、画像送信モジュール２４１を実現する。また、カメラ２００において、制御部２１０が所定のプログラムを読み込むことで、撮影部２３０と協働して、撮影モジュール２５０を実現する。

［物体認識処理］
図７は、第１の実施形態におけるユーザ端末１００及びカメラ２００が実行する物体認識処理のフローチャートである。上述した各装置のモジュールが行う処理について、本処理に併せて説明する。

はじめに、ユーザ端末１００の入力受付モジュール１７０は、動画像や静止画像等の画像を取得する入力を受け付けたか否かを判断する（ステップＳ２０）。ステップＳ２０において、入力受付モジュール１７０は、ユーザが物体認識用アプリケーションを起動し、画像を取得する指示を入力したか否かを判断する。ステップＳ２０において、入力受付モジュール１７０は、画像を取得する指示の入力が行われていないと判断した場合（ステップＳ２０ ＮＯ）、入力を受け付けるまで、本処理を繰り返す。

一方、ステップＳ２０において、ユーザ端末１００の入力受付モジュール１７０は、画像を取得する指示の入力が行われたと判断した場合（ステップＳ２０ ＹＥＳ）、ユーザ端末１００の画像取得モジュール１５０は、カメラ２００に画像の取得要求である画像取得要求を送信する（ステップＳ２１）。ステップＳ２１において、ユーザ端末１００が送信する画像取得要求には、撮影地点、撮影時間、画像種別等の各種情報が含まれる。

カメラ２００の画像取得要求受信モジュール２４０は、ユーザ端末１００が送信した画像取得要求を受信する。カメラ２００の撮影モジュール２５０は、画像取得要求に含まれる撮影地点を撮影し、カメラ２００の撮影画像送信モジュール２４１は、撮影した画像を撮影画像データとしてユーザ端末１００に送信する（ステップＳ２２）。

ユーザ端末１００の撮影画像受信モジュール１５１は、カメラ２００が送信した撮影画像データを受信する。ユーザ端末１００の入力受付モジュール１７０は、受信した撮影画像データに基づいて、図１１に示す撮影画像を表示する（ステップＳ２３）。

ユーザ端末１００の入力受付モジュール１７０は、表示した撮影画像に含まれる認識させる動作対象１０２を指定する対象線１０３の入力が行われたか否かを判断する（ステップＳ２４）。ステップＳ２４において、ユーザ端末１００の入力受付モジュール１７０は、ユーザがタップ操作を実行することにより、対象線１０３の入力を受け付ける。対象線１０３とは、例えば、動作対象１０２を円で囲った線や、直線で囲った線等の認識する動作対象を他と区別するための線を示す。なお、対象線１０３は、線に限らず、点や矢印等の動作対象１０２を指定するための別の態様であっても良い。

ステップＳ２４において、ユーザ端末１００の入力受付モジュール１７０は、対象線１０３の入力が行われていないと判断した場合（ステップＳ２４ ＮＯ）、対象線１０３の入力を受け付けるまで本処理を繰り返す。一方、ステップＳ２４において、入力受付モジュール１７０は、図１２に示すように、対象線１０３の入力が行われたと判断した場合（ステップＳ２４ ＹＥＳ）、ユーザ端末１００の特徴量抽出モジュール１７１は、この対象線１０３で囲われた範囲を画像認識し、この対象線１０３内の動作対象１０２の特徴量を抽出する（ステップＳ２５）。

ユーザ端末１００の物体認識データ取得モジュール１５２は、ステップＳ２５において抽出した動作対象１０２の特徴量に基づいて、図１３に示す物体認識データベース１０１を参照し、対象線１０３で囲われた動作対象１０２の物体認識を実行する（ステップＳ２６）。

［物体認識データベース］
図１３は、ユーザ端末１００のデータベース記憶モジュール１６０が記憶する物体認識データベース１０１を示す図である。データベース記憶モジュール１６０は、動作対象１０２の識別子として、「犬」、「猫」、「人」等を記憶する。また、データベース記憶モジュール１６０は、各識別子の特徴量を記憶する。データベース記憶モジュール１６０は、動作対象１０２の識別子と、特徴量とを対応付けてデータベースとして記憶する。

ステップＳ２６において、ユーザ端末１００の物体認識データ取得モジュール１５２は、抽出した動作対象１０２の特徴量に基づいて、物体認識データベース１０１において、この特徴量に対応付けられた識別子を参照し、この識別子を取得することにより、物体認識を実行する。

ユーザ端末１００の動作対象記憶モジュール１６１は、取得した識別子を動作対象として記憶する（ステップＳ２７）。

次に、ユーザ端末１００の入力受付モジュール１７０は、表示した撮影画像に境界線１０４の入力が行われたか否かを判断する（ステップＳ２８）。ステップＳ２８において、ユーザ端末１００の入力受付モジュール１７０は、ユーザがタップ操作を実行することにより、境界線１０４の入力を受け付ける。境界線１０４とは、例えば、画像中の特定の領域と他の領域を仕切る直線や、曲線、円、破線等の仕切り線を示す。なお、境界線１０４は、線に限らず、点や矢印や面等の画像中の特定の領域を仕切るための別の態様であっても良い。

ステップＳ２８において、ユーザ端末１００の入力受付モジュール１７０は、境界線１０４の入力が行われていないと判断した場合（ステップＳ２８ ＮＯ）、境界線１０４の入力を受け付けるまで本処理を繰り返す。一方、ステップＳ２８において、入力受付モジュール１７０は、図１４に示すように、境界線１０４の入力を受け付けたと判断した場合（ステップＳ２８ ＹＥＳ）、入力を受け付けた境界線１０４を画像上に表示するとともに、境界線記憶モジュール１６２は、境界線１０４の位置を記憶する（ステップＳ２９）。ステップＳ２９において、境界線記憶モジュール１６２は、境界線１０４の位置を、自身の表示部に基づく位置や、取得したＧＰＳ情報に基づく位置や、その他の方法により記憶する。

ユーザ端末１００の画像取得モジュール１５０は、上述したステップＳ２１〜Ｓ２３と同様の処理を行うことにより、カメラ２００が撮影する撮影画像データを取得し、ユーザ端末１００の入力受付モジュール１７０は、取得した撮影画像を表示する（ステップＳ３０）。

ユーザ端末１００の入力受付モジュール１７０は、取得した撮影画像データに含まれる動作対象１０２が、ステップＳ２９で入力を受け付けた境界線１０４に接触したか否かを判断する（ステップＳ３１）。ステップＳ３１において、入力受付モジュール１７０は、表示する動作対象１０２が、境界線１０４の位置にあるか否かを判断することにより、動作対象１０２が境界線１０４と接触したか否かを判断する。ステップＳ３１において、入力受付モジュール１７０は、動作対象１０２が、境界線１０４に接触していないと判断した場合（ステップＳ３１ ＮＯ）、本処理を繰り返す。

一方、ステップＳ３１において、ユーザ端末１００の入力受付モジュール１７０は、図１５に示すように、動作対象１０２が、境界線１０４に接触したと判断した場合（ステップＳ３１ ＹＥＳ）、ユーザ端末１００の通知生成モジュール１７２は、動作対象１０２が、境界線１０４に接触したことを示す通知を生成する（ステップＳ３２）。

ユーザ端末１００の入力受付モジュール１７０は、ステップＳ３２において生成した通知を、図１６に示す通知１０５として表示する（ステップＳ３３）。なお、ステップＳ３２において、ユーザ端末１００は、生成した通知を他の端末等に送信し、他の端末が通知を表示しても良い。

なお、上述の実施形態において、ユーザ端末１００の入力受付モジュール１７０は、一つの対象線１０３の入力を受け付けているが、複数の対象線１０３の入力を受け付けても良い。また、入力受付モジュール１７０は、一つの境界線１０４の入力を受け付けているが、複数の境界線１０４の入力を受け付けても良い。この場合、動作対象１０２が複数の境界線１０４のいずれかに接触した場合に、通知を生成するようにしても良いし、全ての境界線１０４に接触した場合に、通知を生成するようにしても良い。

また、入力受付モジュール１７０は、連続する線として境界線１０４の入力を受け付けるだけでなく、断続する境界線１０４の入力を受け付け、境界線１０４が存在する箇所に動作対象１０２が接触した場合に、ユーザ端末１００の通知生成モジュール１７２が、通知を生成し、境界線１０４が存在しない箇所に動作対象１０２が接触した場合に、通知生成モジュール１７２は通知を生成しないようにしても良い。また、複数の対象線１０２で指定した各々の動作対象１０２のいずれかが境界線１０４に接触した場合に、通知を生成しても良いし、各々の動作対象の全てが境界線１０４に接触した場合に、通知を生成しても良い。

以上が、第１の実施形態における物体認識処理である。

［変更処理］
図８は、ユーザ端末１００が実行する変更処理のフローチャートである。上述した各モジュールが実行する処理について併せて説明する。本処理は、上述した物体認識処理におけるステップＳ２５以降の処理のいずれかのタイミングで実行されれば良い。

はじめに、ユーザ端末１００の入力受付モジュール１７０は、動作対象１０２の変更を行う入力を受け付けたか否かを判断する（ステップＳ４０）。ステップＳ４０において、入力受付モジュール１７０は、図１７に示す動作対象変更通知１０６の入力を受け付けたか否かを判断する。ステップＳ４０において、入力受付モジュール１７０は動作対象１０２の変更の入力を受け付けていないと判断した場合（ステップＳ４０ ＮＯ）、後述する境界線１０４の変更の入力を受け付けたか否かを判断する（ステップＳ４２）。

一方、ステップＳ４０において、ユーザ端末１００の入力受付モジュール１７０は、動作対象１０２の変更の入力を受け付けたと判断した場合（ステップＳ４０ ＹＥＳ）、カメラ２００から取得する撮影画像データに基づいて撮影画像を表示し、動作対象１０２の入力を再度受け付ける（ステップＳ４１）。ステップＳ４１において、ユーザ端末１００は、上述したステップＳ２５〜Ｓ２７の処理を再度実行する。また、ユーザ端末１００の動作対象記憶モジュール１６１は、以前に記憶した動作対象１０２に関する情報を削除する。なお、ステップＳ４１において、動作対象記憶モジュール１６１は、情報を削除するのではなく、今回新たに入力を受け付けた動作対象１０２の情報を追加して記憶しても良い。

ステップＳ４２において、ユーザ端末１００の入力受付モジュール１７０は、図１８に示す境界線変更通知１０７の入力を受け付けたか否かを判断する。ステップＳ４２において、入力受付モジュール１７０は、境界線１０４の変更の入力を受け付けていないと判断した場合（ステップＳ４２ ＮＯ）、本処理を終了する。

一方、ステップＳ４２において、ユーザ端末１００の入力受付モジュール１７０は、境界線１０４の変更の入力を受け付けたと判断した場合（ステップＳ４２ ＹＥＳ）、カメラ２００から取得する撮影画像データに基づいて撮影画像を表示し、境界線１０４の入力を再度受け付ける（ステップＳ４３）。ステップＳ４３におちえ、ユーザ端末１００は、上述したステップＳ２９の処理を再度実行する。また、ユーザ端末１００の境界線記憶モジュール１６２は、以前に記憶した境界線１０４に関する情報を削除する。なお、ステップＳ４３において、境界線記憶モジュール１６２は、情報を削除するのではなく、今回新たに入力を受け付けた境界線１０４の情報を追加して記憶しても良い。またステップＳ４３において、境界線記憶モジュール１６２は、特定の境界線１０４のみを変更する入力を受け付けた場合、該当する境界線１０４の情報のみを削除し、今回新たに入力を受け付けた境界線１０４の情報を記憶しても良い。また、境界線記憶モジュール１６２は、今回入力された境界線１０４と重複する境界線１０４の情報を上書き記憶しても良い。

ユーザ端末１００の通知生成モジュール１７２は、動作対象１０２が変更された場合、この変更された動作対象１０２が、境界線１０４に接触した場合に、その旨を示す通知を生成する。また、通知生成モジュール１７２は、境界線１０４が変更された場合、この変更された境界線１０４に、動作対象１０２が接触した場合に、その旨を示す通知を生成する。

［第２の実施形態］
図４は、本発明の好適な第２の実施形態である物体認識システム１のシステム構成図である。なお、上述した第１の実施形態と同様の装置、モジュールに関しては、同様の符号を付して、その詳細な説明は省略する。物体認識システム１は、物体認識サーバ１０、物体認識データベース１０１、ユーザ端末１００、カメラ２００、公衆回線網３から構成される。上述した第１の実施形態との相違点としては、第１の実施形態では、ユーザ端末１００が物体認識データベース１０１を有していたことに対して、本実施形態では、物体認識サーバ１０が物体認識データベース１０１を有することである。

ユーザ端末１００及びカメラ２００は、上述した第１の実施形態と同様であるため、その詳細は省略する。

物体認識サーバ１０は、後述する物体認識データベース１０１を有するサーバ装置である。

［各機能の説明］
図６に基づいて、各装置の構成について説明する。

ユーザ端末１００は、上述した制御部１１０、通信部１２０、記憶部１３０、入出力部１４０を備える。

ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことで、通信部１２０と協働して、画像取得モジュール１５０、撮影画像受信モジュール１５１、物体認識データ取得モジュール１５２を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことで、記憶部１３０と協働して、動作対象記憶モジュール１６１、境界線記憶モジュール１６２を実現する。また、ユーザ端末１００において、制御部１１０が所定のプロプラムを読み込むことで、入出力部１４０と協働して、入力受付モジュール１７０、通知生成モジュール１７２を実現する。

カメラ２００は、上述した制御部２１０、通信部２２０、撮影部２３０を備える。

カメラ２００において、制御部２１０が所定のプログラムを読み込むことで、通信部２２０と協働して、画像取得要求受信モジュール２４０、画像送信モジュール２４１を実現する。また、カメラ２００において、制御部２１０が所定のプログラムを読み込むことで、撮影部２３０と協働して、撮影モジュール２５０を実現する。

物体認識サーバ１０は、ユーザ端末１００と同様に、制御部１１として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備える。

また、物体認識サーバ１０は、後述する物体認識データベース１０１を記憶する記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。

物体認識サーバ１０において、制御部１１が所定のプログラムを読み込むことで、通信部１２と協働して、画像データ受信モジュール２０、特徴量抽出モジュール２１、物体認識データ送信モジュール２２を実現する。また、物体認識サーバ１０において、制御部１１が所定のプログラムを読み込むことで、記憶部１３と協働して、データベース記憶モジュール３０、物体認識データ取得モジュール３１を実現する。

［物体認識処理］
図９は、第２の実施形態における物体認識サーバ１０、ユーザ端末１００及びカメラ２００が実行する物体認識処理のフローチャートである。上述した各装置のモジュールが行う処理について、本処理に併せて説明する。また、第１の実施形態と同様の処理については、その詳細な説明は省略する。

はじめに、ユーザ端末１００の入力受付モジュール１７０は、動画像や静止画像等の画像を取得する入力を受け付けたか否かを判断する（ステップＳ５０）。ステップＳ５０の処理は、上述したステップＳ２０の処理を同様である。ステップＳ５０において、入力受付モジュール１７０は、画像を取得する指示の入力が行われていないと判断した場合（ステップＳ５０ ＮＯ）、入力を受け付けるまで、本処理を繰り返す。

一方、ステップＳ５０において、ユーザ端末１００の入力受付モジュール１７０は、画像を取得する指示の入力が行われたと判断した場合（ステップＳ５０ ＹＥＳ）、ユーザ端末１００の画像取得モジュール１５０は、カメラ２００に画像の取得要求である画像取得要求を送信する（ステップＳ５１）。ステップＳ５１の処理は、上述したステップＳ２１の処理と同様である。

カメラ２００の画像取得要求受信モジュール２４０は、ユーザ端末１００が送信した画像取得要求を受信する。カメラ２００の撮影モジュール２５０は、画像取得要求に含まれる撮影地点を撮影し、カメラ２００の撮影画像送信モジュール２４１は、撮影した画像を撮影画像データとしてユーザ端末１００に送信する（ステップＳ５２）。ステップＳ５２の処理は、上述したステップＳ２２の処理と同様である。

ユーザ端末１００の撮影画像受信モジュール１５１は、カメラ２００が送信した撮影画像データを受信する。ユーザ端末１００の入力受付モジュール１７０は、受信した撮影画像データに基づいて、図１１に示す撮影画像を表示する（ステップＳ５３）。ステップＳ５３の処理は、上述したステップＳ２３の処理と同様である。

ユーザ端末１００の入力受付モジュール１７０は、表示した撮影画像に含まれる認識させる動作対象１０２を指定する対象線１０３の入力が行われたか否かを判断する（ステップＳ５４）。ステップＳ５４の処理は、上述したステップＳ２４の処理と同様である。

ステップＳ５４において、ユーザ端末１００の入力受付モジュール１７０は、対象線１０３の入力が行われていないと判断した場合（ステップＳ５４ ＮＯ）、対象線１０３の入力を受け付けるまで本処理を繰り返す。一方、ステップＳ５４において、入力受付モジュール１７０は、図１２に示すように、対象線１０３の入力が行われたと判断した場合（ステップＳ５４ ＹＥＳ）、ユーザ端末１００の物体認識データ取得モジュール１５２は、この対象線１０３で囲われた領域の画像データを物体認識サーバ１０に送信する（ステップＳ５５）。

物体認識サーバ１０の画像データ受信モジュール２０は、ユーザ端末１００が送信した画像データを受信する。物体認識サーバ１０の特徴量抽出モジュール２１は、受信した画像データに基づいて、この画像データに含まれる動作対象１０２の特徴量を抽出する（ステップＳ５６）

物体認識サーバ１０の物体認識データ取得モジュール３１は、ステップＳ５６において抽出した動作対象１０２の特徴量に基づいて、図１３に示す物体認識データベースを参照し、対象線１０３で囲われた領域の動作対象１０２の物体認識を実行する（ステップＳ５７）

［物体認識データベース］
図１３は、物体認識サーバ１０のデータベース記憶モジュール３０が記憶する物体認識データベース１０１を示す図である。物体認識データベース１０１は、上述した第１の実施形態と同様であるため、詳細は省略する。

ステップＳ５７において、物体認識サーバ１０の物体認識データ取得モジュール３１は、物体認識サーバ１０の特徴量抽出モジュール２１が抽出した動作対象の１０２の特徴量に基づいて、物体認識データベース１０１において、この特徴量に対応付けられた識別子を参照し、この識別子を取得することにより、物体認識を実行する。

物体認識サーバ１０の物体認識データ送信モジュール２２は、ステップＳ５７において取得した識別子の識別子データをユーザ端末１００に送信する（ステップＳ５８）。

ユーザ端末１００の物体認識データ取得モジュール１５２は、物体認識サーバ１０が送信した識別子データを受信する。ユーザ端末１００の動作対象記憶モジュール１６１は、取得した識別子を動作対象として記憶する（ステップＳ５９）。

次に、ユーザ端末１００の入力受付モジュール１７０は、表示した撮影画像に境界線１０４の入力が行われたか否かを判断する（ステップＳ６０）。ステップＳ６０の処理は、上述したステップＳ２８の処理と同様であるため、詳細は省略する。

ステップＳ６０において、ユーザ端末１００の入力受付モジュール１７０は、境界線１０４の入力が行われていないと判断した場合（ステップＳ６０ ＮＯ）、境界線１０４の入力を受け付けるまで本処理を繰り返す。一方、ステップＳ６０において、入力受付モジュール１７０は、図１４に示すように、境界線１０４の入力を受け付けたと判断した場合（ステップＳ６０ ＹＥＳ）、入力を受け付けた境界線１０４を画像上に表示するとともに、境界線記憶モジュール１６２は、境界線１０４の位置を記憶する（ステップＳ６１）。ステップＳ６１の処理は、上述したステップＳ２９の処理と同様であるため、詳細は省略する。

ユーザ端末１００の画像取得モジュール１５０は、上述したステップＳ２１〜Ｓ２３と同様の処理を行うことにより、カメラ２００が撮影する撮影画像データを取得し、ユーザ端末１００の入力受付モジュール１７０は、取得した撮影画像を表示する（ステップＳ６２）。

ユーザ端末１００の入力受付モジュール１７０は、取得した撮影画像データに含まれる動作対象１０２が、ステップＳ６０で入力を受け付けた境界線１０４に接触したか否かを判断する（ステップＳ６３）。ステップＳ６３において、入力受付モジュール１７０は、動作対象１０２が、境界線１０４に接触していないと判断した場合（ステップＳ６３ ＮＯ）、本処理を繰り返す。

一方、ステップＳ６３において、ユーザ端末１００の入力受付モジュール１７０は、図１５に示すように、動作対象１０２が、境界線１０４に接触したと判断した場合（ステップＳ６３ ＹＥＳ）、ユーザ端末１００の通知生成モジュール１７２は、動作対象１０２が、境界線１０４に接触したことを示す通知を生成する（ステップＳ６４）。

ユーザ端末１００の入力受付モジュール１７０は、ステップＳ６４において生成した通知を、図１６に示す通知１０５として表示する（ステップＳ６５）。

なお、上述の実施形態において、ユーザ端末１００の入力受付モジュール１７０は、一つの対象線１０３の入力を受け付けているが、複数の対象線１０３の入力を受け付けても良い。また、入力受付モジュール１７０は、一つの境界線１０４の入力を受け付けているが、複数の境界線１０４の入力を受け付けても良い。この場合、動作対象１０２が複数の境界線１０４のいずれかに接触した場合に、通知を生成するようにしても良いし、全ての境界線１０４に接触した場合に、通知を生成するようにしても良い。

また、入力受付モジュール１７０は、連続する線として境界線１０４の入力を受け付けるだけでなく、断続する境界線１０４の入力を受け付け、境界線１０４が存在する箇所に動作対象１０２が接触した場合に、ユーザ端末１００の通知生成モジュール１７２が、通知を生成し、境界線１０４が存在しない箇所に動作対象１０２が接触した場合に、通知生成モジュール１７２は通知を生成しないようにしても良い。

以上が、第２の実施形態における物体認識処理である。

［変更処理］
図１０は、物体認識サーバ１０が実行する変更処理のフローチャートである。上述した各装置のモジュールが実行する処理について併せて説明する。本処理は、上述した物体認識処理におけるステップＳ５５以降の処理のいずれかのタイミングで実行されれば良い。

はじめに、ユーザ端末１００の入力受付モジュール１７０は、動作対象１０２の変更を行う入力を受け付けたか否かを判断する（ステップＳ７０）。ステップＳ７０の処理は、上述したステップＳ４０の処理と同様であるため、詳細は省略する。ステップＳ７０において、入力受付モジュール１７０は動作対象１０２の変更の入力を受け付けていないと判断した場合（ステップＳ７０ ＮＯ）、後述する境界線１０４の変更の入力を受け付けたか否かを判断する（ステップＳ７２）。

一方、ステップＳ７０において、ユーザ端末１００の入力受付モジュール１７０は、動作対象１０２の変更の入力を受け付けたと判断した場合（ステップＳ７０ ＹＥＳ）、カメラ２００から取得する撮影画像データに基づいて撮影画像を表示し、動作対象１０２の入力を再度受け付ける（ステップＳ７１）。ステップＳ７１において、ユーザ端末１００及び物体認識サーバ１０は、上述したステップＳ５５〜５９の処理を再度実行する。また、ユーザ端末１００の動作対象記憶モジュール１６１は、以前に記憶した動作対象１０２に関する情報を削除する。なお、ステップＳ７１において、動作対象記憶モジュール１６１は、情報を削除するのではなく、今回新たに入力を受け付けた動作対象１０２の情報を追加して記憶しても良い。

ステップＳ７２において、ユーザ端末１００の入力受付モジュール１７０は、図１８に示す境界線変更通知１０７の入力を受け付けたか否かを判断する。ステップＳ７２において、入力受付モジュール１７０は、境界線１０４の変更の入力を受け付けていないと判断した場合（ステップＳ７２ ＮＯ）、本処理を終了する。

一方、ステップＳ７２において、ユーザ端末１００の入力受付モジュール１７０は、境界線１０４の変更の入力を受け付けたと判断した場合（ステップＳ７２ ＹＥＳ）、カメラ２００から取得する撮影画像データに基づいて撮影画像を表示し、境界線１０４の入力を再度受け付ける（ステップＳ７３）。ステップＳ７３の処理は、上述したステップＳ４３の処理と同様であるため、詳細は省略する。

ユーザ端末１００の通知生成モジュール１７２は、動作対象１０２が変更された場合、この変更された動作対象１０２が、境界線１０４に接触した場合に、その旨を示す通知を生成する。また、通知生成モジュール１７２は、境界線１０４が変更された場合、この変更された境界線１０４に、動作対象１０２が接触した場合に、その旨を示す通知を生成する。

以上が、第２の実施形態における変更処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 物体認識システム、１０ 物体認識サーバ、１００ ユーザ端末、２００ カメラ

Claims (6)

1. カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末であって、
   前記ユーザの画面操作により、前記動作対象の特定を受け付ける動作対象受付手段と、
   特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行う物体認識手段と、
   前記ユーザの画面操作により、所定の境界線の入力を受け付ける境界線受付手段と、
   物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行う通知手段と、
   を備えることを特徴とするユーザ端末。
2. 受け付けた前記境界線を変更する境界線変更手段と、
   をさらに備え、
   前記通知手段は、物体認識した前記動作対象が、変更した前記境界線に接触した場合に、通知を行う、ことを特徴とする請求項１に記載のユーザ端末。
3. 前記境界線受付手段は、所定の境界線の入力を複数箇所受け付け、
   前記通知手段は、物体認識した前記動作対象が、受け付けた複数箇所の前記境界線のいずれか又は複数箇所に接触した場合に、通知を行う、ことを特徴とする請求項１又は２に記載のユーザ端末。
4. カメラで撮影された動作対象の動きについて、ユーザに通知するユーザ端末と通信可能に接続された物体認識サーバであって、
   物体の識別子と、当該物体の特徴量とを対応付けて記憶する物体認識データベースと、
   前記ユーザ端末が特定した動作対象物に関する情報を受信する動作対象物情報受信手段と、
   前記受信した情報に基づいて、前記物体認識サーバを参照し、特徴量を抽出することにより、物体の識別子を取得し、動作対象の物体認識を行う物体認識手段と、
   前記物体認識を行った物体の識別子を、前記ユーザ端末に送信する識別子送信手段と、
   を備えることを特徴とする物体認識サーバ。
5. カメラで撮影された動作対象の動きについて、ユーザに通知する通知方法であって、
   前記ユーザの画面操作により、前記動作対象の特定を受け付けるステップと、
   特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行うステップと、
   前記ユーザの画面操作により、所定の境界線の入力を受け付けるステップと、
   物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行うステップと、
   を備えることを特徴とする通知方法。
6. カメラで撮影された動作対象の動きについてユーザに通知するユーザ端末に、
   前記ユーザの画面操作により、前記動作対象の特定を受け付けるステップ、
   特定された前記動作対象の画像認識を行い、物体認識データベースを参照し、特徴量を抽出することで、動作対象の物体認識を行うステップ、
   前記ユーザの画面操作により、所定の境界線の入力を受け付けるステップ、
   物体認識した前記動作対象が、前記境界線に接触した場合に、通知を行うステップ、
   を実行させるためのユーザ端末用プログラム。