JP2020134990A - データベース生成方法、データベース生成装置およびデータベース生成プログラム - Google Patents

Abstract

【課題】教師データのサンプル数を効率的に増やしつつ、分類ラベルの細分化度合いを高めることができるデータベース生成方法、データベース生成装置およびデータベース生成プログラムを提供する。
【解決手段】所定の被写体の画像を取得するために被写体が撮像されたときの撮像位置を検出する位置検出ステップと、検出された撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、被写体が対象物であると判定された場合、画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、ユーザによって入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、を有する。
【選択図】 図４

Description

本発明は、データベース生成方法、データベース生成装置およびデータベース生成プログラムに関する。

近年、機械学習の一手法である教師あり学習において、学習の結果として生成される分類器（判別器）を用いて、画像の内容を分類（判別）する方法が知られている（例えば、特許文献１参照）。

特開２００８−２８２２６７号公報

しかしながら、教師データのサンプル数を増やすとともに、教師データに対応づけて登録される分類ラベルを細分化するときに、効率的にデータを集めることが困難であった。

そこで、本発明は、教師データのサンプル数を効率的に増やしつつ、分類ラベルの細分化度合いを高めることができるデータベース生成方法、データベース生成装置およびデータベース生成プログラムを提供することを目的とする。

上記の目的を達成するために、本発明に係るデータベース生成方法は、所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出ステップと、前記位置検出ステップにより検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、前記第１の判定ステップにより前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、前記第２の判定ステップにより前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、前記表示ステップにより表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、を有することを特徴とする。

また、本発明に係る他の態様のデータベース生成方法は、所定の被写体に対する撮像により前記被写体の画像を取得する取得ステップと、前記取得ステップにより前記被写体が撮像されたときの撮像位置を検出する位置検出ステップと、前記位置検出ステップにより検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、前記第１の判定ステップにより前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、前記第２の判定ステップにより前記被写体が前記対象物であると判定された場合、前記取得ステップにより取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、前記表示ステップにより表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、を有することを特徴とする。

また、本発明に係るデータベース生成装置は、所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出手段と、前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段と、前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段と、前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段と、前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段と、を備えることを特徴とする。

また、本発明に係る他の態様のデータベース生成装置は、所定の被写体に対する撮像により前記被写体の画像を取得する取得手段と、前記取得手段により前記被写体が撮像されたときの撮像位置を検出する位置検出手段と、前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段と、前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段と、前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記取得手段により取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段と、前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段と、を備えることを特徴とする。

また、本発明に係るデータベース生成プログラムは、コンピュータを、所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出手段、前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段、前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段、前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段、前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段、として機能させることを特徴とする。

また、本発明に係る他の態様のデータベース生成プログラムは、コンピュータを、所定の被写体に対する撮像により前記被写体の画像を取得する取得手段、前記取得手段により前記被写体が撮像されたときの撮像位置を検出する位置検出手段、前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段、前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段、前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記取得手段により取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段、前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段、として機能させることを特徴とする。

本発明によれば、教師データのサンプル数を効率的に増やしつつ、分類ラベルの細分化度合いを高めることができる。

実施形態１に係る追加情報登録システムの概略を示す図。 実施形態１に係るサーバの物理的構成を示す図。 実施形態１に係る携帯端末の物理的構成を示す図。 実施形態１に係る追加情報登録システムの機能的構成を示す図。 実施形態１に係るラインデータベースのデータ構成の例を示す図。 実施形態１に係る対象物データベースのデータ構成の例を示す図。 実施形態１に係る位置情報データベースのデータ構成の例を示す図。 実施形態１に係る再学習データベースのデータ構成の例を示す図。 実施形態１に係る対象物が配置される公園の地図を示す図。 実施形態１に係るラインデータベースに記憶されるラインを表示した公園の地図を示す図。 実施形態１に係る、ラインデータベースに記憶されるライン、対象物データベースに記憶される対象物および対象物に対応づけられた登録地点を表示した公園の地図を示す図。 実施形態１に係る携帯端末の表示部に表示された起動画面を示す図。 実施形態１に係る携帯端末の表示部に表示されたカメラ撮影画面を示す図。 実施形態１に係る携帯端末の表示部に表示された被写体を撮像した後のカメラ撮影画面を示す図。 実施形態１に係る携帯端末の表示部に表示されたテキスト・写真表示画面を示す図。 実施形態１に係る携帯端末の表示部に表示された自然言語対話処理中のテキスト・写真表示画面を示す図。 実施形態１に係る携帯端末の表示部に表示された自然言語対話処理後のテキスト・写真表示画面を示す図。 実施形態１に係る携帯端末の表示部に最初の質問が表示された追加情報入力処理中のテキスト・写真表示画面を示す図。 実施形態１に係る携帯端末の表示部に最後の質問が表示された追加情報入力処理中のテキスト・写真表示画面を示す図。 実施形態１に係る携帯端末の表示部に表示された地図表示画面を示す図。 実施形態１に係る追加情報登録処理を示すフローチャート。 実施形態１に係るルート照合処理を示すフローチャート。 実施形態１に係る撮像位置に対するライン上の垂線の足を説明するための図。 実施形態１に係る案内対象物検索処理を示すフローチャート。 実施形態１に係る追加情報入力処理を示すフローチャート。 実施形態１に係る分類ラベル登録処理を示すフローチャート。 実施形態２に係る携帯端末の物理的構成を示す図。 実施形態２に係る追加情報登録処理を示すフローチャート。

（実施形態１）
以下に、本発明を実施するための形態（実施形態１）を、図面に基づいて詳細に説明する。

図１は、実施形態１に係る追加情報登録システム１０の概略を示す図である。追加情報登録システム１０は、ネットワーク５００で相互に通信可能なサーバ１００と携帯端末２００とを含んで構成される。

追加情報登録システム１０は、例えば携帯端末２００を所有するユーザが所定の公園等の予め定められた場所において被写体である植物を撮像した際に、当該植物に関わる案内情報を携帯端末２００の表示部に表示させることで、ユーザに対して情報を提供することができるシステムであるとする。

図２は、サーバ１００の物理的構成を示す図である。図２に示すように、サーバ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２１と、記憶部１３０と、操作部１２２と、表示部１２３と、通信部１２４とを備えている。また、サーバ１００の各部は、バス１２９を介して接続されている。

サーバ１００は、例えば、ネットワークを利用したサーバ・クライアントシステムのサーバ装置であるとするが、これに限定されるものではなく、クラウドシステム上で動作する仮想マシンであっても良い。

ＣＰＵ１１０は、サーバ１００の各部を制御する。ＣＰＵ１１０は、記憶部１３０に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、ＲＡＭ１２１のワークエリアに展開し、当該プログラムに従って各種処理を実行する。例えば、ＣＰＵ１１０は、後述する追加情報登録処理を実行することにより、第１の判定手段、第２の判定手段、登録手段として機能する。また、ＣＰＵ１１０は、携帯端末２００と協働して、後述する追加情報登録処理を実行する機能を有する。

ＲＡＭ１２１は、例えば、揮発性のメモリであり、ＣＰＵ１１０により読み出された各種のプログラムやデータを一時的に格納するワークエリアを有する。

記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。記憶部１３０には、ＣＰＵ１１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ、後述するラインデータベース（Ｄａｔｅ Ｂａｓｅ）１４０、後述する対象物データベース１５０、後述する位置情報データベース１７０、後述する再学習データベース１８０等が記憶されている。

操作部１２２は、例えば、キーボード等のキー入力部と、マウス等のポインティングデバイスとにより構成される。また、操作部１２２は、キー入力及び位置入力を受け付け、その操作情報を入力信号としてＣＰＵ１１０に出力する。

表示部１２３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成されている。また、表示部１２３は、ＣＰＵ１１０から入力される表示信号の指示に従って、各種画面を表示する。

通信部１２４は、ネットワークカード等により構成され、ネットワーク５００上の外部機器に接続される。ネットワーク５００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。サーバ１００は、通信部１２４を介して、ネットワーク５００上の携帯端末２００と通信が可能である。

図３は、携帯端末２００の物理的構成を示す図である。図３に示すように、携帯端末２００は、ＣＰＵ２１０と、ＲＡＭ２２１と、記憶部２３０と、操作部２２２と、表示部２２３と、位置情報算出部２２４と、撮像部２２５と、音声入力部２２６と、音声出力部２２７と、通信部２２８と、を備えている。また、携帯端末２の各部は、バス２２９を介して接続されている。

携帯端末２００は、無線通信が可能な携帯端末装置である。ここでは、携帯端末２００がスマートフォンであるとするが、これに限定されるものではなく、携帯端末２００は、他の携帯が可能な端末装置であるとしても良い。

ＣＰＵ２１０は、携帯端末２００の各部を制御する。ＣＰＵ２１０は、記憶部２３０に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、ＲＡＭ２２１のワークエリアに展開し、当該プログラムに従って各種処理を実行する。その際に、ＣＰＵ２１０は、ＲＡＭ２２１内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２２３に表示させる。例えば、ＣＰＵ２１０は、後述する追加情報登録処理を実行することにより、位置検出手段、表示制御手段として機能する。

ＲＡＭ２２１は、例えば、揮発性のメモリであり、ＣＰＵ２１０により読み出された各種のプログラムやデータを一時的に格納するワークエリアを有する。

記憶部２３０は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、フラッシュメモリ等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。また、記憶部２３０には、ＣＰＵ２１０により実行される例えば追加情報登録プログラム２３１などのアプリケーションプログラムや前述の各種プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

操作部２２２は、各種機能キーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ２１０に出力する。また、操作部２２２は、表示部２２３の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等で押下された位置を検出し、その位置情報を操作情報としてＣＰＵ２１０に出力する。

表示部２２３は、ＬＣＤや有機ＥＬディスプレイ等により構成される。表示部２２３には、ＣＰＵ２１０から入力される表示信号の指示に従い、各種画面を表示する。

位置情報算出部２２４は、アンテナ、受信回路、信号処理回路等により構成され、全地球測位システムに係る測位衛星からの送信電波を受信して携帯端末２００の現在位置を取得する。位置情報算出部２２４は、受信した送信電波を増幅、周波数変換、復号して必要な情報を取得し、ＣＰＵ２１０に出力する。

撮像部２２５は、光学系及び撮像素子を備えるカメラ等により構成される。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサである。撮像素子上に被写体の光学像を結像し、その像を電気的な信号としてＣＰＵ２１０に出力する。

音声入力部２２６は、マイクロフォンやＡ／Ｄ変換器などにより構成され、マイクロフォンから入力された音をデジタル信号としてＣＰＵ２１０に出力する。

音声出力部２２７は、スピーカ（イヤホン）やＤ／Ａ変換器などにより構成され、ＣＰＵ２１０から入力されたデジタル信号を音として出力する。

通信部２２８は、例えば、ネットワークカード、モデム、ルータなどにより構成される。また、通信部２２８は、アンテナ、変復調回路、信号処理回路などを備え無線通信が可能な構成であってもよい。通信部２２８は、ネットワーク５００上のサーバ１００などの外部機器と通信接続してデータ送受信を行う。

図４は、追加情報登録システム１０の機能的構成を示す図である。図４に示すように、追加情報登録システム１０は、取得部３１１と、位置検出部３１２と、第１の判定部３１３と、第２の判定部３１４と、表示制御部３１５と、登録部３１６と、を備える。これらは、それぞれ取得手段、位置検出手段、第１の判定手段、第２の判定手段、表示制御手段及び登録手段として機能する。

取得部３１１は、例えば、携帯端末２００を所有するユーザが被写体を撮像したときの当該被写体を画像として取得する。

位置検出部３１２は、例えば、携帯端末２００を所有するユーザが被写体を撮像したときの撮像位置を検出する。

第１の判定部３１３は、位置検出部３１２により検出された撮像位置が後述する登録地点から所定の範囲内であるか否か判定する。

第２の判定部３１４は、例えば、携帯端末２００を所有するユーザが撮像した被写体が、後述する対象物データベースに予め登録されている対象物であるか否か判定する。

表示制御部３１５は、第２の判定部３１４により被写体が対象物であると判定された場合に、当該被写体に対応づけて登録するための追加情報を入力することができる画面を例えば携帯端末２００に表示する。

登録部３１６は、表示制御部３１５により表示された画面に入力された追加情報を被写体の画像が何を表しているか、あるいは画像にどういうものが含まれているかを示す分類ラベルとして登録する。

図５は、ラインデータベース１４０のデータ構成の例を示す。ラインデータベース１４０は、例えば表形式のデータであって、１つの行（レコード）は、１つのラインを示し、ライン識別情報のデータ項目１４１（図５ではラインＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）と記載）、始点経度のデータ項目１４２、始点緯度のデータ項目１４３、終点経度のデータ項目１４４および終点緯度のデータ項目１４５の列を含む。ラインとは、携帯端末２００を所有するユーザが公園において植物を鑑賞する際に通ると想定されるライン（ルート、道筋）を予め設定したものであり、例えば、植物が植栽されている花壇の周囲に沿って設定されている。また、ラインの始点位置および終点位置は、ユーザが移動する際に通ると想定される方向に基づいて決定される。

ライン識別情報のデータ項目１４１には、レコードが示すラインの識別情報が含まれている。

始点経度のデータ項目１４２および始点緯度のデータ項目１４３には、レコードが示すラインの始点の経度および緯度が含まれている。

終点経度のデータ項目１４４および終点緯度のデータ項目１４５には、レコードが示すラインの終点の経度および緯度が含まれている。

例えば、レコード１４９は、ライン識別情報のデータ項目１４１が「Ｌ１」であるラインを示し、始点は東経１３９．５４６５１２８度、北緯３５．６６９８１３２度であって、終点は東経１３９．５４６３９３９度、北緯３５．６６９１４４２度であることを示す。

図６は、対象物データベース１５０のデータ構成の例を示す。対象物データベース１５０は、例えば表形式のデータであって、１つの行（レコード）は、１つの対象物を示し、対象物識別情報のデータ項目１５１（図６では対象物ＩＤと記載）、経度のデータ項目１５２、緯度のデータ項目１５３、登録地点経度のデータ項目１５４、登録地点緯度のデータ項目１５５、登録地点が設定されたラインのデータ項目１５６、ブロックのデータ項目１５７、名称のデータ項目１５８、画像のデータ項目１５９、色のデータ項目１６０（図６ではＣＯＬＯＲと記載）および形状のデータ項目１６１（図６ではＳＨＡＰＥと記載）の列を含んで構成される。本実施形態１において対象物とは、公園に植栽されている植物を指し、予め対象物データベース１５０に登録されている。なお、後述するように、対象物データベース１５０は、公園内においてユーザが携帯端末２００の撮像部２２５を介して被写体を撮像した際に、撮影画像に含まれる植物の名称等を特定し、案内情報として表示部２２３に表示させるために参照される。また、後述するように、ブロックは対象物である例えばバラなどの植物が植栽されているブロック（花壇）のことを示す。なお、対象物データベース１５０は、例えば対象物の種類（ＴＹＰＥ）など他のデータ項目を含んでいてもよい。

対象物識別情報のデータ項目１５１には、レコードが示す対象物の識別情報が含まれている。

経度のデータ項目１５２および緯度のデータ項目１５３には、レコードが示す対象物の位置の経度および緯度が含まれている。

登録地点経度のデータ項目１５４および登録地点緯度のデータ項目１５５には、レコードが示す対象物を撮像するのに適した撮像スポットの経度および緯度が含まれている。なお、以降では、これら２つのデータ項目から特定される位置を登録地点と称する。また、登録地点は、前述したライン上に設定されるものであり、即ち、公園において植物を鑑賞する際に通ると想定される位置に設定される。

ラインのデータ項目１５６には、レコードが示す対象物の撮像スポットである登録地点が設定されたラインが含まれている。

ブロックのデータ項目１５７には、レコードが示す対象物が配置されたブロック番号が含まれている。

名称のデータ項目１５８には、レコードが示す対象物の名称が含まれている。

画像のデータ項目１５９には、レコードが示す対象物の画像データの識別情報が含まれている。画像データは、例えばサーバ１００の記憶部１３０に記憶されている。

色のデータ項目１６０には、レコードが示す対象物の色が含まれている。

形状のデータ項目１６１には、レコードが示す対象物の形状が含まれている。

例えば、レコード１６９は、対象物識別情報のデータ項目１５１が「Ｔ１」である対象物を示すレコードであって、対象物の位置は東経１３９．５４６５２３９度、北緯３５．６６９７５１２度で、「Ｂ５」であるブロックにあり、対象物の名称は「ソーニャホルストマン」、画像の識別情報は「Ｇ８８７２」、赤色で、多重の形状であることを示す。また、登録地点は東経１３９．５４６５３４７度、北緯３５．６６９７５９８度で、ラインＬ１０上に設定されることを示す。

図７は、位置情報データベース１７０のデータ構成の例を示す。位置情報データベース１７０は、例えば表形式のデータであって、１つの行（レコード）は、携帯端末２００が送信し、サーバ１００が受信して格納した１つの位置情報メッセージに係る情報を示し、位置識別情報のデータ項目１７１（図７では位置ＩＤと記載）、端末のデータ項目１７２、現在経度のデータ項目１７３、現在緯度のデータ項目１７４、および移動方向のデータ項目１７５の列を含んで構成される。

位置識別情報のデータ項目１７１には、レコードが示す位置情報の識別情報が含まれている。

端末のデータ項目１７２には、レコードの元となる位置情報メッセージを送信した携帯端末２００の識別情報が含まれている。

現在経度のデータ項目１７３および現在緯度のデータ項目１７４には、位置情報メッセージに含まれていた経度および緯度が含まれている。

移動方向のデータ項目１７５には、現在経度のデータ項目１７３および現在緯度のデータ項目１７４とで示される現在位置情報と、携帯端末２００の過去の位置情報（不図示）と、により特定される移動方向が含まれる。本実施形態１では、移動方向のデータ項目１７５には東方向への移動を示す「Ｅ」、西方向への移動を示す「Ｗ」、南方向への移動を示す「Ｓ」、北方向への移動を示す「Ｎ」の四方向が含まれるが、これに限られない。北東方向への移動を示す「ＮＥ」、北西方向への移動を示す「ＮＷ」、南東方向への移動を示す「ＳＥ」、南西方向への移動を示す「ＳＷ」をさらに含む八方位であってもよく、
北北東方向への移動を示す「ＮＮＥ」、北北西方向への移動を示す「ＮＮＷ」、東南東方向への移動を示す「ＥＳＥ」、東北東方向への移動を示す、西南西方向への移動を示す「ＷＳＷ」、西北西方向への移動を示す「ＷＮＷ」、南南東方向への移動を示す「ＳＳＥ」、南南西方向への移動を示す「ＳＳＷ」をさらに含む十六方位であってもよい。

なお上記で説明した、位置識別情報のデータ項目１７１、端末のデータ項目１７２、現在経度のデータ項目１７３、現在緯度のデータ項目１７４および移動方向のデータ項目１７５は、サーバ１００が、位置情報メッセージを受信したときに、位置情報データベース１７０に追加される。

例えば、レコード１７９は、位置識別情報のデータ項目１７１が「Ｐ１」であるレコードであって、識別情報が「４６７３」である携帯端末２００から送信された位置情報メッセージに含まれていた位置情報が、東経１３９．５４６５２３９度、北緯３５．６６９７５１２度であって、南方向に向かってユーザが移動したことを示す。

図８は、再学習データベース１８０のデータ構成の例を示す。再学習データベース１８０には、後述する追加情報入力処理において、ユーザが入力した追加情報が含まれる。再学習データベース１８０は、例えば表形式のデータであって、１つの行（レコード）は、１つの案内対象物を示し、案内対象物識別情報のデータ項目１８１（図８では案内対象物ＩＤと記載）、対象物識別情報のデータ項目１８２、画像のデータ項目１８３、色のデータ項目１８４（図８ではＣＯＬＯＲと記載）、形状のデータ項目１８５（図８ではＳＨＡＰＥと記載）、花の状態のデータ項目１８６、花びらの枚数のデータ項目１８７および葉の形のデータ項目１８８等の列（属性）を含んで構成される。

ここで、案内対象物とは、携帯端末２００の現在位置や撮像された画像等に基づいて決定される案内情報を送信すべき植物を示す。本実施形態１では、案内対象物として決定された植物に係る案内情報を送信するとともに、図６の対象物データベース１５０と対応付けて各植物についての追加情報を携帯端末２００のユーザに登録させる構成となっている。これによって、対象物データベース１５０に含まれる情報、即ち、撮像画像に基づいて植物を判定するために参照される情報を容易に蓄積することができる。

案内対象物識別情報のデータ項目１８１には、レコードが示す案内対象物の識別情報が含まれている。

対象物識別情報のデータ項目１８２には、レコードが示す案内対象物が対象物データベース１５０おける対象物の何れであるかを識別するための対象物ＩＤが含まれている。

画像のデータ項目１８３には、レコードが示す案内対象物をユーザが撮像することで取得された画像データの識別情報が含まれている。

色のデータ項目１８４には、後述する追加情報入力処理においてユーザにより入力される追加情報として、レコードが示す案内対象物の色が含まれている。

形状のデータ項目１８５には、後述する追加情報入力処理においてユーザにより入力される追加情報として、レコードが示す案内対象物の形状が含まれている。

花の状態のデータ項目１８６には、後述する追加情報入力処理においてユーザにより入力される追加情報として、レコードが示す案内対象物の花の状態が含まれている。

花びらの枚数のデータ項目１８７には、後述する追加情報入力処理においてユーザにより入力される追加情報として、レコードが示す案内対象物の花びらの枚数が含まれている。

葉の形のデータ項目１８８には、後述する追加情報入力処理においてユーザにより入力される追加情報として、レコードが示す案内対象物の葉の形が含まれている。

例えば、レコード１８９は、案内対象物識別情報のデータ項目１８１が「Ｎ１」である案内対象物を示すレコードであって、対象物ＩＤは「Ｔ１」であり、画像データの識別情報は「Ｇ８８７２」であって、色は赤色で、多重の形状をしており、花の状態は満開、花びらの枚数は５枚以上で、葉の形は丸形であることを示す。

図９は、例えば、対象物データベース１５０に含まれる対象物が配置される公園の地図を示す。ブロックＢ１〜Ｂ８は、対象物である例えばバラなどの植物が植栽されているブロック（花壇）である。ブロックＢ１〜Ｂ８の周辺は、遊歩道Ｗであり、公園への来訪者である携帯端末２００を持つユーザは、遊歩道Ｗ上を移動する。

図１０は、ラインデータベース１４０に記憶されるラインを表示した公園の地図を示す。ラインとは、携帯端末２００を所有するユーザが公園において植物を鑑賞する際に通ると想定されるライン（ルート、道筋）を予め設定したものであり、図１０に示すようにブロックＢ１〜Ｂ８の周囲に沿って設定されている。また、ライン上には、対象物データベース１５０における登録地点が設定されている。即ち、ライン上には、ブロックＢ１〜Ｂ８に植栽された植物を撮影するのに適した撮影スポットが存在する。

図１０において、ラインは地図上において太線で示されている。例えば、ラインＬ１は、ブロックＢ１の左上角からブロックＢ１の右上角まで続くラインである。また、ラインＬ２は、ブロックＢ４の右下角からブロックＢ４の右上角まで続くラインである。即ち、例えば長方形のブロック（花壇）の周囲には各辺に対応するように４つのラインが設定される。

図１１は、ラインデータベース１４０に記憶されるライン、対象物データベース１５０に記憶される対象物および登録地点が表示された公園の地図を示す。対象物はブロック内に配置され、図１１では白い円で示されている。例えば対象物Ｔ１は、図５のレコード１５９に示される対象物である。登録地点は対象物と対応づけられて、例えばブロックの周辺に設定される。図１１では黒い円で示されている。これは、ユーザが、対象物であるブロックＢ１〜Ｂ８に植栽されている植物を撮像するために、ブロックＢ１〜Ｂ８の周辺に沿って移動すると想定しているからである。例えば、登録地点Ｒ１は対象物Ｔ１に対応づけられており、登録地点Ｒ１はラインＬ１０上に設定されている登録地点である。なお、登録地点は、対象物に対応づけられていればよく、ブロックの周辺に限られない。

図１２は、携帯端末２００の記憶部２３０に記憶されている追加情報登録プログラム２３１を起動させたときの表示部２２３に表示された起動画面４００を示す。起動画面４００には、カメラ撮影画面ボタン４０１と、テキスト・写真表示画面ボタン４０２と、地図表示画面ボタン４０３と、各種設定ボタン４０４と、が配置されている。

カメラ撮影画面４１０に遷移するためのカメラ撮影画面ボタン４０１が、起動画面４００の上部に配置されている。

テキスト・写真表示画面４２０に遷移するためのテキスト・写真表示画面ボタン４０２が、カメラ撮影画面ボタンの隣に配置されている。

地図表示画面４３０に遷移するための地図表示画面ボタン４０３が、テキスト・写真表示画面ボタンの隣に配置されている。

各種設定画面（不図示）に遷移するための各種設定ボタン４０４が、起動画面４００の下部に配置されている。各種設定画面では、音声出力の可否、音声の男女切り替え、出力言語などの設定が可能である。

図１３は、携帯端末２００の表示部２２３に表示されたカメラ撮影画面４１０Ａを示す。カメラ撮影画面４１０Ａは、撮像部２２５により被写体を撮像するときの画面である。画像表示領域４１１Ａに表示されている被写体を撮像するためのボタン４１２Ａが画面下部に配置されている。

図１４は、被写体の撮像終了後の画面４１０Ｂを示す。撮像画像表示領域４１１Ｂに表示されている被写体の画像を分析するためのボタン４１２Ｂが、画面下部に配置されている。分析結果はテキスト・写真表示画面４２０に表示される。

図１５は、携帯端末２００の表示部２２３に表示されたテキスト・写真表示画面４２０を示す。携帯端末２００の撮像部２２５により撮像された被写体の画像の分析結果から生成された案内対象物に関するテキストや画像例等の案内情報が表示されたときの画面である。即ち、図１５は、携帯端末２００の撮像部２２５により被写体として撮像された植物の画像を、対象物データベース１５０を参照して分析することで抽出される案内情報が表示される画面である。

図１５に示すように、テキスト表示領域４２１には、案内対象物の名称が表示される。写真表示領域４２２には、案内対象物の画像が表示される。なお、テキスト表示領域４２１の案内は、携帯端末２００の音声出力部２２７から音声として出力させてもよい。

自然言語対話処理を実行するための音声認識ボタン４２３が、テキスト・写真表示画面４２０下部に配置されている。例えば図１６に示すように、ユーザによって入力された音声認識結果が音声認識結果表示領域４２５に表示され、例えば図１７に示すように、テキスト表示領域４２１に自然言語対話処理の結果が表示される。

また、後述する追加情報登録処理を実行するための追加情報登録ボタン４２４が、テキスト・写真表示画面４２０右上に配置されている。図１８は、例えば撮像した被写体の色が何色であるのか質問し、ユーザに追加情報を入力させる追加情報入力画面４３０Ａである。質問表示領域４３１Ａには、案内対象物に関する質問が表示される。選択肢表示領域４３２Ａには、質問表示領域４３１Ａに表示された質問内容に対して、ユーザが所定の答えを選択するための選択肢が表示される。

図１９は、質問表示領域４３１Ｂに最後の質問が表示された追加情報入力画面４３０Ｂを示す。

図１８および図１９においてユーザにより回答された内容は、再学習データベース１８０に登録され、例えば次回以降に撮像された画像の分析時に参照される。このような構成により、追加情報登録システム１０は、ユーザから画像分析のために必要とされる多種多様な追加情報を容易に取得することができる。ひいては、画像分析精度を向上させることが可能となる。

図２０は、携帯端末２００の表示部２２３に表示された地図表示画面４４０を示す。地図表示画面４４０には、既に撮像された被写体の位置が地図や航空写真上に表示される。地図を１段階だけ拡大して表示させるための拡大ボタン４４１が、地図表示画面４４０の左上上部に配置されている。地図を１段階だけ縮小して表示させるための縮小ボタン４４２が、拡大ボタン４４１の隣に配置されている。後述する現在位置アイコン４４５の表示／非表示を切り替えるための位置表示ボタン４４３が、縮小ボタン４４２の隣に配置されている。現在位置アイコン４４５は、地図表示画面４４０に表示された地図上の後述するルート照合処理により更新された位置を示す。案内対象物アイコン４４４は、地図表示画面４４０に表示された地図上の既に特定された案内対象物の位置を示す。

図２１は、本実施形態１における追加情報登録処理を示すフローチャートである。図２１を参照しながら、本実施形態１における追加情報登録処理のフローを説明する。追加情報登録処理は、例えば携帯端末２００を所有するユーザが所定の公園等の予め定められた場所において被写体である植物を撮像した際に、当該植物に関わる案内情報を携帯端末２００の表示部に表示させることで、ユーザに対して情報を提供するとともに、さらにユーザに対して追加情報を入力させる処理である。

まず、携帯端末２００の記憶部２３０に記憶されている追加情報登録プログラム２３１を起動させると図１２に示した起動画面４００が表示される。その後、起動画面４００中のカメラ撮影画面ボタン４０１が押下されると、例えば図１３に示すようなカメラ撮影画面４１０Ａに遷移し、撮像部２２５による被写体の撮像が可能となる。また、左にスワイプされると直前の画面に戻る。例えば、起動画面４００に表示されるカメラ撮影画面ボタン４０１が押下され、カメラ撮影画面４１０Ａに遷移した後、左スワイプされると、起動画面４００に戻る。

ステップＳ１０１においてＣＰＵ２１０は、所定の被写体に対する撮像を行い、画像を取得する。本実施形態１においては、被写体として、例えば公園内に植栽されている植物を例に挙げているが、公園内にある遊具などの設備や動物園の動物等でもよく、特に限定されない。

ステップＳ１０２においてＣＰＵ２１０は、取得した画像をサーバ１００に送信する。そして、サーバ１００は撮像された被写体の画像を携帯端末２００から受信する。

ステップＳ１０３においてＣＰＵ２１０は、位置情報算出部２２４により被写体が撮像されたときの撮像位置を検出する。

ステップＳ１０４においてＣＰＵ２１０は、撮像位置情報メッセージをサーバ１００に送信する。そして、サーバ１００は撮像位置情報メッセージを携帯端末２００から受信する。なお、撮像位置情報メッセージには被写体が撮像されたときの撮像位置の情報が含まれている。

ステップＳ１０５においてＣＰＵ１１０は、後述するルート照合処理を実行する。

ステップＳ１０６においてＣＰＵ１１０は、後述する案内対象物検索処理を実行する。

ステップＳ１０７においてＣＰＵ１１０は、案内対象物メッセージを携帯端末１００に送信する。そして、携帯端末２００は案内対象物メッセージをサーバ１００から受信する。なお、携帯端末２００が案内対象物メッセージを受信したときに、案内対象物に関するテキストや画像例等が表示部２２３に表示された画面に自動遷移するようにしてもよい。また、案内対象物メッセージには、例えば花の名称などの案内対象物の情報が含まれている。ここで案内対象物とは、後述する案内対象物検索処理において撮像された被写体と予め対象物データベース１５０に登録されている対象物が一致したときの、当該対象物のことを示す。

ステップＳ１０８においてＣＰＵ２１０は、後述する追加情報入力処理を実行する。

ステップＳ１０９においてＣＰＵ２１０は、追加情報メッセージをサーバ１００に送信する。そして、サーバ１００は追加情報メッセージを携帯端末２００から受信する。なお、追加情報メッセージには、後述する追加情報入力処理において例えば被写体を撮像したユーザによって入力された答え、即ち、追加情報が含まれている。

ステップＳ１１０においてＣＰＵ１１０は、後述する分類ラベル登録処理を実行する。

図２２は、ＣＰＵ１１０が実行するルート照合処理を示すフローチャートである。図２２を参照しながら、ルート照合処理を説明する。ルート照合処理は、携帯端末２００から送信された撮像位置情報メッセージを基に、撮像位置から最も近い登録地点を特定する処理である。なお、ルート照合処理は前述の追加情報登録処理の一部である。

ステップＳ２０１においてＣＰＵ１１０は、撮像位置が所定の登録地点から所定の距離閾値より近いか否か判定する。登録地点は、対象物と対応づけられて、例えばブロックの周辺に設定されている。なお、本実施形態１では、所定の距離閾値は６ｍとしているが、これに限られない。ステップＳ２０１においてＣＰＵ１１０は、撮像位置が所定の登録地点から所定の距離閾値より近ければ（ステップＳ２０１→Ｙ）、ステップＳ２０２に進み、近くなければ（ステップＳ２０１→Ｎ）、ルート照合処理および追加情報登録処理を終了する。即ち、ステップＳ２０１では対象物が配置された例えば公園や植物園内にユーザがいるか否か判定することができる。そして、ＣＰＵ１１０は、ユーザが公園内にいないと判定した場合に、ルート照合処理及び追加情報登録処理を終了する。

ステップＳ２０２においてＣＰＵ１１０は、ラインデータベース１４０が記憶する全てのレコードそれぞれについて、ステップＳ２０３〜Ｓ２０６の処理を実行する。

ステップＳ２０３においてＣＰＵ１１０は、ユーザの移動方向がラインの始点から終点への方向と一致しているか否か判定する。ステップＳ２０３においてＣＰＵ１１０は、ユーザの移動方向がラインの始点から終点への方向と一致すれば（ステップＳ２０３→Ｙ）、ステップＳ２０４に進み、一致しなければ（ステップＳ２０３→Ｎ）、ステップＳ２０７に進む。これにより、ステップＳ２０４〜ステップＳ２０６の処理を実行する際に対象となるラインの選択肢を減らすことができる。

ステップＳ２０４においてＣＰＵ１１０は、撮像位置に対するライン上の垂線の足（図２３）を算出する。即ち、撮像位置とラインとの距離を算出する。

ここで、図２３は、撮像位置に対するライン上の垂線の足を説明するための図である。前述のラインＬ１０を用いて説明する。ラインＬ１０は、登録地点Ｒ１を始点とし、登録地点Ｒ３を終点とするラインである。点Ｆ２０は、撮像位置である。点Ｆ２１は、点Ｆ２０からラインＬ１０（点Ｒ１と点Ｒ３を結ぶ線分）に引いた垂線の足であって、ラインＬ１０上で点Ｆ２０に最も近い点である。

ステップＳ２０５においてＣＰＵ１１０は、撮像位置と垂線の足との距離（図２３の点Ｆ２０と点Ｆ２１との距離）が最短でかつ所定の距離閾値以下であるか否か判定する。なお、本実施形態１では携帯端末２００の位置情報算出部２２４の精度から、所定の距離閾値を４ｍと設定したが、これに限定されない。ステップＳ２０５においてＣＰＵ１１０は、撮像位置と垂線の足との距離（図２３の点Ｆ２０と点Ｆ２１との距離）が最短かつ所定の距離閾値以下であれば（ステップＳ２０５→Ｙ）、ステップＳ２０６に進む。また、ステップＳ２０５においてＣＰＵ１１０は、撮像位置と垂線の足との距離が最短ではない、または、所定の距離閾値を超えるならば（ステップＳ２０５→Ｎ）、ステップＳ２０７に進む。即ち、ステップＳ２０５では、ステップＳ２０４で算出した撮像位置とラインとの距離を基に、当該距離が最も短いときのラインを特定することを目的としている。

ステップＳ２０６においてＣＰＵ１１０は、ステップＳ２０５において距離が最短でかつ所定の距離閾値以下であると判定されたライン上に設定された登録地点の中で、撮像位置から最も近い登録地点を特定する。

ステップＳ２０７においてＣＰＵ１１０は、ラインデータベース１４０が記憶する全てのレコードについて、ステップＳ２０３〜Ｓ２０６の処理を実行したならば、ステップＳ２０８に進む。また、未処理のレコードがあれば、ステップＳ２０３〜Ｓ２０６の処理を実行する。

ステップＳ２０８においてＣＰＵ１１０は、最も近い登録地点が特定されたか否かを判定する。即ち、ステップＳ２０６の処理が実行されたか否か判定する。ステップＳ２０８においてＣＰＵ１１０は、最も近い登録地点が特定された場合は（ステップＳ２０８→Ｙ）、追加情報登録処理に戻る。ステップＳ２０８においてＣＰＵ１１０は、最も近い登録地点が特定されなかった場合は（ステップＳ２０８→Ｎ）、ルート照合処理および追加情報登録処理を終了する。

図２４は、ＣＰＵ１１０が実行する案内対象物検索処理を示すフローチャートである。図２４を参照しながら、案内対象物検索処理を説明する。案内対象物検索処理は、例えば分類器により被写体の画像を分類し、当該被写体がルート照合処理によって特定された登録地点と対応づけられた対象物であるか否か対象物データベース１５０を参照する処理である。なお、案内対象物検索処理は前述の追加情報登録処理の一部である。

ステップＳ３０１においてＣＰＵ１１０は、携帯端末２００から送信された被写体の画像を例えば分類器などを用いて分類する。本実施形態１では、例えば「ＴＹＰＥ（即ち、バラであるか否か）」、「ＣＯＬＯＲ」、「ＳＨＡＰＥ」といった複数種類の特徴量に基づいて画像を分類するが、これに限られない。また、例えば背景をぼかすなどの画像処理を行ってから分類することで分類の精度を向上させることができる。

ステップＳ３０２においてＣＰＵ１１０は、被写体が対象物データベース１５０に予め登録されている対象物であるか否か判定する。即ち、ＣＰＵ１１０は、ルート照合処理によって特定された登録地点とステップＳ３０１における画像分類結果とを用いて、撮像した被写体が当該登録地点と対応づけられた対象物であるか否か判定するために対象物データベース１５０を参照する。ステップＳ３０２においてＣＰＵ１１０は、被写体が対象物であれば（ステップＳ３０２→Ｙ）、ステップＳ３０３に進む。ステップＳ３０２においてＣＰＵ１１０は、被写体が対象物でなければ（ステップＳ３０２→Ｎ）、案内対象物検索処理および追加情報登録処理を終了する。

ステップＳ３０３においてＣＰＵ１１０は、ステップＳ３０２において被写体が予め登録されている対象物であると判定されたときの当該対象物を案内対象物として確定する。

図２５は、ＣＰＵ２１０が実行する追加情報入力処理を示すフローチャートである。図２５を参照しながら、追加情報入力処理を説明する。追加情報入力処理は、案内対象物検索処理において確定された案内対象物の情報を携帯端末２００の表示部２２３に表示させ、当該案内対象物に関する追加情報の入力を受け付ける処理である。なお、追加情報入力処理は前述の追加情報登録処理の一部である。

サーバ１００から送信された案内対象物メッセージを携帯端末２００が受信すると、案内対象物の案内情報がテキスト・写真表示画面４２０に表示される。ステップＳ４０１においてＣＰＵ２１０は、テキスト・写真表示画面４２０右上の追加情報登録ボタン４２４が押下されたか否かを判定する。即ち、ユーザによって追加情報登録ボタンが押下されたか否かを判定する。ステップＳ４０１においてＣＰＵ２１０は、テキスト・写真表示画面４２０右上の追加情報登録ボタン４２４が押下されたら（ステップＳ４０１→Ｙ）、ステップＳ４０２に進み、押下されなかったら（ステップＳ４０１→Ｎ）、追加情報入力処理および追加情報登録処理を終了する。

ステップＳ４０２においてＣＰＵ２１０は、案内対象物に対応づけて登録するための追加情報を入力することが可能な追加情報入力画面を表示部２２３に表示させる。

ステップＳ４０３においてＣＰＵ２１０は、追加情報が入力されたか否か判定する。即ち、追加情報入力画面４３０Ａに表示された質問内容に対して、ユーザが所定の答えを入力したか否か判定する。本実施形態１において、質問数は５つとなっているが、これに限られない。より多くの情報を得たい場合や多種多様な情報を得たい場合には、質問数を増やすとよい。質問は、対象物データベース１５０に登録されている情報について問うものであってもよい。対象物データベース１５０に登録されている情報について問う質問が含まれていれば、後述する分類ラベル登録処理において追加情報が案内対象物に該当するか否か判定する際に、当該質問の答えを基に判定することが可能となる。

ステップＳ４０３においてＣＰＵ２１０は、追加情報が入力されたならば（ステップＳ４０３→Ｙ）、追加情報登録処理に戻り、入力されなければ（ステップＳ４０３→Ｎ）、追加情報入力処理および追加情報登録処理を終了する。なお、全ての質問に対して答えが入力されていなくても、少なくとも１つの質問に対して答えが入力されていれば追加情報が入力されたと見なし、追加情報登録処理に戻ることができる。

図２６は、ＣＰＵ１１０が実行する分類ラベル登録処理を示すフローチャートである。図２６を参照しながら、分類ラベル登録処理を説明する。ユーザによって入力された追加情報が、案内対象物に該当する正しい情報であるか否か判定し、正しい情報であると判定された場合に、当該追加情報を画像分類時に用いる分類ラベルとして登録する処理である。なお、分類ラベル登録処理は前述の追加情報登録処理の一部である。

ステップＳ５０１においてＣＰＵ１１０は、追加情報が案内対象物に該当するか否か判定する。即ち、入力された追加情報が案内対象物に該当する正しい情報であるか否か判定するために対象物データベース１５０を参照する。ステップＳ５０１においてＣＰＵ１１０は、追加情報が案内対象物に該当する場合（ステップＳ５０１→Ｙ）、ステップＳ５０２に進み、追加情報が案内対象物に該当しない場合（ステップＳ５０１→Ｎ）、分類ラベル登録処理および追加情報登録処理を終了する。

ステップＳ５０２においてＣＰＵ１１０は、入力された追加情報を分類ラベルとして所定の記憶手段に登録する。ここで、分類ラベルとは、例えば画像等の分類処理に用いられるための識別用のラベルであり、画像が何を表しているか、あるいは画像にどういうものが含まれているかを示すものである。分類ラベルは予め画像に付与されているか、あるいはユーザによって新たに入力された情報に基づいて付与されてもよい。分類ラベルは、「タグ」あるいは「タグ情報」と呼ばれる場合もある。例えば、画像が太陽を表すものである場合には、その画像には「太陽」という分類ラベルが付与される。また、例えば、画像が本を著すものである場合には、その画像には「本」という分類ラベルが付与される。また、所定の記憶手段とは、例えば再学習データベース１８０であり、ユーザによって追加された情報を登録しておくものである。

再学習データベース１８０に登録された分類ラベルは、例えば次回以降に撮像された画像の分析時に参照される。このような構成により、追加情報登録システム１０は、ユーザから画像分析のために必要とされる多種多様な情報を容易に取得することができる。ひいては、画像分析精度を向上させることが可能となる。

なお、テキスト・写真表示画面４２０下部に配置されている音声認識ボタン４２３が押下されたとき、ＣＰＵ２１０により実行される自然言語対話処理の際には、再学習データベース１８０に追加された情報を基にユーザが入力した質問に対する返答を作成してもよい。

本実施形態１のデータベース生成方法、データベース生成装置およびデータベース生成プログラムによれば、撮像された被写体である対象物に該当する追加情報が入力されることによって、教師データのサンプル数を効率的に増やしつつ、分類ラベルの細分化度合いを高めることができる。

なお、本実施形態１では、施設として公園内に植栽されている植物を被写体としていたが、これに限らず、公園内にある遊具などの設備、動物が飼育されている檻、昆虫が頻繁に観察されるスポットを被写体としてもよい。また、公園に限らず、テーマパークや遊園地、動物園などの屋外施設であってもよい。

また、本実施形態１では、ルート照合処理では撮像位置から最も近い登録地点を特定しているが、撮像位置から２番目に近い登録地点も含めた複数の登録地点を特定するようにしてもよい。そして、登録地点が複数ある場合には、被写体がどの登録地点に対応づけられた対象物であるか対象物データベース１５０を参照するようにしてもよい。

また、本実施形態１では、追加情報入力処理においてテキスト・写真表示画面４２０右上の追加情報登録ボタン４２４が押下されたら、追加情報入力画面が表示されるような構成であるが、案内対象物メッセージを携帯端末２００が受信すると追加情報入力画面に自動遷移される構成であってもよい。

（実施形態２）
実施形態１では、追加情報登録システム１０には、携帯端末２００とサーバ１００を備える構成としていた。実施形態２においては、サーバ１００を備えず、携帯端末２００のみで構成される。

図２７は、本実施形態２に係る携帯端末２００Ｂの概略の構成を示す図である。実施形態１における携帯端末２００と比較すると、通信部２２８がなく、実施形態１においてサーバ１００のＣＰＵ１１０が実行するルート照合処理、案内対象物検索処理、分類ラベル登録処理はＣＰＵ２１０が実行する。つまりＣＰＵ２１０は、後述する追加情報登録処理を実行することにより、取得手段、位置検出手段、第１の判定手段、第２の判定手段、表示手段、登録手段として機能する。また、ラインデータベース１４０、対象物データベース１５０、位置情報データベース１７０および再学習データベース１８０は、記憶部２３０に記憶される。

図２８は、本実施形態２における追加情報登録処理を示すフローチャートである。図２８を参照しながら、本実施形態２における追加情報登録処理のフローを説明する。

ステップＳ６０１においてＣＰＵ２１０は、所定の被写体に対する撮像を行い、画像を取得する。

ステップＳ６０２においてＣＰＵ２１０は、位置情報算出部２２４により被写体が撮像されたときの撮像位置を検出する。

ステップＳ６０３においてＣＰＵ２１０は、実施形態１においてサーバ１００のＣＰＵ１１０が実行するルート照合処理を実行する。

ステップＳ６０４においてＣＰＵ２１０は、実施形態１においてサーバ１００のＣＰＵ１１０が実行する案内対象物検索処理を実行する。

ステップＳ６０５においてＣＰＵ２１０は、前述の追加情報入力処理を実行する。

ステップＳ６０６においてＣＰＵ２１０は、実施形態１においてサーバ１００のＣＰＵ１１０が実行する分類ラベル登録処理を実行する。

このように、実施形態２では、追加情報登録システム１０はサーバ１００を備えずに携帯端末２０のみで構成することができる。

本実施形態２のデータベース生成方法、データベース生成装置およびデータベース生成プログラムによれば、撮像された被写体である対象物に該当する追加情報が入力されることによって、教師データのサンプル数を効率的に増やしつつ、分類ラベルの細分化度合いを高めることができる。

なお、本実施形態２では、施設として公園内に植栽されている植物を被写体としていたが、これに限らず、公園内にある遊具などの設備、動物が飼育されている檻、昆虫が頻繁に観察されるスポットを被写体としてもよい。また、公園に限らず、テーマパークや遊園地、動物園などの屋外施設であってもよい。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。

［付記１］
所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出ステップと、
前記位置検出ステップにより検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、
前記第１の判定ステップにより前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、
前記第２の判定ステップにより前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、
前記表示ステップにより表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、
を有することを特徴とするデータベース生成方法。
［付記２］
所定の被写体に対する撮像により前記被写体の画像を取得する取得ステップと、
前記取得ステップにより前記被写体が撮像されたときの撮像位置を検出する位置検出ステップと、
前記位置検出ステップにより検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、
前記第１の判定ステップにより前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、
前記第２の判定ステップにより前記被写体が前記対象物であると判定された場合、前記取得ステップにより取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、
前記表示ステップにより表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、
を有することを特徴とするデータベース生成方法。
［付記３］
前記登録地点は、前記対象物に対応づけられている
ことを特徴とする付記１又は２に記載のデータベース生成方法。
［付記４］
前記登録地点は、前記ユーザが移動する際に通ると想定される所定のライン上に設定されており、
前記第１の判定ステップは、前記撮像位置と前記ラインとの距離に基づいて前記撮像位置が前記登録地点から所定の距離閾値よりも近いか否か判定する
ことを特徴とする付記１から３の何れか１項に記載のデータベース生成方法。
［付記５］
前記ユーザが移動する方向を検出する方向検出ステップを有し、
前記第１の判定ステップは、前記方向検出ステップにより検出された移動方向と前記ラインの始点から終点への方向とが一致した場合に、前記撮像位置と前記ラインとの距離に基づいて前記撮像位置が前記登録地点から所定の距離閾値よりも近いか否か判定する
ことを特徴とする付記４に記載のデータベース生成方法。
［付記６］
所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出手段と、
前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段と、
前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段と、
前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段と、
前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段と、
を備えることを特徴とするデータベース生成装置。
［付記７］
所定の被写体に対する撮像により前記被写体の画像を取得する取得手段と、
前記取得手段により前記被写体が撮像されたときの撮像位置を検出する位置検出手段と、
前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段と、
前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段と、
前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記取得手段により取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段と、
前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段と、
を備えることを特徴とするデータベース生成装置。
［付記８］
前記登録地点は、前記対象物に対応づけられている
ことを特徴とする付記６又は７に記載のデータベース生成装置。
［付記９］
コンピュータを、
所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出手段、
前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段、
前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段、
前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段、
前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段、
として機能させるためのデータベース生成プログラム。
［付記１０］
コンピュータを、
所定の被写体に対する撮像により前記被写体の画像を取得する取得手段、
前記取得手段により前記被写体が撮像されたときの撮像位置を検出する位置検出手段、
前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段、
前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段、
前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記取得手段により取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段、
前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段、
として機能させるためのデータベース生成プログラム。
［付記１１］
前記登録地点は、前記対象物に対応づけられている
ことを特徴とする付記９又は１０に記載のデータベース生成プログラム。

１０ 追加情報登録システム
１００ サーバ
１１０ ＣＰＵ
１２１ ＲＡＭ
１２２ 操作部
１２３ 表示部
１２４ 通信部
１２９ バス
１３０ 記憶部
１４０ ラインデータベース
１５０ 対象物データベース
１７０ 位置情報データベース
１８０ 再学習データベース
２００ 携帯端末
２１０ ＣＰＵ
２２１ ＲＡＭ
２２２ 操作部
２２３ 表示部
２２４ 位置情報算出部
２２５ 撮像部
２２６ 音声入力部
２２７ 音声出力部
２２８ 通信部
２２９ バス
２３０ 記憶部
２３１ 追加情報登録プログラム
５００ ネットワーク

Claims (11)

1. 所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出ステップと、
   前記位置検出ステップにより検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、
   前記第１の判定ステップにより前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、
   前記第２の判定ステップにより前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、
   前記表示ステップにより表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、
   を有することを特徴とするデータベース生成方法。
2. 所定の被写体に対する撮像により前記被写体の画像を取得する取得ステップと、
   前記取得ステップにより前記被写体が撮像されたときの撮像位置を検出する位置検出ステップと、
   前記位置検出ステップにより検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定ステップと、
   前記第１の判定ステップにより前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定ステップと、
   前記第２の判定ステップにより前記被写体が前記対象物であると判定された場合、前記取得ステップにより取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示ステップと、
   前記表示ステップにより表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録ステップと、
   を有することを特徴とするデータベース生成方法。
3. 前記登録地点は、前記対象物に対応づけられている
   ことを特徴とする請求項１又は２に記載のデータベース生成方法。
4. 前記登録地点は、前記ユーザが移動する際に通ると想定される所定のライン上に設定されており、
   前記第１の判定ステップは、前記撮像位置と前記ラインとの距離に基づいて前記撮像位置が前記登録地点から所定の距離閾値よりも近いか否か判定する
   ことを特徴とする請求項１から３の何れか１項に記載のデータベース生成方法。
5. 前記ユーザが移動する方向を検出する方向検出ステップを有し、
   前記第１の判定ステップは、前記方向検出ステップにより検出された移動方向と前記ラインの始点から終点への方向とが一致した場合に、前記撮像位置と前記ラインとの距離に基づいて前記撮像位置が前記登録地点から所定の距離閾値よりも近いか否か判定する
   ことを特徴とする請求項４に記載のデータベース生成方法。
6. 所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出手段と、
   前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段と、
   前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段と、
   前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段と、
   前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段と、
   を備えることを特徴とするデータベース生成装置。
7. 所定の被写体に対する撮像により前記被写体の画像を取得する取得手段と、
   前記取得手段により前記被写体が撮像されたときの撮像位置を検出する位置検出手段と、
   前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段と、
   前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段と、
   前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記取得手段により取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段と、
   前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段と、
   を備えることを特徴とするデータベース生成装置。
8. 前記登録地点は、前記対象物に対応づけられている
   ことを特徴とする請求項６又は７に記載のデータベース生成装置。
9. コンピュータを、
   所定の被写体の画像を取得するために前記被写体が撮像されたときの撮像位置を検出する位置検出手段、
   前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段、
   前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段、
   前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段、
   前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段、
   として機能させるためのデータベース生成プログラム。
10. コンピュータを、
    所定の被写体に対する撮像により前記被写体の画像を取得する取得手段、
    前記取得手段により前記被写体が撮像されたときの撮像位置を検出する位置検出手段、
    前記位置検出手段により検出された前記撮像位置が所定の登録地点から所定の距離閾値よりも近いか否か判定する第１の判定手段、
    前記第１の判定手段により前記撮像位置が所定の登録地点から所定の距離閾値よりも近いと判定された場合、前記被写体が予め登録されている対象物であるか否か判定する第２の判定手段、
    前記第２の判定手段により前記被写体が前記対象物であると判定された場合、前記取得手段により取得された前記画像に対応づけて登録するための追加情報を、ユーザが入力することが可能な画面を表示させる表示制御手段、
    前記表示制御手段により表示された前記画面に前記追加情報が入力された場合、前記入力された追加情報を分類ラベルとして所定の記憶手段に登録する登録手段、
    として機能させるためのデータベース生成プログラム。
11. 前記登録地点は、前記対象物に対応づけられている
    ことを特徴とする請求項９又は１０に記載のデータベース生成プログラム。

Images