JP2019024551A - データベース構築方法、およびデータベース構築プログラム - Google Patents

データベース構築方法、およびデータベース構築プログラム Download PDF

Info

Publication number
JP2019024551A
JP2019024551A JP2017143777A JP2017143777A JP2019024551A JP 2019024551 A JP2019024551 A JP 2019024551A JP 2017143777 A JP2017143777 A JP 2017143777A JP 2017143777 A JP2017143777 A JP 2017143777A JP 2019024551 A JP2019024551 A JP 2019024551A
Authority
JP
Japan
Prior art keywords
mission
game application
collection
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017143777A
Other languages
English (en)
Other versions
JP6863159B2 (ja
Inventor
良高 谷治
Yoshitaka Taniji
良高 谷治
酒井 健一
Kenichi Sakai
健一 酒井
聡 東別府
Satoshi Higashibeppu
聡 東別府
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017143777A priority Critical patent/JP6863159B2/ja
Publication of JP2019024551A publication Critical patent/JP2019024551A/ja
Priority to JP2021042984A priority patent/JP7151811B2/ja
Application granted granted Critical
Publication of JP6863159B2 publication Critical patent/JP6863159B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】データベースを構築するため、廉価にラベル付けされたデータを収集する。【解決手段】データベース構築方法は、ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定のメンバに配布する配布ステップと、配布ステップで配布されたゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップとを有する。【選択図】図1

Description

本発明は、データベース構築方法、およびデータベース構築プログラムに関する。
近年、人間の学習能力をコンピュータ上で実現させようとする機械学習がめざましく進歩している。機械学習には、入力とそれに対応すべき出力を写像する関数を形成する教師あり学習と、入力のみから出力を写像する関数を形成する教師なし学習が含まれる。教師なし学習は、データの背後に存在する本質的な構造を抽出する手法であるが、思い通りの出力を再現できるとは限らない。これに対して教師あり学習は、その「出力すべきもの」を教師データとして与える手法であり、思い通りの出力を再現することができる。
特許文献1の解決手段には、「実年齢の学習時には、実年齢が既知の1または複数の学習顔を実年齢とともに特徴量抽出装置1に入力する。特徴量抽出装置1は、各学習顔から複数の特徴量を抽出する。年齢識別装置2は、特徴量抽出装置1により抽出された各学習顔の複数の特徴量と各学習顔の実年齢との相関関係を重回帰分析により求める。見かけ年齢の学習時には、見かけ年齢が既知の1または複数の学習顔を見かけ年齢とともに特徴量抽出装置1に入力する。特徴量抽出装置1は、各学習顔から複数の特徴量を抽出する。年齢識別装置2は、特徴量抽出装置1により抽出された各学習顔の複数の特徴量と各学習顔の見かけ年齢との相関関係を重回帰分析により求める。」と記載されている。
特開2005−148880号公報
教師あり学習では、大量の教師データを学習させることにより、出力精度を向上させることができる。しかし、このような教師データを作成するには、膨大な画像データと、これら画像データに人間が正解ラベルを付けてゆく工数とが必要となる。なお、特許文献1に記載されている発明では、実年齢が既知の1または複数の学習顔からなる教師データをどのように収集するかについては、何ら触れられていない。
そこで、本発明は、データベース構築方法、およびデータベース構築プログラムについて、データベースを構築するため、廉価にラベル付けデータを収集することを課題とする。
本発明は、上記目的を達成するため、
ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定のメンバに配布する配布ステップと、
前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
を有することを特徴とするデータベース構築方法である。
本発明によれば、データベースを構築するため、廉価にラベル付けされたデータを収集することが可能となる。
本実施形態におけるシステムの概略を示す構成図である。 本実施形態におけるスマートフォンの概略の構成を示す図である。 「初夏の花」をテーマとしたコレクション画面の初期状態を示す図である。 バラとスイレンが撮影されたコレクション画面を示す図である。 全てのマスが撮影されたコレクション画面を示す図である。 確認テスト画面を示す図である。 サーバ装置とスマートフォンの動作を示すシーケンス図である。 スマートフォンによるコレクション処理を示すフローチャートである。 サーバ装置の概略の構成を示す図である。 サーバ装置が備える各種データベースの構成を示す図である。 サーバ装置による画像データベースの構築処理を示すフローチャートである。 画像データベースを活用したバラの植生位置画面である。 画像データベースを活用したバラの撮影頻度画面である。 画像データベースに基づくタイムラプス動画生成処理を示すフローチャートである。 画像データベースを教師データとする学習処理と認識処理を示すフローチャートである。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図1は、本実施形態におけるシステムSの概略を示す構成図である。
システムSは、ネットワークNに、サーバ装置1と、複数のスマートフォン2a〜2cなどが接続されて構成される。以下、各スマートフォン2a〜2cを特に区別しないときには、単にスマートフォン2と記載する。
サーバ装置1は、各スマートフォン2a〜2cに、指定された被写体の画像を撮影することがミッションとして含まれているゲームアプリケーションを配信する。各スマートフォン2a〜2cは、このゲームアプリケーションを実行することにより画像を収集し、収集した画像をサーバ装置1に申請する(アップロードする)。
サーバ装置1は、このゲームアプリケーションによって撮影された画像を各スマートフォン2a〜2cから受信して収集し、スクリーニングしてラベル付けすることにより、データベースを構築する。
図2は、本実施形態におけるスマートフォン2の概略の構成を示す図である。
スマートフォン2は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、タッチパネルディスプレイ25、フラッシュメモリ27、無線通信部28を備えている。
CPU21は、ROM22やフラッシュメモリ27に格納されているプログラムを実行し、RAM23を作業領域としてデータを読み書きする。
RAM23は、高速に読み書き可能な揮発性メモリである。
フラッシュメモリ27は、読み書き可能な不揮発性メモリであり、画像を収集するゲームアプリケーションであるコレクションプログラム271を格納している。このコレクションプログラム271は、指定された被写体を撮影するゲームアプリケーションである。
タッチパネルディスプレイ25は、例えば液晶ディスプレイや有機ELディスプレイに透明なタッチパネルを積層したものであり、表示操作手段として動作する。
無線通信部28は、例えばLTE(Long Term Evolution)やWiFi(登録商標)によって外部と無線通信するものである。
スマートフォン2は更に、撮像部24、GPS(Global Positioning System)部29を備える。
撮像部24は、レンズ群が配置された鏡筒と、このレンズ群による被写体画像を撮像する撮像素子と、撮像素子による撮像データを処理して画像情報を得る画像処理部を備える。GPS部29は、GPS衛星のうち、上空にある数個の衛星からの信号をGPS受信機で受け取り、受信者が自身の現在位置と受信時刻を知るものである。
図3は、「初夏の花」をテーマとしたコレクション画面3の初期状態を示す図である。このコレクション画面3は、スマートフォン2のタッチパネルディスプレイ25に表示される。
コレクション画面3には、タイトルバー31、ユーザレベルペイン32、申請ボタン33、コレクションペイン34、ガイダンスペイン35が表示されている。このコレクション画面3は、ユーザに「初夏の花」をテーマとする画像を撮影して収集するように促すものである。コレクションプログラム271は、所定の施設内に咲いている複数の初夏の花を調査対象としてユーザに提示し、これら調査対象を被写体として指定している。
タイトルバー31には、メニューボタンが左側に表示され、その右側には「季節の生きもの探し」が表示されている。
ユーザレベルペイン32は、このアプリケーションによって画像を収集しようとしているユーザのレベルを示す領域である。このユーザレベルペイン32には、ユーザのレベルが「一つ星ハンター」であり、星の数は1個であり、このコレクション画面3によるゲームを開始後の経過時間が5分12秒であることが示されている。
コレクションペイン34は、収集中のテーマに係るテンプレートが示されている。テンプレートは3行3列に区切られている。中心部を除く8個のマスは、撮影画像を貼り付ける領域として設けられている。図3において収集中のテーマは「初夏の花」である。収集対象の生き物は、テンプレートの各マスに線画で示されている。
2行1列目のマスには、スイレンの線画が表示されている。3行2列目のマスには、バラの線画が示されている。ユーザが2行1列目のマスをタップすることで、スイレンの花を撮影するための画面に遷移する。ユーザが3行2列目のマスをタップすることで、バラの花を撮影するための画面に遷移する。
ガイダンスペイン35には、ユーザに対するガイダンスが表示されている。ここでは「初夏の花を撮影しよう。」が表示されている。
図4は、バラとスイレンが撮影されたコレクション画面3を示す図である。
図4に示すコレクション画面3は、図3とは異なり、ユーザレベルペイン32に示された所要時間が10分06秒となっている。更に図4のコレクション画面3は、コレクションペイン34のうち2行1列目のマスと3行2列目のマスに撮影画像が貼り付けられている。そして、ガイダンスペイン35には、「スイレンが撮影されました。」の文言が表示されている。これにより、どのマスが更新されたのかをユーザに示すことができる。
図5は、全てのマスが撮影されたコレクション画面3を示す図である。
図5に示すコレクション画面3は、図3とは異なり、ユーザレベルペイン32に示された所要時間が31分15秒となっている。更に図5のコレクション画面3は、コレクションペイン34のうち周囲8個のマスに撮影画像が貼り付けられており、申請ボタン33が表示されている。そして、ガイダンスペイン35には、「コンプリート!」の文言が表示されている。これにより、全てのマスが撮影されたことをユーザに示すことができる。
ユーザが申請ボタン33をタップすることにより、図6に示す確認テスト画面4に遷移する。
図6は、確認テスト画面4を示す図である。この確認テスト画面4は、スマートフォン2のタッチパネルディスプレイ25に表示される。
確認テスト画面4には、タイトルバー41、ユーザレベルペイン42、テストペイン43が表示されている。この確認テスト画面4は、「初夏の花」をテーマとする画像の撮影に関する確認テストである。
タイトルバー41には、メニューボタンが左側に表示され、その右側には「季節の生きもの探し」が表示されている。
ユーザレベルペイン42は、このアプリケーションによって画像を収集しようとしているユーザのレベルを示す領域である。このユーザレベルペイン42には、ユーザのレベルが「一つ星ハンター」であり、星の数は1個であり、このテンプレートを開始後の経過時間が31分24秒であることが示されている。
テストペイン43には、「確認テスト:スイレンに適した温度は?」の文言と、チェックボックス441〜443と、申請ボタン45とが表示されている。
チェックボックス441は、「15℃」の答えを選択するものである。チェックボックス442は、「20℃」の答えを選択するものである。チェックボックス443は、「25℃」の答えを選択するものである。
申請ボタン45は、確認テストの答えとともに、収集した画像をサーバ装置1に申請するものである。
図7は、サーバ装置1とスマートフォン2の動作を示すシーケンス図である。
サーバ装置1は、ユーザ登録のWebページをスマートフォン2などに表示させている。このユーザ登録のWebページは、所定の施設を紹介するためのWEBページを介して、この所定の施設への来訪者または/および来訪予定者に公開されている。スマートフォン2は、このWebページを介してサーバ装置1にユーザ登録要求を送信する(ステップS10)。
サーバ装置1は、このスマートフォン2のユーザを登録し(ステップS11)、コレクションプログラム271をスマートフォン2に送信する。スマートフォン2は、送信されたコレクションプログラム271をフラッシュメモリ27に格納し、自身にインストールする(ステップS13)。このように、アプリケーションをダウンロードすることにより、サーバ装置1は、所定の施設への来訪者または/および来訪予定者に、コレクションプログラム271を配布することができる。
その後、ユーザは、スマートフォン2のコレクションプログラム271を起動し(ステップS20)、マスの選択と撮影を行う(ステップS21)。以下、この操作を全てのマスが埋まるまで繰り返す。
ユーザは、スマートフォン2によって最後のマスの選択と撮影を行う(ステップS30)と、申請ボタン33をタップして(ステップS31)、確認テスト画面4を表示させる。ユーザは、この確認テスト画面4により、確認テストを行う(ステップS32)。
確認テストが終了すると、スマートフォン2はサーバ装置1に対して、一連の申請動作を実行する。
スマートフォン2は、サーバ装置1に登録ユーザとしてのログインを要求し(ステップS33)、その応答を受信する(ステップS34)。ここでは、ログインが正常に実行されたものとする。
スマートフォン2は、サーバ装置1に各画像と試行回数を送信し(ステップS35)、その応答を受信する(ステップS36)。
スマートフォン2は、サーバ装置1に収集の所要時間と確認テストの結果とを送信し(ステップS37)、その応答を受信する(ステップS38)。
サーバ装置1は、収集した画像と、この画像に関係するデータを関連するデータベースに格納する(ステップS39)。
スマートフォン2は、サーバ装置1に登録ユーザとしてのログアウトを要求し(ステップS40)、その応答を受信する(ステップS41)。ここでは、ログアウトが正常に実行されたものとする。
このようにすることで、サーバ装置1は、各スマートフォン2によって、所望の画像を収集することができる。
図8は、スマートフォン2によるコレクション処理を示すフローチャートである。
スマートフォン2のCPU21は、所要時間の測定を開始する(ステップS50)。
次いでCPU21は、所定のテンプレートを画面に表示し(ステップS51)、操作待ち状態(ステップS52)に遷移する。
操作待ち状態において、CPU21は、マスがタップされたらステップS53の撮影処理に進み、申請ボタン33がタップされたらステップS59の処理に進む。
マスのタップによりステップS53に進むと、CPU21は、撮像部24などを用いて撮影処理を実行する。これにより、画像データが生成され、この画像データに撮影日時情報と撮影位置情報とが埋め込まれる。その後、CPU21は、撮影が実行されたか否かを判定する(ステップS54)。
CPU21は、撮影が実行されたならば(Yes)、テンプレートのうちタップされたマスに撮影画像を貼り付け(ステップS55)、このマスの試行回数に1を加算する。そしてCPU21は、テンプレートの全てのマスに撮影画像が貼り付けられていなかったならば(ステップS57→No)、ステップS52の処理に戻る。CPU21は、テンプレートの全てのマスに撮影画像が貼り付けられたならば(ステップS57→Yes)、申請ボタン33を有効にして(ステップS58)、ステップS52の処理に戻る。図5に示したコレクション画面3は、申請ボタン33を有効にした例である。
申請ボタン33がタップされたならば、CPU21は、所要時間の測定を終了し(ステップS59)、確認テストの処理を実行する(ステップS60)。その後、CPU21は、サーバ装置1に登録ユーザとしてログインする(ステップS61)。
CPU21は、サーバ装置1に各画像と試行回数を送信し(ステップS62)、収集の所要時間と確認テストの結果とを送信する(ステップS63)。次いでCPU21は、当該ユーザをランクアップし(ステップS64)、サーバ装置1からログアウトして(ステップS65)、図8の処理を終了する。
このようにすることで、スマートフォン2は、サーバ装置1に、収集した画像を申請することができる。
図9は、サーバ装置1の概略の構成を示す図である。
サーバ装置1は、CPU11、ROM12、RAM13、入力部14、表示部15、通信部16、ハードディスク17を備えている。
CPU11は、ROM12やハードディスク17に格納されているプログラムを実行し、RAM13を作業領域としてデータを読み書きする。
RAM13は、高速に読み書き可能な揮発性メモリである。
ハードディスク17は、コレクションプログラム271、配布WEBページ172、原画像収集プログラム173、画像データベース構築プログラム174を格納している。更にハードディスク17は、タイムラプス動画生成プログラム175、タイムラプス動画176、機械学習プログラム177を格納している。
コレクションプログラム271は、配布WEBページ172を介して、各スマートフォン2に配布して実行させるためのプログラムである。
原画像収集プログラム173は、各スマートフォン2から申請された原画像を収集するためのプログラムであり、前記した図7で説明している。画像データベース構築プログラム174は、収集された原画像をスクリーニングした画像により、画像データベース184を構築するためのプログラムであり、後記する図11で詳細に説明する。タイムラプス動画生成プログラム175は、画像データベース184に基づいてタイムラプス動画176を生成するためのプログラムであり、後記する図14で詳細に説明する。
機械学習プログラム177は、画像データベース184を教師データとして学習する学習器であり、学習済みの学習器によって画像の被写体を推定することができる。
ハードディスク17は更に、ユーザデータベース181、コレクションデータベース182、原画像データベース183、画像データベース184を格納している。
ユーザデータベース181は、配布WEBページ172によって登録されたユーザ情報を格納するためのデータベースである。
コレクションデータベース182は、各スマートフォン2によって収集された画像群(コレクション)の属性情報を格納するためのデータベースである。
原画像データベース183は、各スマートフォン2によって収集された各原画像の属性情報を格納するためのデータベースである。
画像データベース184は、原画像データベース183に格納された原画像をスクリーニングして、教師データとしての正確性を向上させた画像を格納したデータベースである。なお画像データベース184の構成は、原画像データベース183と同様である。
図10は、サーバ装置1が備える各種データベースの構成を示す図である。
ユーザデータベース181は、ユーザ情報を格納するためのデータベースであり、ユーザID欄、名前欄、年齢欄、性別欄、レベル欄を含んで構成される。
ユーザID欄は、ユーザを一意に識別する番号を格納する。
名前欄は、このユーザの名前を格納する。
年齢欄は、このユーザの年齢を格納する。ユーザがあまりにも幼い場合には、このユーザが撮影した画像は、教師データとして不適であると考えられるため、年齢でスクリーニングしている。
性別欄は、このユーザの性別を格納する。
レベル欄はこのユーザのレベルを格納する。ここでレベルとは、コレクションプログラム271で定義されたレベルであり、例えば幾つの画像群(コレクション)を申請したかで決定される。ユーザレベルが低い場合には、このユーザが撮影した画像は、教師データとして不適であると考えられる。よって、ユーザレベルでスクリーニングしている。
コレクションデータベース182は、収集された画像群(コレクション)の属性情報を格納するためのデータベースである。このコレクションデータベース182は、コレクションID欄、ユーザID欄、コレクション名欄、撮影年月日欄、所要時間欄、確認欄を含んで構成される。
コレクションID欄は、このコレクションを一意に識別する番号を格納する。
ユーザID欄は、このコレクションを撮影したユーザを一意に識別する番号を格納する。この番号でユーザデータベース181のユーザID欄を検索することで、このコレクションを撮影したユーザの情報を得ることができる。
コレクション名欄は、このコレクションに付与されたテーマ名を格納する。
撮影年月日欄は、このコレクションが撮影された年月日を格納する。この撮影年月日は、例えばコレクションの最初に撮影した画像の撮影年月日タグであってもよく、コレクションの最後に撮影した画像の撮影年月日タグであってもよい。
所要時間欄は、このコレクションの撮影に要した時間を格納する。
確認欄は、このコレクションに係る確認テストにパスしたか否かを示す結果を格納する。確認テストにパスしなかった場合には、ユーザは注意力がないか、知識がないか、または不真面目であると考えられる。つまり、このコレクション全体が教師データとして不適であると考えられる。
原画像データベース183は、各スマートフォン2によって収集された各原画像の属性情報を格納するためのデータベースである。この原画像データベース183は、画像ID欄、画像欄、コレクションID欄、被写体欄、撮影年月日欄、撮影位置欄、試行回数欄を含んで構成される。
画像ID欄は、この画像を一意に識別する番号を格納する。
画像欄は、収集された原画像を格納する。
コレクションID欄は、この画像が含まれる画像群(コレクション)を一意に識別する番号を格納する。
被写体欄は、この画像の被写体の情報を格納する。
撮影年月日欄は、この画像が撮影された年月日を格納する。この年月日は、例えばこの画像ファイルに格納された撮影年月日タグ(EXIFのDateTimeOriginalタグ)に基づくものであってもよい。
撮影位置欄は、この画像が撮影された位置を格納する。この位置は、この画像ファイルに格納された撮影位置タグ(EXIFのGPS IFDのGPSLatitude, GPSLongitude ヘッダ)に基づくものであってもよい。
試行回数欄は、この画像を撮影するまでに試行した回数を格納する。試行回数が大きい場合には、この画像は、教師データとして好適であると考えられる。
図11は、サーバ装置1による画像データベース184の構築処理を示すフローチャートである。
サーバ装置1は、例えば深夜にバッチ処理で、画像データベース184の構築処理を実行する。
サーバ装置1のCPU11は、ステップS70〜S80の処理を、コレクションデータベース182の全コレクションについて繰り返す。
CPU11は、このコレクションに係る確認テストの結果がパスであるか否かを判定する(ステップS71)。CPU11は、確認テストの結果がフェイルであったならば(No)、ステップS80の処理に進み、確認テストの結果がパスであったならば(Yes)、ステップS72の処理に進む。このステップS71の処理は、収集された画像データを確認テストの結果に基づいてスクリーニングするスクリーニングステップである。
CPU11は、このコレクションの撮影に要した時間が適切か否かを判定する(ステップS72)。あまりにも短時間にコレクションの撮影が完了していたならば、正しく被写体が撮影されていないと考えられるためである。
CPU11は、所要時間が適切でないならば(No)、ステップS80の処理に進み、所要時間が適切ならば(Yes)、ステップS73の処理に進む。
更にCPU11は、このコレクションの撮影者が適切か否かを判定する(ステップS73)。適切な撮影者でなければ、適切な画像を撮影できないと考えられるためである。ここで適切な撮影者とは、例えば小学校高学年以上で、かつ一つ星レベル以上のユーザのことをいう。
CPU11は、撮影者が適切でないならば(No)、ステップS80の処理に進み、撮影者が適切ならば(Yes)、ステップS74の処理に進む。
CPU11は、ステップS74〜S79の処理を、このコレクションの全画像について繰り返す。
CPU11は、試行回数に基づく評価値を設定し(ステップS75)、更にこの評価値に画像品質に基づく評価値を加算する(ステップS76)。画像品質に基づく評価値は、例えば、シャープネスやコントラストなどを数値化して算出するとよい。
CPU11は更に、評価値が閾値を超えているか否かを判定する(ステップS77)。CPU11は、評価値が閾値を超えているならば(Yes)、この画像を画像データベース184に追加する(ステップS78)。CPU11は、評価値が閾値を超えていないならば(No)、ステップS79の処理に進む。
ステップS79において、CPU11は、このコレクションの全ての画像を処理するまで、ステップS74に戻って繰り返す。CPU11は、このコレクションの全ての画像を処理したならば、ステップS80に進む。
ステップS80において、CPU11は、コレクションデータベース182の全てのコレクションを処理するまで、ステップS70に戻って繰り返す。CPU11は、全てのコレクションを処理したならば、図11の処理を終了する。
このように処理することで、ゲームの副産物として、ラベル付けされた原画像データを収集することができる。更に原画像データを機械的にスクリーニングするのみで、ラベルが付与されたデータの正確性を向上させることができる。よって、結果的に廉価にラベルが付与されたデータを収集することが可能となる。
図12は、画像データベース184を活用したバラの植生位置画面5である。このバラの植生位置画面5は、例えばサーバ装置1の表示部15に表示される。
植生位置画面5は、属性ペイン50とマップペイン51とサムネイルペイン52を含んで構成される。
属性ペイン50は、この植生位置画面5で表示される被写体と、撮影年月日とを表示するものである。
マップペイン51は、属性ペイン50に示された被写体が、この撮影年月日においてどのように撮影されたかを示すペインである。このマップペイン51には、例えば所定の施設の地図と、その地図上の菱形マーカが表示されている。各菱形マーカは、被写体が撮影された場所を示している。
サムネイルペイン52は、属性ペイン50に示された被写体が、この撮影年月日において撮影された画像をサムネイル表示するペインである。ここでは、5枚のサムネイルが表示されている。
図13は、画像データベース184を活用したバラの撮影頻度画面6である。このバラの撮影頻度画面6は、例えばサーバ装置1の表示部15に表示される。
撮影頻度画面6は、タイトルバー60に表示された被写体「バラ」が、2017年度において、どのような頻度で撮影されたかを示す画面である。
撮影頻度グラフペイン61は、撮影頻度グラフを表示するペインである。撮影頻度グラフの縦軸は1日あたりの撮影画像数を示し、横軸は月日を示している。
サムネイルペイン62は、選択された日時に撮影された画像をサムネイル表示するペインである。
図14は、画像データベース184に基づくタイムラプス動画176の生成処理を示すフローチャートである。
最初、CPU11は、画像データベース184を被写体と撮影位置で絞り込み(ステップS90)、更に年月日で並び替える(ステップS91)。
更にCPU11は、例えばユーザに入力された開始日から終了日までステップS92〜S95の処理を繰り返す。
CPU11は、この年月日に撮影されていた画像を画像品質に基づいて評価し(ステップS93)、最も評価値の高い画像をタイムラプス動画176のフレームとする。CPU11は、これを終了日まで繰り返す(ステップS95)。
このように処理することで、好適にタイムラプス動画176を生成することができる。
図15は、画像データベース184を教師データとする学習処理と認識処理を示すフローチャートである。このフローチャートは、例えばサーバ装置1の機械学習プログラム177による処理を説明するためのものである。
まず、サーバ装置1の操作者は、画像データベース184を用いた学習を行うか、入力された画像の被写体を推定するかを指令する。CPU11は、学習が指令されたか否かを判定する(ステップS100)。
学習が指令されたならば、CPU11は、画像データベース184の各画像とその被写体について、ステップS101〜S105の処理を繰り返す。
CPU11は、この画像の特徴量を抽出し(ステップS102)、この特徴量と被写体について重回帰分析を行い(ステップS103)、重回帰式を求める。
続いて、CPU11は、重回帰式を更新する(ステップS104)。この場合、既に重回帰式が記憶されている場合には、今回の重回帰分析の結果に基づいて既に記憶されている重回帰式が再計算されて更新される。その更新された重回帰式は、例えばハードディスク17に記憶される。
その後、CPU11は、画像データベース184に格納された各画像について処理したか否かを判定する(ステップS105)。CPU11は、未だ処理されていない画像があったならば、ステップS101に戻り、処理を繰り返す。CPU11は、全ての画像を処理したならば、図15の処理を終了する。
ステップS100において、入力された画像の被写体の推定が指示された場合には、CPU11は、この画像を読み込む(ステップS106)。
次に、CPU11は、読み込まれた画像から複数の特徴量を抽出する(ステップS107)。更に、CPU11は、抽出された複数の特徴量およびハードディスク17に記憶された重回帰式を用いて被写体を推定する(ステップS108)。
機械学習プログラム177によれば、ラベル付けされた教師データを学習することにより、画像の被写体を正確に推定することができる。
(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(g)のようなものがある。
(a) 画像データベース184を教師データとして用いる学習器は、重回帰分析によるものに限定されず、ニューラルネットワーク、サポートベクターマシン、決定木など任意の方式の学習器であってもよい。
(b) 機械学習は、サーバ装置1が実行するものに限定されない。例えば重回帰式などの学習結果をスマートフォン2に配信して、スマートフォン2上で入力画像に係る被写体の推定を行ってもよい。
(c) コレクションプログラム271による被写体は、植物に限定されず、動物または人物であってもよい。更に山や川や海岸などの自然の風景、建築物、自動車や飛行機などの移動体などであってもよい。
(d) サーバ装置1は、所定の地域への来訪者または/および来訪予定者にコレクションプログラム271を配布してもよい。更にサーバ装置1は、この所定の地域を紹介するためのWEBページを介して配布してもよい。
(e) サーバ装置1は、所定のメンバにコレクションプログラム271を配布してもよい。
(f) 画像データベース構築プログラム174は、収集された画像データを、撮影日時情報または撮影位置情報に基づいてスクリーニングするスクリーニングステップを含んで実行してもよい。具体的にいうと、撮影日時としてあり得ない時間や、撮影位置としてあり得ない位置の画像データであったとき、この画像データを画像データベースに追加しないようにしてもよい。撮影日時としてあり得ない時間とは、例えば施設の閉園時間である。撮影位置としてあり得ない位置とは、例えば施設外である。
(g) 本発明は、画像の収集に限定されず、例えば音を収集するゲームアプリケーションであってもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
《請求項1》
ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定のメンバに配布する配布ステップと、
前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
を有することを特徴とするデータベース構築方法。
《請求項2》
ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定の施設または所定の地域への来訪者または/および来訪予定者に配布する配布ステップと、
前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
を有することを特徴とするデータベース構築方法。
《請求項3》
ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定の施設または所定の地域を紹介するためのWEBページを介して配布する配布ステップと、
前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
を有することを特徴とするデータベース構築方法。
《請求項4》
前記ゲームアプリケーションにおいて、前記施設内または前記地域内の調査対象が、前記被写体として指定されている、
ことを特徴とする請求項2または3に記載のデータベース構築方法。
《請求項5》
前記ゲームアプリケーションにおいて、前記被写体に関するテストを実施し、
前記収集ステップにおいて、前記画像データを収集すると共に、前記テストの結果を併せて収集し、
前記収集ステップにおいて収集された画像データを、前記テストの結果に基づいてスクリーニングするスクリーニングステップを更に有する、
ことを特徴とする請求項1から4のうち何れか1項に記載のデータベース構築方法。
《請求項6》
前記画像データは、撮影日時情報または撮影位置情報を含んでおり、
前記収集ステップにおいて収集された画像データを、前記撮影日時情報または前記撮影位置情報に基づいてスクリーニングするスクリーニングステップを更に有する、
ことを特徴とする請求項1から4のうち何れか1項に記載のデータベース構築方法。
《請求項7》
前記配布ステップにおいて、前記ゲームアプリケーションを配布すると共に、前記ゲームアプリケーションの配布を受けた者の属性をデータベースに登録し、
前記収集ステップにおいて収集された画像データを、前記ゲームアプリケーションの配布を受けた者の属性に基づいてスクリーニングするスクリーニングステップを更に有する、
ことを特徴とする請求項1から4のうち何れか1項に記載のデータベース構築方法。
《請求項8》
前記ゲームアプリケーションにおいて、前記施設内または前記地域内の複数の調査対象が、それぞれ前記被写体として指定されて1つのミッションを構成し、
前記収集ステップにおいて、前記画像データを収集すると共に、前記ミッションに掛かった所要時間を併せて収集する、
ことを特徴とする請求項2または3に記載のデータベース構築方法。
《請求項9》
前記ミッションで撮影された画像データを、当該ミッションに掛かった所要時間に基づいてスクリーニングするスクリーニングステップ、
を更に有することを特徴とする請求項8に記載のデータベース構築方法。
《請求項10》
ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定のメンバに配布する配布手段、
前記配布手段によって配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集手段、
としてコンピュータを機能させるためのデータベース構築プログラム。
1 サーバ装置
11 CPU
12 ROM
13 RAM
14 入力部
15 表示部
16 通信部
17 ハードディスク
172 配布WEBページ (配布手段)
173 原画像収集プログラム (収集手段の一部)
174 画像データベース構築プログラム
175 タイムラプス動画生成プログラム
181 ユーザデータベース
182 コレクションデータベース
183 原画像データベース
184 画像データベース
2,2a〜2c スマートフォン
21 CPU
22 ROM
23 RAM
24 撮像部
25 タッチパネルディスプレイ
26 発光部
27 フラッシュメモリ
271 コレクションプログラム (ゲームアプリケーション)
28 無線通信部
29 GPS部
3 コレクション画面
31 タイトルバー
32 ユーザレベルペイン
33 申請ボタン
34 コレクションペイン
35 ガイダンスペイン
4 確認テスト画面
41 タイトルバー
42 ユーザレベルペイン
43 テストペイン
441〜443 チェックボックス
45 申請ボタン
5 植生位置画面
50 属性ペイン
51 マップペイン
52 サムネイルペイン
6 撮影頻度画面
60 タイトルバー
61 撮影頻度グラフペイン
62 サムネイルペイン
S システム
N ネットワーク

Claims (10)

  1. ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定のメンバに配布する配布ステップと、
    前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
    を有することを特徴とするデータベース構築方法。
  2. ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定の施設または所定の地域への来訪者または/および来訪予定者に配布する配布ステップと、
    前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
    を有することを特徴とするデータベース構築方法。
  3. ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定の施設または所定の地域を紹介するためのWEBページを介して配布する配布ステップと、
    前記配布ステップで配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集ステップと、
    を有することを特徴とするデータベース構築方法。
  4. 前記ゲームアプリケーションにおいて、前記施設内または前記地域内の調査対象が、前記被写体として指定されている、
    ことを特徴とする請求項2または3に記載のデータベース構築方法。
  5. 前記ゲームアプリケーションにおいて、前記被写体に関するテストを実施し、
    前記収集ステップにおいて、前記画像データを収集すると共に、前記テストの結果を併せて収集し、
    前記収集ステップにおいて収集された画像データを、前記テストの結果に基づいてスクリーニングするスクリーニングステップを更に有する、
    ことを特徴とする請求項1から4のうち何れか1項に記載のデータベース構築方法。
  6. 前記画像データは、撮影日時情報または撮影位置情報を含んでおり、
    前記収集ステップにおいて収集された画像データを、前記撮影日時情報または前記撮影位置情報に基づいてスクリーニングするスクリーニングステップを更に有する、
    ことを特徴とする請求項1から4のうち何れか1項に記載のデータベース構築方法。
  7. 前記配布ステップにおいて、前記ゲームアプリケーションを配布すると共に、前記ゲームアプリケーションの配布を受けた者の属性をデータベースに登録し、
    前記収集ステップにおいて収集された画像データを、前記ゲームアプリケーションの配布を受けた者の属性に基づいてスクリーニングするスクリーニングステップを更に有する、
    ことを特徴とする請求項1から4のうち何れか1項に記載のデータベース構築方法。
  8. 前記ゲームアプリケーションにおいて、前記施設内または前記地域内の複数の調査対象が、それぞれ前記被写体として指定されて1つのミッションを構成し、
    前記収集ステップにおいて、前記画像データを収集すると共に、前記ミッションに掛かった所要時間を併せて収集する、
    ことを特徴とする請求項2または3に記載のデータベース構築方法。
  9. 前記ミッションで撮影された画像データを、当該ミッションに掛かった所要時間に基づいてスクリーニングするスクリーニングステップ、
    を更に有することを特徴とする請求項8に記載のデータベース構築方法。
  10. ゲームを達成するためのミッションに、指定された被写体の撮影が含まれているゲームアプリケーションを、所定のメンバに配布する配布手段、
    前記配布手段によって配布された前記ゲームアプリケーションにおけるミッションとして撮影された画像データを収集する収集手段、
    としてコンピュータを機能させるためのデータベース構築プログラム。
JP2017143777A 2017-07-25 2017-07-25 データベース構築方法、およびデータベース構築プログラム Active JP6863159B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017143777A JP6863159B2 (ja) 2017-07-25 2017-07-25 データベース構築方法、およびデータベース構築プログラム
JP2021042984A JP7151811B2 (ja) 2017-07-25 2021-03-17 データ収集装置、データ収集方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017143777A JP6863159B2 (ja) 2017-07-25 2017-07-25 データベース構築方法、およびデータベース構築プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021042984A Division JP7151811B2 (ja) 2017-07-25 2021-03-17 データ収集装置、データ収集方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019024551A true JP2019024551A (ja) 2019-02-21
JP6863159B2 JP6863159B2 (ja) 2021-04-21

Family

ID=65474879

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017143777A Active JP6863159B2 (ja) 2017-07-25 2017-07-25 データベース構築方法、およびデータベース構築プログラム
JP2021042984A Active JP7151811B2 (ja) 2017-07-25 2021-03-17 データ収集装置、データ収集方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021042984A Active JP7151811B2 (ja) 2017-07-25 2021-03-17 データ収集装置、データ収集方法およびプログラム

Country Status (1)

Country Link
JP (2) JP6863159B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161114A (ja) * 2019-03-26 2020-10-01 ネイバー コーポレーションNAVER Corporation 検索に基づく収集支援方法およびコンピュータ装置
JP2021102070A (ja) * 2017-07-25 2021-07-15 カシオ計算機株式会社 データ収集装置、データ収集方法およびプログラム
JP2022020039A (ja) * 2020-07-19 2022-01-31 プレティア・テクノロジーズ株式会社 コンテンツ提供システム及びコンテンツ提供方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238190A (ja) * 2005-02-25 2006-09-07 Fuji Photo Film Co Ltd 電子アルバム作成方法及び装置
JP3149006U (ja) * 2008-07-25 2009-03-12 株式会社スクウェア・エニックス 携帯端末、ゲームシステム、イベント用ポスター及びイベント運営設備
JP2009118069A (ja) * 2007-11-05 2009-05-28 Sony Corp 撮像装置、制御方法、プログラム
JP2009278161A (ja) * 2008-05-12 2009-11-26 Olympus Corp イベント用データ処理システム
JP2010124308A (ja) * 2008-11-20 2010-06-03 Sanyo Electric Co Ltd 無線機能付きカメラ及びサービス提供システム
JP2014115795A (ja) * 2012-12-10 2014-06-26 Tachibana Eletech Co Ltd 自転車管理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6863159B2 (ja) 2017-07-25 2021-04-21 カシオ計算機株式会社 データベース構築方法、およびデータベース構築プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238190A (ja) * 2005-02-25 2006-09-07 Fuji Photo Film Co Ltd 電子アルバム作成方法及び装置
JP2009118069A (ja) * 2007-11-05 2009-05-28 Sony Corp 撮像装置、制御方法、プログラム
JP2009278161A (ja) * 2008-05-12 2009-11-26 Olympus Corp イベント用データ処理システム
JP3149006U (ja) * 2008-07-25 2009-03-12 株式会社スクウェア・エニックス 携帯端末、ゲームシステム、イベント用ポスター及びイベント運営設備
JP2010124308A (ja) * 2008-11-20 2010-06-03 Sanyo Electric Co Ltd 無線機能付きカメラ及びサービス提供システム
JP2014115795A (ja) * 2012-12-10 2014-06-26 Tachibana Eletech Co Ltd 自転車管理システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"安佐動物公園オリジナルアプリ「あさ図鑑 asa zoo can」の提供を始めました", 広島市安佐動物公園 [ONLINE], JPN6020025888, 1 September 2016 (2016-09-01), ISSN: 0004308910 *
"広島市安佐動物公園 あさ図鑑", 広島市安佐動物公園 [ONLINE], JPN6020025892, 2016, ISSN: 0004308912 *
富澤 浩樹 HIROKI TOMIZAWA: "スマートフォンを用いた市民参加型調査支援システムの検討 A Study on the Public Participatory Field Re", 情報処理学会 研究報告 情報システムと社会環境(IS) 2015−IS−133 [ONLINE], JPN6020025890, 4 September 2015 (2015-09-04), JP, pages 1 - 8, ISSN: 0004308911 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021102070A (ja) * 2017-07-25 2021-07-15 カシオ計算機株式会社 データ収集装置、データ収集方法およびプログラム
JP7151811B2 (ja) 2017-07-25 2022-10-12 カシオ計算機株式会社 データ収集装置、データ収集方法およびプログラム
JP2020161114A (ja) * 2019-03-26 2020-10-01 ネイバー コーポレーションNAVER Corporation 検索に基づく収集支援方法およびコンピュータ装置
JP6998354B2 (ja) 2019-03-26 2022-01-18 ネイバー コーポレーション 検索に基づく収集支援方法およびコンピュータ装置
JP2022020039A (ja) * 2020-07-19 2022-01-31 プレティア・テクノロジーズ株式会社 コンテンツ提供システム及びコンテンツ提供方法
JP7215752B2 (ja) 2020-07-19 2023-01-31 プレティア・テクノロジーズ株式会社 コンテンツ提供システム及びコンテンツ提供方法

Also Published As

Publication number Publication date
JP2021102070A (ja) 2021-07-15
JP7151811B2 (ja) 2022-10-12
JP6863159B2 (ja) 2021-04-21

Similar Documents

Publication Publication Date Title
JP7151811B2 (ja) データ収集装置、データ収集方法およびプログラム
CN110674805B (zh) 昆虫识别方法及系统
JP5729476B2 (ja) 撮影装置、および撮影支援プログラム
CN101910936B (zh) 基于图像捕捉设备呈现的用户推荐的引导摄影
CN110378303B (zh) 用于对象识别的方法及系统
CN109447150A (zh) 一种植物观赏方法、装置、电子设备和存储介质
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
CN103823678B (zh) 图像处理方法和图像处理装置
KR20090087670A (ko) 촬영 정보 자동 추출 시스템 및 방법
CN102884523B (zh) 信息提供装置、信息提供方法、信息提供处理程序以及记录了信息提供处理程序的记录介质
CN107392238A (zh) 基于移动视觉搜索的户外植物知识拓展学习系统
CN103562957A (zh) 信息提供装置、信息提供方法、信息提供处理程序、记录了信息提供处理程序的记录介质以及信息提供系统
CN110033502B (zh) 视频制作方法、装置、存储介质及电子设备
CN110659581A (zh) 一种图像处理方法、装置、设备和存储介质
JP5418565B2 (ja) 画像表示システム、画像表示装置、サーバ、画像表示方法及びプログラム
CN107026966A (zh) 一种图片拍摄方法、终端及服务器
KR102040525B1 (ko) 인공지능 기반 부품 검색 시스템
CN110490086A (zh) 一种用于对象识别结果二次确认的方法及系统
CN105320242A (zh) 拍照方法及拍照终端
KR101415133B1 (ko) 정보처리장치, 정보처리방법, 및 프로그램
CN106233283A (zh) 图像处理装置、通信系统以及通信方法和摄像装置
CN110851638B (zh) 获取物种识别名称的方法及装置
CN110047115B (zh) 星辰图像拍摄方法、装置、计算机设备和存储介质
CN117809084A (zh) 图像识别模型训练方法、基于图像识别的交互方法及装置
CN107343142A (zh) 一种照片的拍摄方法及拍摄装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R150 Certificate of patent or registration of utility model

Ref document number: 6863159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150