JP2018147194A - 通信システム、ユーザ端末及びサーバ - Google Patents

通信システム、ユーザ端末及びサーバ Download PDF

Info

Publication number
JP2018147194A
JP2018147194A JP2017041040A JP2017041040A JP2018147194A JP 2018147194 A JP2018147194 A JP 2018147194A JP 2017041040 A JP2017041040 A JP 2017041040A JP 2017041040 A JP2017041040 A JP 2017041040A JP 2018147194 A JP2018147194 A JP 2018147194A
Authority
JP
Japan
Prior art keywords
information
user terminal
control unit
server
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017041040A
Other languages
English (en)
Inventor
トウレイ 魏
Torei Gi
トウレイ 魏
亮伯 駒木
Akinori Komaki
亮伯 駒木
秀人 清水
Hideto Shimizu
秀人 清水
亜樹 磯崎
Aki Isozaki
亜樹 磯崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017041040A priority Critical patent/JP2018147194A/ja
Publication of JP2018147194A publication Critical patent/JP2018147194A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】より効率的に特定の施設が写った撮影画像を取得することができる通信システム、ユーザ端末及びサーバを提供することである。【解決手段】実施形態の通信システムは、判定部と、ユーザ端末制御部と、サーバ制御部と、を持つ。判定部は、ユーザ端末の撮像装置によって撮像された撮像画像に、特定の施設の形状として定義される所定の条件を満たす形状である特定形状が含まれるか否か判定する。ユーザ端末制御部は、前記撮像画像を、ユーザ端末からサーバに送信する。サーバ制御部は、前記判定部によって前記特定形状が含まれると判定された撮像画像がサーバにおいて受信されたことに応じて、前記ユーザ端末に対し所定の利益を与えることを示すクーポンの情報を付与する。【選択図】図8

Description

本発明の実施形態は、通信システム、ユーザ端末及びサーバに関する。
近年、スマートフォン等の携帯端末の普及が進んでいる。また、殆どの携帯端末が撮像装置を備えている。このような状況を利用して、不特定多数のユーザから特定の施設が写った撮影画像を収集するシステム等が提案されている。
しかしながら、不特定多数のユーザにおいて、特定の施設が写った撮影画像をシステムに提供することのメリットが見いだしにくく、必ずしも有効に撮影画像を収集できない場合があった。
特開2011−248832号公報
本発明が解決しようとする課題は、より効率的に特定の施設が写った撮影画像を取得することができる通信システム、ユーザ端末及びサーバを提供することである。
実施形態の通信システムは、判定部と、ユーザ端末制御部と、サーバ制御部と、を持つ。判定部は、ユーザ端末の撮像装置によって撮像された撮像画像に、特定の施設の形状として定義される所定の条件を満たす形状である特定形状が含まれるか否か判定する。ユーザ端末制御部は、前記撮像画像を、ユーザ端末からサーバに送信する。サーバ制御部は、前記判定部によって前記特定形状が含まれると判定された撮像画像がサーバにおいて受信されたことに応じて、前記ユーザ端末に対し所定の利益を与えることを示すクーポンの情報を付与する。
通信システム100のシステム概略を示す図である。 ユーザ端末10の機能構成を示す概略ブロック図である。 サーバ20の機能構成を示す概略ブロック図である。 エリア情報テーブルの具体例を示す図である。 マンホール情報テーブルの具体例を示す図である。 評価情報テーブルの具体例を示す図である。 ロゴ情報テーブルの具体例を示す図である。 ユーザ端末10からサーバ20に対してマンホールの評価が登録される際の処理の具体例を示すシーケンスチャートである。 形状判定処理の具体例を示すフローチャートである。 登録処理の具体例を示すフローチャートである。 撮像モードにおいて制御部17が表示部13に表示される画面の具体例である。 撮像モードにおいて制御部17が表示部13に表示される画面の具体例である。 評価入力画面の具体例を示す図である。 共有画面の具体例を示す図である。 クーポン画面の具体例を示す図である。 アルバム画面の具体例を示す図である。
以下、実施形態の通信システム、ユーザ端末及びサーバを、図面を参照して説明する。
図1は、通信システム100のシステム概略を示す図である。まず、通信システム100の概略について説明する。通信システム100は、複数のユーザ端末10及びサーバ20を備える。各ユーザ端末10(以下、ユーザ端末10とする)とサーバ20とは、ネットワーク30を介して互いに通信可能である。通信システム100では、ユーザ端末10によって撮像された特定の施設の画像が、ネットワーク30を介してサーバ20に送信される。特定の施設は例えばマンホールである。サーバ20が、ユーザ端末10からマンホールの画像を受信すると、所定のクーポンに関する情報を、送信元のユーザ端末10に送信する。クーポンとは、ユーザに対して所定の利益を与えることを示す概念である。クーポンは、例えば所定の割引、所定のサービス、所定の商品をユーザが受けることを示すものである。例えば、クーポンは、撮像された特定の施設(マンホール)の位置に応じて、その近辺に位置する店舗によって所定の利益がユーザに対して与えられることを示すものであってもよい。このようにユーザ端末10のユーザに対しクーポンというインセンティブを与えることによって、より効率的にマンホールの画像を取得することが可能となる。以下、通信システム100の詳細について説明する。なお、特定の施設は、必ずしもマンホールに限定される必要は無い。例えば、携帯基地局、ビル、信号機など、どのような設備であってもよい。
ユーザ端末10は、スマートフォン、携帯電話機、携帯ゲーム機又はタブレット等の携帯可能な情報処理装置を用いて構成される。ユーザ端末10は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備える。ユーザ端末10は、ユーザプログラムを実行することによって機能する。なお、ユーザ端末10がユーザプログラムを実行することによって実現する機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。ユーザプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。ユーザプログラムは、電気通信回線を介して送信されてもよい。
図2は、ユーザ端末10の機能構成を示す概略ブロック図である。ユーザ端末10は、通信部11、操作部12、表示部13、撮像部14、記憶部15、位置情報取得部16及び制御部17を備える。
通信部11は、通信インタフェースである。通信部11は、ネットワーク30を介してサーバ20との間で通信する。通信部11は、例えば無線通信によってネットワーク30に接続してもよいし、有線通信によってネットワーク30に接続してもよい。
操作部12は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部12は、ユーザの指示をユーザ端末10に入力する際にユーザによって操作される。操作部12は、入力装置をユーザ端末10に接続するためのインタフェースであっても良い。この場合、操作部12は、入力装置においてユーザの入力に応じ生成された入力信号をユーザ端末10に入力する。
表示部13は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部13は、文字や画像を表示する。表示部13は、画像表示装置をユーザ端末10に接続するためのインタフェースであっても良い。この場合、表示部13は、文字や画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。なお、操作部12及び表示部13は、タッチパネルのように一体の装置として構成されてもよい。
撮像部14は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備えたカメラを用いて構成される。撮像部14は、操作部12に対するユーザの操作に応じて画像を撮像する。撮像部14は、撮像装置をユーザ端末10に接続するためのインタフェースであっても良い。この場合、撮像部14は、撮像装置においてユーザの入力に応じ撮影された画像のデータをユーザ端末10に入力する。
記憶部15は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部15は、撮像部14によって撮像された画像のデータを記憶する。記憶部15は、その他にも制御部17の制御に応じて種々のデータを記憶する。
位置情報取得部16は、ユーザ端末10の現在位置の位置情報を取得する。位置情報取得部16は、例えば衛星測位システムや携帯電話網の基地局との通信などによって現在位置の位置情報を取得する。衛星測位システムの具体例として、GPS(Global Positioning System)やGalileo等がある。位置情報取得部16は、取得した位置情報を制御部17へ出力する。
制御部17は、ユーザ端末10の動作を制御する。制御部17は、撮像部14によって撮像された画像において、処理対象となっている特定の施設(本実施形態ではマンホール)の形状として定義される所定の条件を満たす形状(以下「特定形状」という。)が存在するか否か判定する。例えば、撮像された画像においてエッジを強調させるフィルタ処理を実行し、強調されたエッジの中に所定の大きさ以上の略円形又は略楕円形の形を有するエッジが含まれているか否か判定する。この場合、所定の大きさ以上の略円形又は略楕円形が特定形状である。撮像画像において特定形状に該当するエッジが含まれている場合には、制御部17は特定形状が撮像画像内に存在すると判定する。制御部17は、特定形状が含まれていると判定すると、ユーザに対しマンホールの評価を示す情報(評価情報)の入力を求める。制御部17は、評価情報が入力されると、入力された評価情報と撮像されたマンホールの画像とを含む登録情報を生成する。制御部17は、生成された登録情報を、サーバ20に対して送信する。制御部17は、登録情報の送信に応じてサーバ20からクーポン情報及び関連情報を受信する。尚、クーポン情報と関連情報のいずれか一方を受信する構成であってもよい。制御部17は、クーポン情報を受信すると、受信されたクーポン情報を記憶部15に記録し表示部13に表示する。また、制御部17は、関連情報を受信すると、受信された関連情報を表示部13に表示する。
サーバ20は、サーバ装置等の情報処理装置を用いて構成される。サーバ20は、バスで接続されたCPUやメモリや補助記憶装置などを備える。サーバ20は、サーバプログラムを実行することによって機能する。なお、サーバ20がサーバプログラムを実行することによって実現する機能の全て又は一部は、ASICやFPGA等のハードウェアを用いて実現されてもよい。また、サーバプログラムや後述の記憶部22乃至26の一部は、サーバ20と物理的に分離された別のサーバに分離された構成であってもよい。この場合、サーバ20と協働するサーバは、ネットワーク30を介して接続される。サーバプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。サーバプログラムは、電気通信回線を介して送信されてもよい。
図3は、サーバ20の機能構成を示す概略ブロック図である。サーバ20は、通信部21、エリア情報記憶部22、ユーザ情報記憶部23、マンホール情報記憶部24、評価情報記憶部25、ロゴ情報記憶部26及び制御部27を備える。
通信部21は、通信インタフェースである。通信部21は、ネットワーク30を介してユーザ端末10との間で通信する。通信部21は、例えば無線通信によってネットワーク30に接続してもよいし、有線通信によってネットワーク30に接続してもよい。
エリア情報記憶部22は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。エリア情報記憶部22は、エリア情報テーブルを記憶する。図4は、エリア情報テーブルの具体例を示す図である。エリア情報テーブルは、複数のエリア情報レコードを有する。エリア情報レコードは、エリアID、エリア位置情報、複数のクーポン情報(クーポン1、クーポン2、・・)、関連情報の各値を有する。
エリアIDは、実際の土地を区切ることによって得られる複数の領域のそれぞれを一意に表す識別情報である。エリアIDは、サーバ20を設計する者や管理する者によって予め適宜設定される。エリアIDは、例えば行政区画によって定められる各区画に対して割り当てられた識別情報であってもよいし、サーバ20を設計する者や管理する者によって独自に区切られた各区画に対して割り当てられた識別情報であってもよい。
エリア位置情報は、エリアIDによって示される領域の位置情報を示す。例えば、エリア位置情報は、エリアIDによって示される領域の境界線を緯度・経度を用いて示す情報であってもよい。
クーポン情報は、エリアIDによって示される領域においてユーザが所定の条件を満たした場合に、そのユーザに対して与えられるクーポンの情報を示す。クーポン情報は、例えばクーポンの対象となる企業や店舗を示す情報、クーポンの内容を示す情報、クーポンの有効期限、クーポンが利用可能となる条件、クーポン情報がユーザ端末10において表示される際の画像などを示す情報である。
関連情報は、エリアIDによって示される領域に関連する情報である。関連情報は、例えばその領域の歴史に関する情報であってもよい。関連情報は、例えばその領域に関連する企業や店舗やサービスに関する広告の情報であってもよい。関連情報は、例えばその領域において開催される予定のあるイベントのスケジュールであってもよい。関連情報は、例えばその領域に関連する団体(スポーツチーム、文化団体、コミュニティ等)を紹介する情報であってもよい。
ユーザ情報記憶部23は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。ユーザ情報記憶部23は、ユーザ端末10の各ユーザに関する情報を記憶する。このような情報は、例えばユーザ情報テーブルとして管理されてもよい。ユーザ情報記憶部23は、例えば、ユーザのID、ユーザの氏名、ユーザの属性情報(年齢、性別、居住地域、好みなど)、ユーザによって過去に登録されたマンホールの画像データ、ユーザによって過去に取得されたロゴのロゴID(以下「取得済みロゴID」という。)、ユーザによって既に画像が登録されたマンホールのマンホールID(以下「登録済みマンホールID」という。)、ユーザに対して付与されたクーポンを示すクーポン情報を対応付けてユーザ情報テーブルとして記憶する。
マンホール情報記憶部24は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。マンホール情報記憶部24は、特定の施設に関する情報の一例であるマンホール情報テーブルを記憶する。図5は、マンホール情報テーブルの具体例を示す図である。マンホール情報テーブルは、複数のマンホール情報レコードを有する。マンホール情報レコードは、マンホールID、位置情報、エリアIDの各値を有する。マンホールIDは、マンホールを一意に表す識別情報である。位置情報は、マンホールIDによって示されるマンホールの位置を示す情報である。位置情報は、例えばマンホールIDによって示されるマンホールの緯度及び経度を示す情報であってもよい。エリアIDは、マンホールIDによって示されるマンホールが位置する領域のエリアIDである。
評価情報記憶部25は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。評価情報記憶部25は、複数の評価情報テーブルを記憶する。評価情報テーブルは、ユーザによってマンホールに対してなされた評価を示すテーブルである。評価情報記憶部25は、例えばマンホールID毎に評価情報テーブルを記憶してもよい。また、マンホールID若しくは位置情報を項目の一つに加えた場合、評価情報テーブルは1つで構成することも可能である。図6は、評価情報テーブルの具体例を示す図である。評価情報テーブルは、複数の評価情報レコードを有する。評価情報レコードは、ユーザ端末10のユーザによって登録された評価毎に登録されてもよい。評価情報レコードは、日時、評価者ID、評価、画像データの各値を有する。
日時は、ユーザによって評価がなされた日時を示す。日時は、例えばユーザによってマンホールの画像が撮像された日時であってもよいし、ユーザ端末10から評価が送信された日時であってもよいし、ユーザ端末10からサーバ20が評価を受信した日時であってもよいし、サーバ20が受信された評価に応じた評価情報レコードを評価情報テーブルに登録した日時であってもよい。少なくともマンホールの画像が撮影された日時が含まれるよう、日時を記録する目的に応じて、複数の日時情報を記録できる構成が好ましい。
評価者IDは、評価を行ったユーザのユーザIDを示す。
評価は、評価の内容を表す。例えば、評価が複数の項目について5段階の値で示される場合には、項目毎に評価の値が登録されてもよい。例えば、評価は、マンホールの外観が汚いか綺麗かを5段階で示す情報であってもよい。例えば、1は非常に汚いことを示し、5は非常に綺麗であることを示してもよい。例えば、評価は、マンホールの周囲が臭いか無臭であるかを5段階で示す情報であってもよい。例えば、1は非常に臭いことを示し、5は殆ど無臭であることを示してもよい。その他に例えば、評価の項目について「はい」「いいえ」などの2つの選択肢が示される場合には、「はい」を1、「いいえ」を0の値として、その評価の値が登録されてもよい。その場合例えば、マンホールの外観の破損について「ある」「なし」の2つの選択肢で示す情報であってもよい。
画像データは、評価の際に撮像されたマンホールの画像のデータである。マンホールの画像のデータは、ユーザ端末10から評価の結果と共にサーバ20に対して送信される。サーバ20は、受信された評価の内容とマンホールの画像とを対応付けて、評価情報レコードに登録する。
ロゴ情報記憶部26は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。ロゴ情報記憶部26は、ロゴ情報テーブルを記憶する。図7は、ロゴ情報テーブルの具体例を示す図である。ロゴ情報テーブルは、複数のロゴ情報レコードを有する。ロゴ情報レコードは、ロゴID、配布条件、ロゴ画像データの各値を有する。ロゴとは、配布条件を満たしたユーザに対して与えられる画像である。
ロゴIDは、ロゴを一意に表す識別情報である。配布条件は、ロゴがユーザに対して与えられる条件を示す。配布条件は、例えば予め定められた複数のマンホールの画像が同一のユーザによってサーバ20に対して登録されたことであってもよい。配布条件は、例えばある所定のエリアにおいて所定数のマンホールの画像が同一のユーザによってサーバ20に対して登録されたことであってもよい。配布条件は、例えば所定の評価を行った回数が同一のユーザによってサーバ20に対して登録されたことであってもよい。配布条件は、例えば所定の複数のユーザ(例えばチームを構成するユーザ)によって所定の評価を行った回数がサーバ20に対して登録されたことであってもよい。配布条件は、どのような内容であってもよい。
ロゴ画像データは、ユーザに対して与えられるロゴの画像のデータを示す。
制御部27は、CPUがサーバプログラムを実行することによって、ユーザ情報制御部271、マンホール情報制御部272、評価情報制御部273及びロゴ情報制御部274として機能する。
ユーザ情報制御部271は、ユーザ情報記憶部23に登録されているユーザ情報テーブルを制御する。ユーザ情報制御部271は、例えば新たなユーザが登録される場合に、新たなユーザに応じたユーザ情報レコードを生成し、ユーザ情報レコードをユーザ情報テーブルに追加する。ユーザ情報制御部271は、例えばユーザからマンホールの画像データが受信された場合、送信元のユーザのユーザIDに応じたユーザ情報レコードに、マンホールの画像データを登録し、登録済みマンホールIDを追加する。ユーザ情報制御部271は、配布条件を満たしたユーザに対してロゴ情報制御部274がロゴを与えた場合、与えられたロゴのロゴIDをユーザ情報レコードに登録する。ユーザ情報制御部271は、その他にも、様々なタイミングでユーザ情報レコードを更新する。
マンホール情報制御部272は、ユーザ端末10からマンホールの評価に関する情報(例えば後述する登録情報)が受信されると、受信されたマンホールの情報が、マンホール情報テーブルに既に登録されているマンホールに関する情報であるか否か判定する。例えば、ユーザ端末10から新たに受信されたマンホールの位置情報が、マンホール情報テーブルに既に登録されているいずれかのマンホール情報レコードの位置情報の所定範囲内に位置している場合には、マンホール情報制御部272は、既に登録されているマンホールの情報であると判定する。この場合、マンホール情報制御部272は、該当するマンホール情報レコードのマンホールIDを評価情報制御部273に通知する。一方、例えば、ユーザ端末10から新たに受信されたマンホールの位置情報が、マンホール情報テーブルに既に登録されているいずれかのマンホール情報レコードの位置情報の所定範囲内に位置していない場合には、マンホール情報制御部272は、新たなマンホールの情報であると判定する。この場合、マンホール情報制御部272は、受信されたマンホールに関する情報に基づいて新たなマンホール情報レコードを生成する。そして、マンホール情報制御部272は、生成されたマンホール情報レコードをマンホール情報テーブルに登録する。そして、マンホール情報制御部272は、新たに登録されたマンホールIDを評価情報制御部273に通知する。
評価情報制御部273は、ユーザ端末10から評価に関する情報が送付されると、受信した評価の情報に基づいて新たな評価情報レコードを生成する。そして、評価情報制御部273は、評価がなされたマンホールのマンホールIDに対応する評価情報テーブルに対して、新たに生成された評価情報レコードを登録する。このとき、評価情報制御部273は、受信された評価がどのマンホールIDに対応する評価であるかについては、マンホール情報制御部272から受ける通知に基づいて判定してもよい。
また、評価情報制御部273は、新たな評価情報レコードを登録すると、評価の送信元であるユーザに対してクーポン及び関連情報を送信する。具体的には以下のように動作してもよい。まず、評価情報制御部273は、受信された評価に含まれる位置情報を取得する。評価情報制御部273は、エリア情報記憶部22のエリア情報テーブルを参照し、受信された位置情報がどの領域に属するかを判定する。評価情報制御部273は、評価に関する情報を送信したユーザ端末10のユーザに対し、判定された領域のエリアIDに対応するクーポン情報及び関連情報を送信する。
評価情報制御部273は、所定のタイミングで、マンホールID毎に評価の情報を集計する。例えば、日時が所定の期間(例えば集計時から遡って3ヶ月間、1ヶ月間、1週間など)に該当する評価情報レコードの評価の値の統計値(例えば平均値、最頻値など)が所定の条件(例えば予め定められた閾値以下であること)を満たすか否か判定する。所定の条件とは、マンホールにおいて劣化等の悪い事象が生じていると推認できる条件である。例えば、マンホールの外観の5段階評価において、5回以上の「“1”の非常に汚い」が評価された場合や、マンホールの破損の有無において2回以上の「ある」が評価された場合である。所定の条件が満たされた場合、評価情報制御部273は、予め定められた者に対して警告を出力する。例えば、予め定められた者のメールアドレスや携帯端末に対して、所定の条件が満たされたマンホールのマンホールIDと共に、警告を示す画像又は文字が送信されてもよい。
ロゴ情報制御部274は、所定のタイミングで、ユーザID毎に各ロゴ情報レコードの配布条件について満たしているか否か判定する。配布条件が満たされた場合、ロゴ情報制御部274は、配布条件を満たしたユーザに対し、配布条件が満たされたロゴ情報レコードのロゴを与える。ロゴの付与において、ロゴ情報制御部274は例えば以下のように動作してもよい。まず、ロゴ情報制御部274は、ユーザ情報記憶部23からユーザ情報レコードを読み出す。ロゴ情報制御部274は、読み出されたユーザ情報レコードの登録済みマンホールIDを取得する。ロゴ情報制御部274は、ロゴ情報記憶部26からロゴ情報レコードを順に読み出し、登録済みマンホールIDが配布条件を満たしているか否か判定する。配布条件が満たされた場合、ロゴ情報制御部274は、処理の対象となっているユーザ情報レコードの取得済みロゴIDに対し、配布条件が満たされたロゴ情報レコードのロゴIDを新たに登録する。このような処理によって、配布条件を満たしたユーザに対してロゴが与えられる。
図8は、ユーザ端末10からサーバ20に対してマンホールの評価が登録される際の処理の具体例を示すシーケンスチャートである。まず、ユーザがユーザ端末10を操作することによってマンホールの画像を撮像する(ステップS101)。制御部17は、形状判定処理を実行することによって、撮像部14によって撮像された画像内に特定形状が存在するか否か判定する(ステップS102)。
図9は、形状判定処理の具体例を示すフローチャートである。まず、制御部17は、所定領域(例えば後述する枠313)内で検出されるエッジのうち、曲率半径が所定の範囲内(例えば第一の閾値αより大きく、第二の閾値βより小さい値域)のものが存在するか否か判定する(ステップS201)。このような条件を満たすエッジが存在する場合(ステップS201−YES)、制御部17は、撮像画像内に特定形状が存在すると判定する(ステップS202)。後述の判定ステップS103のために、「位置情報取得許可」ステータス情報をセットする(ステップS205)。
一方、上記条件を満たすエッジが存在しない場合(ステップS201−NO)、制御部17は、所定領域内で検出されるエッジのうち、円形を成すエッジであって、面積比率が所定の閾値γより大きいという条件を満たすものが存在するか否か判定する(ステップS203)。面積比率とは、エッジが成す円形の面積を、所定の値(例えば上記枠313が成す円の面積)で除算した値である。このような条件を満たすエッジが存在する場合(ステップS203−YES)、制御部17は、撮像画像内に特定形状が存在すると判定する(ステップS202)。一方、このような条件を満たすエッジが存在しない場合(ステップS203−NO)、制御部17は、撮像画像内に特定形状が存在しないと判定する(ステップS204)。特定形状の存在判定においては、前述の曲率半径の判定と面積比率の判定はどちらか一方のみで形状判定処理とすることも可能である。後述の判定ステップ104のために、「エラー」ステータス情報をセットする(ステップS206)。
図8の説明に戻る。撮像画像内に特定形状が存在しないと判定された場合(ステップS102−NO)、制御部17はエラーを出力する(ステップS104)。例えば、制御部17は、表示部13において特定形状が撮像画像から検出されていないことを示すエラー表示を出力する。
一方、撮像画像内に特定形状が存在すると判定された場合(ステップS103−YES)、制御部17は、位置情報取得部16からその時点の位置情報を取得する(ステップS105)。制御部17は、表示部13に表示情報の入力を促すための画面(以下「評価入力画面」という。)を表示させる。このときユーザは評価の内容を行わず評価入力画面を終了させることが可能である。制御部17は、ユーザの操作によって評価が入力されると、入力に応じて評価情報を取得する(ステップS106)。評価情報には、例えば評価が行われた日時、評価を行ったユーザのユーザID、評価の内容が含まれる。制御部17は、特定形状を含む撮像画像、位置情報及び評価情報を含む登録情報を生成する(ステップS107)。そして、制御部17は、生成された登録情報を、通信部11を介してサーバ20へ送信する(ステップS108)。
サーバ20の制御部27は、通信部21を介してユーザ端末10から登録情報を受信すると、受信された登録情報に基づいて登録処理を行う(ステップS109)。図10は、登録処理の具体例を示すフローチャートである。以下、登録処理の具体例について説明する。
まず、マンホール情報制御部272は、受信された登録情報に含まれる位置情報に基づいて、登録情報に含まれるマンホールの情報がマンホール情報テーブルに既に登録されているマンホールに関する情報であるか否か判定する(ステップS301)。マンホール情報制御部272は、新たなマンホールの情報であると判定した場合(ステップS301−NO)、受信された登録情報に基づいて新たなマンホール情報レコードを生成する(ステップS302)。そして、マンホール情報制御部272は、生成されたマンホール情報レコードを登録し、新たに登録されたマンホールIDを評価情報制御部273に通知する。評価情報制御部273は、受信された登録情報に含まれる評価情報及び撮像画像と、に基づいて評価情報レコードを生成する(ステップS304)。評価情報制御部273は、新たに生成された評価情報レコードを、通知されたマンホールIDに応じた評価情報テーブルに対して登録する。このようにして登録処理は完了する。
マンホール情報制御部272は、既に登録されているマンホールに関する情報であると判定した場合(ステップS301−YES)、そのマンホールのマンホールIDを取得する(ステップS303)。マンホール情報制御部272は、取得されたマンホールIDを評価情報制御部273に通知する。評価情報制御部273は、受信された登録情報に含まれる評価情報及び撮像画像と、に基づいて評価情報レコードを生成する(ステップS304)。評価情報制御部273は、新たに生成された評価情報レコードを、通知されたマンホールIDに応じた評価情報テーブルに対して登録する。このようにして登録処理は完了する。
図8の説明に戻る。登録処理が完了すると、評価情報制御部273は、受信された登録情報に含まれる位置情報に応じたクーポン情報及び関連情報をエリア情報記憶部22から取得する(ステップS110)。評価情報制御部273は、取得されたクーポン情報及び関連情報を、通信部21を介して、登録情報の送信元であるユーザ端末10に対して送信する(ステップS111)。
ユーザ端末10の制御部17は、クーポン情報及び関連情報を受信すると、受信されたクーポン情報及び関連情報を記憶部15に登録し表示部13に表示する(ステップS112)。
次に、ユーザ端末10の表示部13に表示される画面について説明する。図11及び図12は、マンホールの画像を撮像するためのモード(以下「撮像モード」という。)において制御部17が表示部13に表示される画面の具体例である。撮像モードは、例えばユーザが操作部12を操作することによって所定のアプリケーションを起動し、アプリケーション内において撮像モードに移行するための操作が実行されることによって開始される。
撮像モードでは、表示部13にはプレビュー領域311及び撮像操作領域312が表示される。プレビュー領域311には、枠313が表示される。枠313は、プレビュー領域311の略中央に配置される。枠313は、特定形状の一例を表す。例えば、特定形状に含まれる円の円周の一部(例えば3箇所)が欠けた図形として枠313が表示されてもよい。
プレビュー領域311には、撮像部14によって随時撮像されている画像(以下「プレビュー画像」という。)が表示される。プレビュー領域311に表示されるプレビュー画像は、所定のタイミングで更新される。図12に示されるように、プレビュー画像において撮像対象となっているマンホールの画像321が表示されている場合、ユーザは画像321が枠313に略一致するようにユーザ端末10を移動させることによって、特定形状の条件を満たした撮像画像を容易に撮影することが可能となる。
撮像操作領域312には、撮像を指示するためのボタンである撮像ボタン314が表示される。ユーザによって撮像ボタン314に対する操作(例えばタップ)がされると、制御部17は撮像部14に対し撮像を実行させる。
図13は、評価入力画面の具体例を示す図である。撮像モードにおいて特定画像が含まれた画像が撮像されると、制御部17はマンホールの評価情報を入力するためのモード(以下「評価モード」という。)に移行する。評価入力画面は、評価モードにおいて制御部17が表示部13に表示させる画面である。
評価モードでは、表示部13には撮像画像表示領域331及び評価操作領域332が表示される。撮像画像表示領域331には、撮像モードにおいて撮像された画像が表示される。評価操作領域332には、評価情報を入力するためのボタンである複数の評価ボタン333と送信ボタン334とが表示される。図13の例では、汚いか綺麗かを示す評価項目に対して5つの評価ボタン333が表示されている。ユーザが最も右の評価ボタン333に対して操作(例えばタップ)すると、非常に綺麗であることを示す“5”の評価であることが入力される。この場合、制御部17は、汚いか綺麗かを示す評価項目において“5”の評価内容が入力されたと判定する。臭いか無臭かを示す評価項目など、他の評価項目についても同様である。全ての評価項目について評価が示されると、送信ボタン334がアクティブになる。ユーザが送信ボタン334に対して操作(例えばタップ)すると、撮像画像表示領域331に表示されている撮像画像と、位置情報と、評価操作領域332において入力された評価情報と、を含む登録情報が制御部17によって生成される。そして、制御部17は、生成された登録情報をサーバ20へ送信する。
図14は、共有画面の具体例を示す図である。評価モードにおいて登録情報がサーバ20へ送信されると、制御部17はマンホールの撮像画像を他ユーザと共有するためのモード(以下「共有モード」という。)に移行する。共有画面は、共有モードにおいて制御部17が表示部13に表示させる画面である。
共有画面では、表示部13には撮像画像表示領域341及び共有操作領域342が表示される。撮像画像表示領域341には、撮像モードにおいて撮像された画像が表示される。共有操作領域342には、撮像画像を他ユーザと共有することを入力するためのボタンである複数の共有ボタン343が表示される。各共有ボタン343には、異なる共有形態を示す画像が表示されてもよい。共有の形態としては、ミニブログであってもよいし、ソーシャルネットワーキングサービスであってもよいし、他の形態であってもよい。ユーザが共有ボタン343に対して操作(例えばタップ)すると、操作された共有ボタン343に応じた共有アプリケーションが起動される。ユーザ端末10の制御部17は、起動された共有アプリケーションに対し少なくとも撮像画像を渡す。その後、共有アプリケーションの動作によって、撮像画像が他のユーザとの間で共有される。
図15は、クーポンを利用するためのモード(以下「クーポンモード」という。)において制御部17が表示部13に表示させる画面(以下「クーポン画面」という。)の具体例である。クーポンモードは、例えばユーザが操作部12を操作することによって所定のアプリケーションを起動し、アプリケーション内においてクーポンモードに移行するための操作が実行されることによって開始される。
クーポン画面では、表示部13には複数のクーポン表示領域351が表示される。クーポン表示領域351には、ユーザがこれまでに獲得した個々のクーポンに関する情報(クーポン情報)が表示される。ユーザがこれまに獲得した個々のクーポンに関する情報は、ユーザ端末10の記憶部15に記録されていてもよいし、サーバ20のユーザ情報記憶部23に記録されていてもよい。なお、クーポン表示領域351には、その時点で利用可能なクーポンのみが表示されてもよい。
クーポン表示領域351に対して操作(例えばタップ)がなされると、制御部17は操作されたクーポン表示領域351に表示されていたクーポンの詳細な情報を表示部13の画面に表示する。制御部17は、クーポンの詳細な情報については、記憶部15から取得してもよいし、サーバ20から取得してもよい。ユーザは、例えばユーザ端末10にクーポンの詳細な情報が表示された状態で店舗に提示することによってクーポンを利用することができる。
図16は、過去に撮像されたマンホールの画像を閲覧するためのモード(以下「アルバムモード」という。)において制御部17が表示部13に表示させる画面(以下「アルバム画面」という。)の具体例である。アルバムモードは、例えばユーザが操作部12を操作することによって所定のアプリケーションを起動し、アプリケーション内においてアルバムモードに移行するための操作が実行されることによって開始される。
アルバム画面では、表示部13には複数の撮像画像表示領域361が表示される。撮像画像表示領域361には、シリアル番号が付与されていてもよい。撮像画像表示領域361には、ユーザがこれまでに撮像した個々の撮像画像の縮小画像(例えばサムネイル)が表示される。なお、アルバムモードにおいて、撮像画像ではなく、ユーザがこれまでに獲得したロゴの画像の一覧が表示されてもよい。
以上説明した少なくともひとつの実施形態によれば、撮像画像の送信元であるユーザ端末10に対してクーポン情報を送信する構成を持つことにより、より効率的に、特定の施設が写った撮像画像をサーバ20において収集することができる。具体的には以下のとおりである。
通信システム100では、ユーザは、ユーザ端末10を操作して特定の施設(例えばマンホール)の画像を撮像し、撮像された画像をサーバ20に送信することによって、クーポンを取得できる。そのため、クーポンというインセンティブが得られるため、ユーザに対し特定の施設を撮像してサーバ20に送信することの動機を与える事ができる。そのため、より効率的に複数のユーザから撮像画像を取得することが可能となる。
また、通信システム100では、撮像画像において特定形状が含まれていなければ撮像画像をサーバ20に送信することができない。そのため、ユーザに対し、特定の施設が所定以上の大きさや角度で撮像されるように撮像操作を行う動機を与える事ができる。そのため、所定の条件を満たした撮像画像(有用な撮像画像)を複数のユーザからより効率的に取得することが可能となる。
また、本実施形態の通信システム100においては、所定の条件においてマンホール画像を撮影し、位置情報を取得することにより、位置情報を介して店舗サービスや関連情報を提供することができる。また、本実施形態の通信システム100においては、図14に示されるように、システム全体がソーシャルネットワークサービスとして活用できる。そのため、不特定多数のユーザに対して様々なメリットを提供することが可能となり、より効率的に特定の施設が写った撮影画像を取得することのできる通信システムが実現することが可能となる。また、クーポンや関連情報を提供する者にとっては、不特定多数のユーザに対して広告や集客の効果が期待できるクーポンや関連情報を配信することが可能となる。そのため、広告や集客の効果を享受することが可能となる。
(変形例)
撮像画像において特定形状が含まれているか否かの判定は、必ずしもユーザ端末10において実行される必要は無い。例えば、このような判定はサーバ20の制御部27によって実行されてもよい。この場合、ユーザ端末10の制御部17は、特定形状が含まれているか否かに関わらず、ユーザの操作に応じて撮像画像をサーバ20に送信する。制御部27は、受信された撮像画像に特定形状が含まれているか否か判定する。撮像画像に特定形状が含まれている場合には、制御部27はクーポン情報をユーザ端末10に送信する。一方、撮像画像に特定形状が含まれていない場合には、制御部27はクーポン情報をユーザ端末10に送信しないように構成されてもよい。
ステップS101からステップS104の処理は以下のように実行されてもよい。ユーザ端末10において撮像部14が起動されると、制御部17はユーザによって操作部12において撮像操作が行われる前であっても、プレビュー画像を取得する。制御部17は、プレビュー画像において特定形状が存在するか否か判定する。プレビュー画像において特定形状が存在しないと判定した場合、制御部17は特に表示態様を変更することなく撮像操作が行われるまでプレビュー画像を更新する。一方、プレビュー画像において特定形状が存在すると判定した場合、制御部17は表示部13における表示態様を変更する。例えば、制御部17は、図12に示される枠313の表示態様(色、太さ、点滅など)を変更してもよい。例えば、制御部17は、図12に示されるプレビュー領域311の表示態様(背景色など)を変更してもよい。このように構成されることによって、ユーザにおいて撮像操作を行う前から特定形状が撮像されるか否かが容易に判定可能となる。そのため、特定形状が含まれていない撮像画像を撮像してしまうことを抑止し、作業効率を向上させることが可能となる。
上述した実施形態では、登録情報として撮像画像、位置情報及び評価情報がユーザ端末10からサーバ20に送信された。ただし、登録情報は必ずしもこれら3つの情報全てを含まなくてもよい。例えば、登録情報は、撮像画像及び位置情報を含み、評価情報を含まないように構成されてもよい。例えば、登録情報は、撮像画像及び評価情報を含み、位置情報を含まないように構成されてもよい。この場合、評価情報は、位置情報に代えて特定の施設(例えばマンホール)を特定できる情報(例えばマンホールID)を含むように構成されてもよい。
上述した実施形態では、クーポン情報は登録情報がサーバ20において受信されたタイミングでユーザ端末10に送信されている。ただし、このタイミングでは、クーポン情報がユーザ端末10に対して付与がなされれば十分であり、必ずしもこのタイミングで送信が行われなくてもよい。例えば、図8のシーケンスチャートのステップS110の処理の後に、評価情報制御部273は、取得されたクーポン情報を、登録情報の送信元であるユーザ端末10のユーザIDに対応付けてユーザ情報テーブルに登録してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100…通信システム、10…ユーザ端末、11…通信部、12…操作部、13…表示部、14…撮像部、15…記憶部、16…位置情報取得部、17…制御部、21…通信部、22…エリア情報記憶部、23…ユーザ情報記憶部、24…マンホール情報記憶部、25…評価情報記憶部、26…ロゴ情報記憶部、27…制御部、271…ユーザ情報制御部、272…マンホール情報制御部、273…評価情報制御部、274…ロゴ情報制御部、20…サーバ、30…ネットワーク、311…プレビュー領域、312…撮像操作領域、313…枠、314…撮像ボタン、331…撮像画像表示領域331、332…評価操作領域、333…評価ボタン、334…送信ボタン、341…撮像画像表示領域、342…共有操作領域、343…共有ボタン、351…クーポン表示領域、361…撮像画像表示領域

Claims (8)

  1. ユーザ端末の撮像装置によって撮像された撮像画像に、特定の施設の形状として定義される所定の条件を満たす形状である特定形状が含まれるか否か判定する判定部と、
    前記撮像画像を、ユーザ端末からサーバに送信するユーザ端末制御部と、
    前記判定部によって前記特定形状が含まれると判定された撮像画像がサーバにおいて受信されたことに応じて、前記ユーザ端末に対し所定の利益を与えることを示すクーポンの情報を付与するサーバ制御部と、
    を備える通信システム。
  2. 前記サーバ制御部は、前記撮像画像が撮像された位置に応じたクーポンの情報を付与する、請求項1に記載の通信システム。
  3. 前記ユーザ端末制御部は、前記撮像画像に対応付けて、前記撮像画像が撮像された位置を示す位置情報を前記サーバに送信する、請求項1又は2に記載の通信システム。
  4. 前記ユーザ端末制御部は、前記撮像画像に対応付けて、前記撮像画像に撮像された前記特定の施設に対する評価を示す評価情報を前記サーバに送信し、
    前記サーバ制御部は、前記評価情報を記憶部に記録する、請求項1から3のいずれか一項に記載の通信システム。
  5. 前記サーバ制御部は、前記記憶部に記録された評価に基づいて、前記特定の施設について劣化等の悪い事象が生じていると推認できる条件を満たしているか否か判定し、前記条件が満たされた場合には、予め定められた者に対し警告を出力する、請求項4に記載の通信システム。
  6. 画像を撮像する撮像部と、
    前記撮像部によって撮像された撮像画像に、特定の施設の形状として定義される所定の条件を満たす形状である特定形状が含まれるか否か判定し、前記特定形状が含まれていると判定された前記撮像画像をサーバに送信し、前記サーバから所定の利益を与えることを示すクーポンの情報を受信する制御部と、
    を備えるユーザ端末。
  7. ユーザ端末から撮像画像を受信し、前記撮像画像に特定の施設の形状として定義される所定の条件を満たす形状である特定形状が含まれる場合に、前記ユーザ端末に対し所定の利益を与えることを示すクーポンの情報を付与する制御部、を備えるサーバ。
  8. ユーザ端末の撮像装置によって撮像された撮像画像に、特定の施設の形状として定義される所定の条件を満たす形状である特定形状が含まれるか否か判定する判定部と、
    前記撮像画像を、前記撮像画像が撮像された位置を示す位置情報とともにユーザ端末からサーバに送信するユーザ端末制御部と、
    前記撮像画像及び前記位置情報を対応付けて記憶装置に記録するサーバ制御部と、
    を備える通信システム。
JP2017041040A 2017-03-03 2017-03-03 通信システム、ユーザ端末及びサーバ Pending JP2018147194A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017041040A JP2018147194A (ja) 2017-03-03 2017-03-03 通信システム、ユーザ端末及びサーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017041040A JP2018147194A (ja) 2017-03-03 2017-03-03 通信システム、ユーザ端末及びサーバ

Publications (1)

Publication Number Publication Date
JP2018147194A true JP2018147194A (ja) 2018-09-20

Family

ID=63591305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017041040A Pending JP2018147194A (ja) 2017-03-03 2017-03-03 通信システム、ユーザ端末及びサーバ

Country Status (1)

Country Link
JP (1) JP2018147194A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229712A1 (ja) * 2020-05-13 2021-11-18 株式会社日立製作所 住民参加型保全活動支援システムおよび方法
JP7446107B2 (ja) 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259893A (ja) * 2005-03-15 2006-09-28 Oki Electric Ind Co Ltd 物体認識システム,コンピュータプログラム,および端末装置
JP2007065854A (ja) * 2005-08-30 2007-03-15 Toen Kk 道路状況報告用携帯端末、プログラム、緊急報告支援システム及び緊急報告支援方法
JP2007280371A (ja) * 2006-03-13 2007-10-25 Yoshihiko Nakajima 携帯端末を利用した口コミ情報伝送システム
JP2011248832A (ja) * 2010-05-31 2011-12-08 Denso It Laboratory Inc 画像収集システム、携帯端末、画像収集装置、及び画像収集方法
US20130346178A1 (en) * 2012-06-22 2013-12-26 Ith Corporation Method and system for providing coupon in connection with social networking service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259893A (ja) * 2005-03-15 2006-09-28 Oki Electric Ind Co Ltd 物体認識システム,コンピュータプログラム,および端末装置
JP2007065854A (ja) * 2005-08-30 2007-03-15 Toen Kk 道路状況報告用携帯端末、プログラム、緊急報告支援システム及び緊急報告支援方法
JP2007280371A (ja) * 2006-03-13 2007-10-25 Yoshihiko Nakajima 携帯端末を利用した口コミ情報伝送システム
JP2011248832A (ja) * 2010-05-31 2011-12-08 Denso It Laboratory Inc 画像収集システム、携帯端末、画像収集装置、及び画像収集方法
US20130346178A1 (en) * 2012-06-22 2013-12-26 Ith Corporation Method and system for providing coupon in connection with social networking service

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7446107B2 (ja) 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム
WO2021229712A1 (ja) * 2020-05-13 2021-11-18 株式会社日立製作所 住民参加型保全活動支援システムおよび方法

Similar Documents

Publication Publication Date Title
US20230030094A1 (en) Social media systems and methods and mobile devices therefor
CN103902641B (zh) 信息处理设备,内容提供方法和计算机程序
JP6070705B2 (ja) 情報処理装置、そのデータ処理方法、およびプログラム
US10078704B2 (en) Method and device for displaying microblog dynamics, and computer storage medium
CN108074129B (zh) 数字标牌及其控制方法
JP2015505384A (ja) 画像アノテーション方法およびシステム
CN105959745A (zh) 广告投放方法和系统
WO2015135387A1 (en) Method and device for displaying information which links to related information provided by user's friends at user's location
US20160148151A1 (en) Server
US20230007061A1 (en) Method for displaying object in timeline area, object display device, and information recording medium having recorded thereon program for implementing said method
JP2018147194A (ja) 通信システム、ユーザ端末及びサーバ
US10123094B1 (en) Location-based movie identification systems and methods
KR101556320B1 (ko) 소셜 참여와 평가에 기반한 사진 콘테스트 시스템
JP2014002480A (ja) カード情報処理システム、カード情報処理装置、カード情報処理方法、およびプログラム
JP6072743B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN114342344B (zh) 使用限制方法、便携式终端、以及存储介质
JP2023098067A (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR20200097119A (ko) 여행 정보 관리를 위한 장치 및 방법
JP2023173512A (ja) 情報処理装置、情報処理システム、およびプログラム
KR101171278B1 (ko) Tv 토크 방법
KR20150017058A (ko) 모바일 커뮤니티 어플리케이션을 이용한 사진 평가 시스템
KR20160135576A (ko) 모바일 로컬 동영상 광고 리워드 플랫폼 서비스 제공 방법
JP2016224762A (ja) 予定表示処理方法、装置、及びプログラム
KR20170051724A (ko) 스마트 미디어 연동형 개인 블랙박스용 라이프 로그 서비스 시스템 및 방법
KR20140129436A (ko) 광고주 단말에 의해 리스트업되는 개인광고 콘텐트의 스마트폰으로의 공유방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210706