JP2019070964A - 対象物取得確認のためのシステム、サーバ、プログラム及び方法 - Google Patents

対象物取得確認のためのシステム、サーバ、プログラム及び方法 Download PDF

Info

Publication number
JP2019070964A
JP2019070964A JP2017196974A JP2017196974A JP2019070964A JP 2019070964 A JP2019070964 A JP 2019070964A JP 2017196974 A JP2017196974 A JP 2017196974A JP 2017196974 A JP2017196974 A JP 2017196974A JP 2019070964 A JP2019070964 A JP 2019070964A
Authority
JP
Japan
Prior art keywords
image
type
feature
determined
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017196974A
Other languages
English (en)
Other versions
JP6517298B2 (ja
Inventor
修一 倉林
Shuichi Kurabayashi
修一 倉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Priority to JP2017196974A priority Critical patent/JP6517298B2/ja
Priority to PCT/JP2018/037779 priority patent/WO2019074011A1/ja
Priority to CN201880079702.XA priority patent/CN111465963B/zh
Priority to KR1020207009797A priority patent/KR102420331B1/ko
Publication of JP2019070964A publication Critical patent/JP2019070964A/ja
Application granted granted Critical
Publication of JP6517298B2 publication Critical patent/JP6517298B2/ja
Priority to US16/843,485 priority patent/US11281908B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物取得確認のためのシステム、サーバ、プログラム及び方法を提供すること。【解決手段】複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための携帯端末装置及びサーバを備えたシステムであって、携帯端末装置は、複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、対象物が撮像されていると判定された画像を取得対象物画像として取り込み、サーバへ送信し、サーバは、送信された取得対象物画像を受信し、複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該対象物に対する取得対象物画像の特徴相関量を決定し、取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、システム。【選択図】図１

Description

本発明は、ユーザが対象物を取得したことを確認するためのシステム、サーバ、プログラム及び方法に関する。
店舗等の所定の場所を訪れたユーザに対してオンラインゲーム等の特典を与えるチェックインサービスが知られている。特許文献１においては、所定の掲示物が掲示された場所を訪れた携帯端末装置のユーザに対してオンラインゲームの特典等を与えるサービスを提供する際に、携帯端末記憶部に記憶された掲示物の画像である基準画像に基づいて当該掲示物が撮像領域内に撮像されていると判定されると、掲示物とその周辺部を撮像させ、これを正規化した正規化画像と既に認証されてサーバに格納された認証済画像と比較して、その類似性に基づいて、ユーザの訪問を確認するシステムが開示されている。
特許第６１８１８９３号
しかし、当該システムは所定の場所を訪れたことを確認するためのものであり、商品を購入等して取得したユーザを確認して特典を与えるチェックインサービスのために、特典付与の対象となっている商品等の対象物の種類を精度良く識別することには必ずしも適していない。
商品の種類を識別する二次元コードを商品包装等に貼付することにより、撮像された画像の商品種類を特定することが可能である。しかし、二次元コードによって商品の種類を識別するためには、商品毎に異なる二次元コードが包装用紙等に表示されていなければならない。既存の包装用紙のデザインを変更させ二次元コードを印刷させることは単価を大きく上昇させるから、期間が限定されたイベント等のために実現することは困難である。また、既存の包装用紙に各商品等を識別する二次元コードを貼付する場合には、その作業のために単価が大きく上昇するとともに、商品の製造・流通経路を変更することを要求するため現実的ではない。
本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、本発明の一実施態様におけるシステムは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための携帯端末装置及びサーバを備えたシステムであって、前記携帯端末装置は、前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込み、前記取得対象物画像を前記サーバへ送信し、前記サーバは、前記送信された取得対象物画像を受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する。
前記１つの種類の対象物の画像特徴量は固有特徴量及び非固有特徴量を含み、前記固有特徴量は前記１つの種類の対象物の特徴である色彩を示す特徴的色彩値を含み、前記非固有特徴量は当該１つの種類の対象物の特徴ではない色彩を示す非特徴的色彩値を含み、前記特徴相関量は、前記取得対象物画像における、前記１つの種類の対象物の画像特徴量に基づいて前記１つの種類の対象物の特徴である色彩を示すと決定された特徴部の量と前記１つの種類の対象物の特徴でない色彩を示すと決定された非特徴部の量との比であり、前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記特徴相関量が所定の範囲内であるか否かによって決定してもよい。
前記非固有特徴量は、前記複数種類の対象物に共通する色彩を示す色彩値及び前記１つの種類の対象物の固有特徴量には含まれず他の種類の対象物の固有特徴量に含まれる色彩値の少なくとも一方を含んでもよい。
前記１つの種類の対象物の画像特徴量は当該種類の対象物の基準画像に含まれる形状についてのヒストグラムを含み、前記特徴相関量は、前記基準画像のヒストグラムと前記取得対象物画像に含まれる形状についてのヒストグラムとの差分に基づいて決定されるようにすることもできる。
当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定することは、前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定することとしてもよい。
前記複数種類の対象物のうちの１つの種類は前記携帯端末装置を介して予めユーザによって指定されることができる。
前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記複数種類の対象物の各々について行い、最も相関性が高い対象物を撮像した画像であると判定してもよい。
前記局所特徴量は、前記複数種類の対象物の共通する局所特徴量であるかまたは前記複数種類の各対象物に固有の局所特徴量とすることができる。
また、本発明の一実施態様におけるサーバは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのシステムにおいて使用されるサーバであって、携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する。
さらに、本発明の一実施態様における１組のプログラムは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための１組のプログラムであって、１以上のコンピュータに、前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する段階と、を実行させる。
本発明の一実施態様におけるプログラムは、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのプログラムであって、サーバに、携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、ことを実行させる。
本発明の一実施態様における方法は、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、１以上のコンピュータに、前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、前記決定された特徴相関量に基づいて、前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定する段階と、を実行させる。
本発明の一実施態様における方法は、複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、サーバに、携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、ことを実行させる。
本発明によれば、複数種類の商品等の対象物の中からユーザが取得した対象物の種類を識別して、ユーザが当該対象物を取得したことを確認するシステムを安価に実現することを可能とする。
本発明の一実施形態に係るシステムの全体構成である。 本発明の一実施形態に係る携帯端末装置のハードウェア構成図である。 本発明の一実施形態に係るサーバのハードウェア構成図である。 本発明の一実施形態に係る携帯端末装置の機能ブロック図である。 本発明の一実施形態に係るサーバの機能ブロック図である。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る携帯端末装置の情報処理を示すフローチャートである。 本発明の一実施形態に係る画面表示例を示す図である。 本発明の一実施形態に係るサーバの情報処理を示すフローチャートである。 本発明の一実施形態に係る対象物の特徴部及び非特徴部を可視化した図である。 本発明の一実施形態に係るウィンドウの概念を示す図である。 本発明の一実施形態に係る形状特徴量抽出方法を模式的に示した図である。
以下、図面を参照して、本発明の一つの実施形態を説明する。本実施形態に係る対象物の取得確認システム１００は、図１に示すように、ネットワーク１１０を介して接続された１以上の携帯端末装置１２０とサーバ１３０を備えるシステムによって実現することができる。対象物は、ユーザが取得したことを確認することができるものであればどのようなものであってもかまわない。本実施形態においては、チェックインサービスの対象となる商品とし、オンラインゲームのユーザが当該商品を店舗において購入して取得したことが確認されると、当該商品に対応する当該オンラインゲームにおけるアイテムが特典として付与される。対象物は必ずしも商品である必要はない。例えば、イベントで無料配布されるカード等であってもよい。
本実施形態における携帯端末装置１２０は、対象物を撮像してネットワーク１１０を介してサーバ１３０へ送信する装置であり、例えば、携帯電話機、スマートフォン、タブレット端末、携帯ゲーム機及びデジタルカメラ等の携帯型装置とすることができる。携帯端末装置１２０は、処理装置２０１、表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６、通信装置２０７及びバス２０８を備える。記憶装置２０６はプログラム２０９を格納する。
処理装置２０１は、プログラム２０９、入力装置２０３からの入力データ、撮像装置２０４からの撮像データ、位置情報取得装置２０５または通信装置２０７から受信したデータ等に基づいて、ウェブブラウザ等のアプリケーションの実行、画像処理などの各種の処理を行う。処理装置２０１は、携帯端末装置１２０が備える各装置を制御するプロセッサを備えており、プロセッサが含むレジスタや記憶装置２０６をワーク領域として各種処理を行う。これらの各構成部はバス２０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
表示装置（ディスプレイ）２０２は、処理装置２０１の制御に従って、アプリケーション画面や撮像装置２０４によって撮像された画像を表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。
入力装置２０３は、タッチパネル、タッチパッド、入力ボタン等のようにユーザからの入力を受け付ける機能を有するものである。携帯端末装置１２０が入力装置２０３としてタッチパネルを備える場合、タッチパネルは表示装置２０２としても機能し、表示装置２０２と入力装置２０３は一体となった構造である。表示装置２０２と入力装置２０３は、別の位置に配置される別個の形態であってもかまわない。撮像装置２０４は、実空間領域の静止画ないし動画を撮像するものである。位置情報取得装置２０５は、携帯端末装置の現在位置を示す情報を取得するものであり、例えばＧＰＳセンサやＷｉＦｉのＳＳＩＤ等に基づいて位置を特定する装置とすることができる。
記憶装置２０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。例えば携帯端末装置１２０がスマートフォンである場合はＲＯＭ及びＲＡＭを含む。記憶装置２０６には、プログラム２０９や当該プログラムの実行に伴って参照されうる各種のデータが記憶される。プログラム２０９は、オペレーティングシステム、またはビデオゲーム、ウェブブラウザ等のプレイヤ入力を要求するあらゆるアプリケーションのためのプログラムやデータを含む。
通信装置２０７は、移動体通信、無線ＬＡＮ等の無線通信やイーサネット（登録商標）ケーブル、ＵＳＢケーブル等を用いた有線通信を行う。この通信装置２０７によって、プログラムをサーバ１３０からダウンロードして、記憶装置２０６に格納することもできる。ＣＤ／ＤＶＤ等の光学ディスクにプログラムを格納し、通信装置２０７に光学ドライブを接続して、光学ディスクからプログラム等を読み込んで記憶装置２０６に格納してもよい。
図３は本実施形態に係るサーバ１３０のハードウェア構成を示すブロック図である。サーバ１３０は、処理装置３０１、表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７を備える。これらの各構成部はバス３０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
処理装置３０１は、サーバ１３０が備える各装置を制御するプロセッサを備えており、記憶装置３０６をワーク領域として各種処理を行う。表示装置３０２はサーバのユーザに情報を表示する機能を有する。入力装置３０３はキーボードやマウス等のようにユーザからの入力を受け付ける機能を有するものである。
記憶装置３０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ハードディスクにはプログラム３０９が記憶される。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。記憶装置３０６には、プログラム３０９や当該プログラムの実行に伴って参照され得る各種のデータが記憶される。
通信装置３０７はイーサネット（登録商標）ケーブル等を用いた有線通信や移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク１１０へ接続する。
図４は本発明の携帯端末装置１２０の機能ブロック図の一例を示す。携帯端末装置１２０は、携帯端末制御部４０１、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５、携帯端末記憶部４０６及び携帯端末通信部４０７を備える。
携帯端末表示部４０２はユーザに提示するための情報を表示する。携帯端末入力部４０３はユーザからの入力を受け付ける。撮像部４０４は実空間領域の静止画ないし動画を撮像する。位置情報取得部４０５は携帯端末装置１２０の現在位置情報を取得する。
携帯端末記憶部４０６は、各対象物の画像である基準画像を対象物の種類を示す対象物識別情報（ＩＤ）に紐付けて記憶する。本実施形態においては、対象物の種類が複数あるものとするが、１種類だけであっても動作可能である。対象物が１種類しかない場合は、基準画像は対象物ＩＤと紐付けて記憶されなくともよい。基準画像は、例えば、サーバ１３０から取得確認用アプリケーションに含めて携帯端末装置１２０の記憶部４０６にダウンロードすることができる。携帯端末記憶部４０６に記憶された基準画像は、サーバ１３０から通信部４０７を介して受信される情報に基づいて、所定のタイミングで更新することが好ましい。例えば、特典付与のためのイベントの更新のタイミングや一定期間毎に基準画像をダウンロードして更新することができる。取得確認用アプリケーションをウェブブラウザとして、閲覧画像を撮影するためのウェブサイトへアクセスした際に基準画像をダウンロードしてもよい。
携帯端末装置１２０の制御部４０１は、対象物を検出するための形状についての局所特徴量に基づいて、携帯端末装置の撮像部４０４によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込み、前記取り込まれた取得対象物画像をサーバ１３０へ送信する。また、位置情報取得部４０５を用いて携帯端末位置情報を取得し、撮像画像とともにサーバ１３０へ送信することもできる。
本実施形態において携帯端末制御部４０１は、図２に記載されたハードウェア構成に含まれるプログラム２０９が処理装置２０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５及び携帯端末記憶部４０６及び携帯端末通信部４０７はそれぞれ図２に記載した表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６及び通信装置２０７の各ハードウェアによって実現されるが、プログラム２０９が処理装置２０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
図５は本発明のサーバ１３０の機能ブロック図の一例を示す。サーバ１３０は、サーバ制御部５０１、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７を備える。
サーバ表示部５０２はサーバ管理者等のユーザに提示するために情報を表示する。サーバ入力部５０３はユーザからの入力を受け付ける。サーバ記憶部５０６は、対象物の画像である基準画像及び対象物の画像特徴量を対象物ＩＤに紐付けて記憶する。対象物が１種類しかない場合においては、基準画像及び画像特徴量は対象物ＩＤと紐付けて記憶されなくともよい。さらにサーバ記憶部５０６は、各対象物のための画像特徴量もまた対象物ＩＤに紐付けて記憶する。
サーバ制御部５０１は、携帯端末装置１２０からの要求に応じて記憶部５０６に記憶された基準画像をその紐付けられた対象物ＩＤとともに通信部５０７を介して携帯端末装置１２０へ送信する。また、基準画像が更新されたタイミング等の所定のタイミングで、記憶部５０６から基準画像を読み出し、携帯端末装置１２０へ送信し、携帯端末装置１２０における基準画像の更新を行うことができる。
サーバ制御部５０１は、携帯端末装置１２０から送信された取得確認要求をサーバ通信部５０７を用いて受信し、複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該種類の対象物に対する当該取得対象物画像の特徴相関量を決定し、この決定された特徴相関量に基づいて、取得対象物画像が当該種類の対象物を撮像した画像であるか否かを判定する。さらに、この取得対象物画像が不正に取得された画像であるか否かについて判定してもよい。取得対象物画像に対象物が撮像されており、不正に取得された画像ではないと判定された場合には、当該ユーザが当該対象物を取得したことが確認されたとして、対応する特典等を付与する。
本実施形態においてサーバ制御部５０１は、図３に記載されたハードウェア構成に含まれるプログラム３０９が処理装置３０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７はそれぞれ図３に記載した表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７の各ハードウェアによって実現されるが、プログラム３０９が処理装置３０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
次に、本実施形態における携帯端末装置１２０及びサーバ１３０の動作のフローチャートを図６に示した。本実施形態においては、携帯端末装置１２０であるスマートフォンのユーザがプレイしているオンラインゲームにおけるアイテムを取得するために、ユーザは複数種類の対象物である商品のうちのいずれかを購入して取得することを求められている場合を例にとって説明する。ここでは、商品の種類毎に与えられるオンラインゲームにおけるアイテムが異なるため、ユーザがいずれの商品を取得したのかを特定しなければならない。
ユーザは対象となっている商品を販売している店舗を実際に訪れ、いずれかの商品を購入して取得し、当該取得した商品を携帯端末装置１２０を用いて撮像して、サーバ１３０へ送信する。サーバ１３０は、取得された商品が複数ある対象商品のうちいずれかの種類の商品であるかが判定され、撮像された商品が対象商品のある１つの種類であると決定されると、ユーザがその商品を取得したと認められ、当該商品種類に対応するアイテムがこのユーザのゲームアカウントに対して配布される。以下に、これらの処理の内容を具体的に説明する。
まず、本実施形態においてユーザは、プログラム２０９として取得確認用アプリケーションを携帯端末装置１２０にダウンロードしてインストールし、いずれかの店舗を訪れて商品を購入する。ユーザが取得した商品の画像を撮像するために携帯端末装置１２０における取得確認用アプリケーションを起動すると、携帯端末装置１２０が取得確認要求処理（Ｓ６０１）を開始する。取得確認要求処理において携帯端末装置１２０の制御部４０１が撮像部４０４を用いて、商品を含む画像を撮像して取得対象物画像として取り込み、この取得対象物画像を含む取得確認要求をサーバ１３０へ通信部４０７を介して送信する。
サーバ１３０は取得確認要求を受信して、取得確認処理を実行する（Ｓ６０２）。取得確認処理においてサーバ１３０は、ユーザによって撮像された商品が、特典付与の対象となっている複数種類の商品のうちのいずれか１つの種類であるかを判定する。
本実施形態における取得確認要求処理（Ｓ６０１）のより具体的な処理内容を図７に示す。ユーザが携帯端末装置１２０における取得確認用アプリケーションを起動すると、取得確認要求処理Ｓ６０１が開始される。
携帯端末制御部４０１は基準画像のためのカウンタｄを０にセットする（Ｓ７０１）。本実施形態においては、携帯端末装置１２０の記憶部４０６には、特典付与の対象となるＤ個の種類の対象物（商品）の各対象物ＩＤに紐付けて基準画像が記憶され、これらに基づいて、ユーザによって撮像された画像に対象物である商品が含まれているか否かを判定する。基準画像は例えば対象物ＩＤ番号順に比較の対象とされる。
ユーザは携帯端末装置１２０の撮像部４０４を取得した商品に向けて、商品の撮像を試みる。撮像部４０４は向けられた方向の実空間を撮像する（Ｓ７０２）。撮像された画像は動画の１フレームとすることが好ましいが、静止画撮影によって撮像された画像であってもよい。そして、記憶部４０６に記憶された基準画像のうちのｄ番目（０≦ｄ＜Ｄ）の基準画像と撮像部４０４によって撮像された空間の撮像画像とを比較して（Ｓ７０３）、当該基準画像に紐付けられた対象物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する（Ｓ７０５）。
本実施形態において、基準画像と撮像部４０４によって撮像された空間の撮像画像との比較は形状についての局所特徴量に基づいて実行される。ここで形状は商品の形状の他に商品に記載されたロゴや商品名等の文字の形状や模様等も含む。局所特徴量を用いることにより、撮像された画像内に商品が撮像されているか否かを高速に判定することができる。局所特徴量は予め算出して記憶部４０６に予め記憶しておくことが好ましい。
ここでは局所特徴量を用いて大まかに対象物が撮像されているか否かを判定するため、比較している基準画像の対象物と類似するその他の対象物や対象物以外のものが撮像されている場合であっても、比較対象の基準画像の対象物が撮像されていると判定される可能性がある。本発明においては、局所特徴量を用いた判定におけるこのような誤判定の可能性を許容する。局所特徴量を用いることで高速に対象物が撮像されていると推定される領域を特定し、より精度の高い識別を行うための特徴相関量を用いた演算を行う対象を限定することで演算量を削減し、高速に対象物の種類を特定することを可能とする。
本実施形態においては、所定領域内に商品が撮像されるように携帯端末装置１２０の位置及び角度を移動させるようにユーザを誘導して、商品が撮像される領域を所定領域内に限定させる。これにより、撮像画像内の商品の位置及びサイズを幾何学的に正規化し、これ以降の商品種類識別のための情報処理量を削減する。
商品が撮像されるべき所定の領域は、撮像部４０４によって撮像可能な領域の全体よりも小さい領域とし、商品を所定の領域内に撮像するとともに商品の周辺部も同時に撮像する。周辺領域の画像は後述する不正取得対象物画像の検出（Ｓ９０７）に利用することができる。
ｄ番目の基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定されない場合には（Ｓ７０４）、カウンタｄをカウントアップし（Ｓ７０５）、判定すべきＤ種類のすべての対象物の基準画像と撮像画像とを比較したかを判定する（Ｓ７０６）。すべてについて判定していない場合には次の基準画像が撮像画像に対象物が撮像されているかを判定する（Ｓ７０３、Ｓ７０４）。すべての基準画像と撮像画像との比較を行ったと判定された場合には（Ｓ７０６）、カウンタｄをリセットし（Ｓ７０１）、新たな空間の画像を撮像し（Ｓ７０３）、この撮像画像に対して基準画像との比較を実行する。いずれかの基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定されるまでＳ７０１〜Ｓ７０６の処理を繰り返し実行する。
図８に１つの実施例としての表示部４０２に表示される取得確認用アプリケーションの表示画面８００を示す。対象物はハンバーガーとする。図８（ａ）に示すように、表示部４０２は、撮像部４０４によって撮像された空間の画像とともに、対象物であるハンバーガー８０２を納めるべき所定の領域を示す枠８０１及び対象物を枠内に入れるように指示するメッセージを表示する。ここでは表示部４０２には撮像部４０４の撮像領域の全体８０３が表示され、枠８０１はこの全体の領域よりも小さい領域である。このため、ハンバーガー８０２が枠８０１に収められた際には枠８０１の外側領域にはハンバーガー８０２の周辺の画像８０５が表示される。枠８０１内にハンバーガーを収めるように指示されることにより、ユーザは携帯端末装置１２０を移動させる。
基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する局所特徴量を用いた判定処理（Ｓ７０３、Ｓ７０４）は、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量を用いたキーポイントマッチング技術を用いることにより実現できる。具体的には、基準画像内の局所特徴量としての特徴的な点（キーポイント）を予め検出して取得確認用アプリケーションの一部として記憶部４０６に格納しておく。そして、この予め格納された基準画像の特徴点（キーポイント）を所定の領域（枠８０１）内に重畳させ、撮像部４０４が撮像して得た画像の特徴点がこの所定の領域内に重畳された特徴点と重なっている場合、基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定する。基準画像の特徴点と撮像された画像の特徴点とは完全に重なる必要はない。例えば、所定数の特徴点が所定のずれの範囲で重なった場合には、所定の領域内に対象物が撮像されていると判定することができる。
ユーザが携帯端末装置１２０を動かして、所定の領域内に対象物を納めることに成功すると、基準画像の対象物が撮像された空間の画像における所定の領域内に撮像されていると判定され（Ｓ７０４）、所定の領域内に撮像された対象物及びその周辺部を含む空間の画像が取得対象物画像として取り込まれる（Ｓ７０７）。本実施形態において取得対象物画像の取り込みは、これ以降の処理のために撮像画像を記憶部４０６に記憶することである。各携帯端末装置が取得対象物画像を取り込む処理を実行するから、大量の取得確認要求が同時になされた場合であっても各携帯端末装置へ負荷が分散され、サーバへの負荷を軽減することができる。
図８（ｂ）に示すように、取得対象物画像の取り込みに成功したことをユーザに伝えるためのメッセージとともに取得対象物画像をサーバに送信して取得確認要求を送信するか再度撮影し直すかを問い合わせるメッセージを表示部４０２に表示し、入力部４０３が再度取り直すための入力を受け付けた場合にはＳ７０１へ戻り、サーバ１３０へ送信するための入力を受け取った場合には、携帯端末装置１２０の制御部４０１は通信部４０７を用いて、取得確認要求をネットワーク１１０を介して送信するサーバ１３０へ送信する（Ｓ７０８）。取得確認要求は、ユーザを識別するユーザＩＤ及び取得対象物画像を含む。
本実施形態においては、所定の対象物の基準画像と撮像画像とを比較して所定領域内に対象物が撮像されているか否かの判定を行ったが、共通する特徴を有する複数種類の対象物については、共通する特徴を示した特徴量を表すデータに基づいて判定を行ってもよい。この場合には、この共通する特徴を有する全ての対象物が検出される。取得対象物画像にこれらの対象物のうちのいずれが撮像されているのかは後述する処理によって特定される。
次に、図９に示したフローチャートに基づいて、サーバ１３０で実行される取得確認処理（Ｓ６０２）の具体的な処理を説明する。本実施形態では、ｋ番目の対象物の基準画像の画像特徴量に基づいて、ｋ番目の種類の対象物に対する取得対象物画像の特徴相関量を決定し（Ｓ９０２）、決定された特徴相関量に基づいて、取得対象物画像に含まれる商品が対象商品のいずか１つの種類であるか否かを判定する（Ｓ９０３）。その後、その画像が不正に加工されていないか、さらに他のユーザによって撮像された画像の複製等の不正な画像であるか否かを判定する（Ｓ９０７）。取得対象物画像に対象物の１つの種類が含まれていて、不正な画像でない場合には、当該種類に対応する特典がユーザに付与される（Ｓ９０８）。以下、これらの処理について詳細に説明する。
サーバ制御部５０１は対象物の種類のためのカウンタｋを０にセットする（Ｓ９０１）。本実施形態においては記憶部５０６には、特典付与の対象となる複数種類の対象物の各々についての固有特徴量及び非固有特徴量が各対象物の対象物ＩＤに紐付けて記憶部５０６に記憶され、これらの対象物のいずれかがユーザによって撮像された画像に含まれているかを順次判定する。ここでは、固有特徴量及び非固有特徴量の両方を各対象物に固有のものとするが、固有特徴量のみを各対象物に対して固有とし、非固有特徴量は全種類に対して共有としてもよい。Ｓ９０２及びＳ９０３において比較の対象となる対象物は、例えば対象物ＩＤ番号順とすることができる。
固有特徴量はある対象物の種類を識別するために適切な特徴を示す量であり、非固有特徴量はその対象物の種類を識別するために不適切な特徴を示す量である。本実施形態においては、固有特徴量及び非固有特徴量は、対象物を表す画像の色彩についての特徴量とする。ここでは固有特徴量は、対象物を表す画像の各ピクセルのＲＧＢ値のうち、当該対象物の特徴的なＲＧＢ値を１以上含んだテーブルとする。例えば、対象物を撮像した画像から目視にて特徴的と思われるピクセルのＲＧＢ値及び特徴的ではないと思われるピクセルのＲＧＢ値を抽出してテーブルを作成することができる。このテーブルは、各対象物の基準画像に基づいて作成してもよいが、対象物画像におけるＲＧＢ値は撮像した際の照明の色等によっても変化するから、様々な照明条件において対象物を撮像した複数の画像に基づいて複数の固有特徴量を含んだテーブルを作成することが好ましい。
一例として、対象物であるハンバーガーの包装用紙に商品名が記載されている場合に、商品種類毎に商品名の文字色が異なるものの、包装用紙の背景色は共通である場合を考える。この場合には、各商品に固有の文字色を示すＲＧＢ値を含んだ固有特徴量テーブルを作成し、背景色を示すＲＧＢ値を含んだ非固有特徴量テーブルを作成する。さらに、ある商品の文字色と他の商品の文字色とは異なるから、他の商品の文字色を示すＲＧＢ値は、その商品については非固有特徴量のテーブルに含ませることができる。その商品以外のための文字色はその商品に含まれていない色であるから、このような特徴量を非固有特徴量に含めることにより、商品識別を誤る確率を減少させることができる。
本実施形態においては、商品名「ＣＨＥＥＳＥ ＢＵＲＧＥＲ」の文字は緑色、商品名「ＨＵＭＢＥＲＧＥＲ」の文字は紫色とし、ＣＨＥＥＥＳＥ ＢＵＲＧＥＲ及びＨＵＭＢＥＲＧＥＲの両方の包装用紙の背景色は茶色であるとする。このときの、ＣＨＥＥＳＥ ＢＵＲＧＥＲの固有特徴量テーブル及び非固有特徴量テーブルを表１及び表２に示す。
表１はＣＨＥＥＥＳＥ ＢＵＲＧＥＲの固有特徴量を示すテーブルである。例えば、ＩＤ＝０の１３１，１５０、８７はＣＨＥＥＥＳＥ ＢＵＲＧＥＲの文字色として使用される緑色を示す１つのＲＧＢ値である。照明条件によって、同じ印刷された緑色であってもその撮像された画像におけるＲＧＢ値は異なるものとなるから、緑を示す他の複数のＲＧＢ値も含まれている。表２はＣＨＥＥＳＥ ＢＵＲＧＥＲの非固有特徴量を示すテーブルである。例えば、ＩＤ＝０の１０７，７１，５４は、ＣＨＥＥＳＥ ＢＵＲＧＥＲとＨＵＭＢＥＲＧＥＲの両方の包装用紙に共通の茶色を示すＲＧＢ値である。さらに、ＣＨＥＥＳＥ ＢＵＲＧＥＲの包装用紙には含まれない、ＨＵＭＢＥＲＧＥＲの文字色である赤色を示すＲＧＢ値を含んでもよい。
サーバ制御部５０１は、これらの対象物の固有特徴量及び非固有特徴量に基づいて、その対象物についての取得対象物画像の特徴相関量を決定する。本実施形態においては、対象物の固有特徴量及び非固有特徴量に基づいて抽出された固有特徴部と非固有特徴部との面積比を当該対象物に対する特徴相関量とする。
まず、対象物の固有特徴量及び非固有特徴量のテーブルにおけるすべてのＲＧＢ値と取得対象物画像における各ピクセルのＲＧＢ値との色彩差分を算出する。あるピクセルにおけるＲＧＢ値との色彩差分が最も小さいＲＧＢ値を含むテーブルが固有特徴量テーブルである場合には、そのピクセルを固有特徴部（固有特徴ピクセル）とし、非固有特徴量テーブルである場合には、そのピクセルを非固有特徴部（非固有ピクセル）とする。そして、抽出された固有特徴部と非固有特徴部との面積比を算出する。
色彩差分の計算においては、均等性のある色空間上での色の距離系である、godlove色差式（Godlove, I. H.: Improved Color-Difference Formula, with Applications to the Perceptibility and Acceptability of Fadings, Journal of the Optical Society of America, 41(11), pp.760-770, (1951)）や、CIE2000（Luo, M. R., Cui, G., & Rigg, B., "The development of the CIE 2000 colour-difference formula: CIEDE2000", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002/col.1049）を用いることができる。例えば、ＨＳＶ空間上の距離として一般的に知られるgodlove色差式Δgodloveは、次のように定義できる。
図１０に、本実施形態の処理によって決定された固有特徴部及び非固有特徴部を可視化した図を示す。ここでは、固有特徴部（ピクセル）を白色及び非固有特徴部（ピクセル）を黒色で示した。このように、固有特徴量テーブルに含まれるＲＧＢ値に近いＲＧＢ値を有する部分、すなわち対象物の特徴的な色の部分である文字部分が固有特徴部として抽出され、非固有特徴量テーブルに含まれるＲＧＢ値に近いＲＧＢ値を有する部分、すなわち、対象物の特徴的な色ではない背景部分が非固有特徴部として抽出されていることが分かる。特徴相関量である抽出された固有特徴部と非固有特徴部との面積比は、例えば、図１０における白色部分と黒色部分の面積比である。
非固有特徴量テーブルを使用しないで、固有特徴量テーブルのＲＧＢ値との差が閾値内であれば固有特徴部と判定し、それ以外の場合には非固有特徴部と判定することもできる。しかし、前述したとおり、同一種類の対象物を撮像した場合であっても、照明条件によって撮像された画像の各ピクセルのＲＧＢ値は変化する。そのため、固有特徴量から一定の範囲内であるかのみによって固有特徴部か否かの判定を行うと誤判定される可能性が高まる。例えば、特徴的な色である緑に近い照明下で撮影された取得対象物画像の判定を行うと、すべてのピクセルが固有特徴量に近い色となるから、全てのピクセルが固有特徴部と判定される恐れがある。
一方、本実施形態のように、非固有特徴量テーブルも用いて、固有特徴量と非固有特徴量のいずれに近いかの相対的な判定を行うことにより、より正確に判定を行うことが可能となる。例えば、緑の照明下において撮像された画像に基づいて非固有特徴量が抽出されていれば、緑の照明下で撮像された取得対処物画像であっても、緑がかった背景色のピクセルは非固有特徴量テーブルに含まれるＲＧＢ値に近い色となるから、非固有特徴部と判定することが可能となる。様々な照明下において撮像した画像に基づいて、これらのテーブルを作成することによりその精度をより高めることができる。また、非固有特徴量として、対象物に含まれていない色を入れることにより、さらにその精度を高めることができる。
Ｓ９０３において、決定されたｋ番目の対象物に対する取得対象物画像の特徴相関量に基づいて、ｋ番目の対象物が撮像されているか否かについて判定する。この特徴相関量が当該対象物のために予め定められた範囲内である場合には、取得対象物画像にはＣＨＥＥＳＥ ＢＵＲＧＥＲが撮像されていると判定する。
そして、ｋ番目の対象物が撮像されていると判定された場合には、不正検出（Ｓ９０７）へ移行し、撮像されていないと判定された場合には、カウンタｋをカウントアップし（Ｓ９０４）、まだすべての種類Ｋについて判定していなければ（Ｓ９０５）、次の種類について再度判定処理を実行するためにＳ９０２へ戻る。すべての種類Ｋについて判定を行ったにもかかわらず、対象物が撮像されていると判定されなかった場合には、いずれの種類の対象物も検出できなかったからエラーと決定し（Ｓ９０６）、携帯端末装置１２０へエラーメッセージを送信し、対象物が検出できなかった旨の通知を行う（Ｓ９１０）。
ｋ番目の対象物が撮像されていると判定された場合には、不正取得対象物画像であるか否かの判定処理を行う（Ｓ９０７）。不正検出は、取得対象物画像を不正に加工したこと及び他のユーザが撮像した画像を複製する等によって不正に取得したことを検出する。画像が不正に加工されたか否かを検証する方法としては、A. E. Dirik and N. Memon, "Image tamper detection based on demosaicingartifacts," 2009 16th IEEE International Conference on Image Processing(ICIP), Cairo, 2009, pp. 1497-1500やMinati Mishra, Flt. Lt. Dr. M. C. Adhikary, "Digital Image Tamper DetectionTechniques - A Comprehensive Study," International Journal of ComputerScience and Business Informatics, Vol.2, No.1. ISSN: 1694-2108 , June 2013に示されているとおり、様々な方法が知られている。本発明においては、画像が不正に加工されたか否かを検証する方法であればいかなる方法であってもよい。
閲覧画像が不正に加工されていないと判定された場合には、取得対象物画像に含まれる対象物の周辺部の画像に基づいて他のユーザが撮像した画像を複製する等によって不正に取得したものであるか否かを判定する。対象物の周辺を含んだ画像は、通行人が映り込んだり、日陰の位置が変わったりするため、撮影する時間が異なれば、完全に同じ画像とはならない。また、商品の周辺部は商品の撮像場所毎に異なるから、撮像画像毎に異なるものとなる。本発明において既に正当な取得確認要求であると判定された取得確認要求に含まれていた取得対象物画像をサーバ記憶部５０６に格納して蓄積しておき、判定の対象となっている取得対象物画像を既に確認済の取得対象物画像と比較することによって、複製によって取得された画像であるか否かを判定することが可能である。両者の類似性が一定以上に高ければ不正な画像と判定する。
この周辺画像に基づいた不正検出は、例えば、特許文献１（特許第６１８１８９３号）に記載された方法によって実現することができる。本実施形態においては、撮像部４０４によって撮像可能な領域の全体よりも小さい所定の領域内に対象物を撮像させるから、対象物の周辺部も同時に撮像され、特許文献１に開示された不正検出方法を組み込んで不正検出を行うことができる。
不正取得対象画像検出（Ｓ９０７）において、不正な取得対象物画像ではないと判定された場合には、ｋ番目の対象物をユーザが取得したことが確認されたものとして、ｋ番目の対象物に対応する特典を付与するための処理を実行し（Ｓ９０８）、特典付与が行われた旨の通知を携帯端末装置１２０へ送信する（Ｓ９１０）。不正な取得対象物画像であると判定された場合には、不正取得対象物画像のための処理を実行し（Ｓ９０９）、不正取得対象画像であると判定された旨の通知を携帯端末装置１２０へ送信する（Ｓ９１０）。
本実施形態は、撮像された画像中に対物象が含まれる対象物領域検出のために回転や移動に強いロバストな特徴量である局所特徴量を用い、検出した対象物領域に含まれる対象物がバリエーション中のいずれかを確定させるための対象物識別のための大域的な色彩特徴量を用いるという、２つの特徴量を用いたマッチング処理を行う。これにより、多種類の対象物を高速・高精度に識別することを可能とする。変化やノイズには強いが識別性は十分に高くない局所特徴量と、識別性は高いものの変化やノイズには弱い大域的な色彩特徴量とを連結することにより、識別性とノイズ耐性の両方を同時に実現することを可能とする。
特に、対象物が包装用紙に包装された商品である場合などは、包装用紙の折り畳みによる変形や汚れなどのノイズが多く含まれ、既存の特徴量マッチングのみでは正確に商品種類を確定することができない。しかしながら、本実施形態を用いることにより、ノイズが多く含まれている場合であっても、高い精度で高速に対象物の種類を特定することができる。
本実施形態においては、Ｓ９０３において、ｋ番目の対象物に対する取得対象物画像の特徴相関量に基づいて取得対象物画像にｋ番目の対象物が撮像されていると判定されると、当該ｋ番目の対象物が撮像されたものと決定したが、複数種類のすべての対象物に対して特徴相関量を算出し、最も相関性の高い対象物が撮像されていると決定することもできる。例えば、ｋ番目の対象物のための予め記憶された所定値Ａｋと取得対象物画像のために算出された面積比Ｃｋとの差が最も小さい対象物が取得対象物画像に撮像されていると決定することができる。
本実施形態においては、Ｓ９０２において特徴相関量を得るために用いられる画像特徴量を色彩の特徴量としたが、形状の特徴量を用いて特徴相関量を決定することもできる。例えば、Ｎ×Ｎピクセルのウィンドウを定義し、基準画像の各ピクセルに対して順次適用して、形状のパターンを抽出して、これに基づいて形状の特徴量とすることができる。
説明を簡単にするためＮを２とし、白黒画像を対象とした場合を例にとって説明する。図１１に示すように２×２ピクセルのウィンドウ１１００を定義し、このウィンドウに含まれるピクセルのパターンは、各ピクセルが白または黒となるため２4通りのパターンとなり、各パターンに識別番号ＰＩＤ（０〜１５）を割り当てる。例えば、すべてのピクセル（１１０１〜１１０４）が白のパターンはＰＩＤ＝０、右下のピクセル（１１０１）のみが黒の場合はＰＩＤ＝１、全てのピクセルが黒の場合はＰＩＤ＝１５とする。
そして、図１２（ａ）に示す基準画像１２００に対してウィンドウ１１００を適用する。まず、基準画像１２００の左上のピクセル１２０１にウィンドウ１１００の左上のピクセル１１０１を位置合わせして（図１２（ｂ））、基準画像１２００の左上の２×２ピクセルのパターンを抽出し、抽出されたパターンのＰＩＤのカウンタを１カウントアップする。ここでは、基準画像１２００の左上の２×２ピクセルはすべて白であるから、ＰＩＤ＝０のカウンタＣＰＩＤ＿０を１つインクリメントする。図１２（ｃ）及び（ｄ）に示すとおり、ウィンドウ１１００を１ピクセルずつ移動させて、この処理を基準画像のすべてのピクセルに対して実行し、各ＰＩＤに対応するパターンがそれぞれいくつあったかをカウントし、カウンタＣＰＩＤ＿０〜ＣＰＩＤ＿１５を取得する。そして、このカウンタＣＰＩＤ＿０〜ＣＰＩＤ＿１５をビンとして、この対象物の種類についての画像特徴量としての形状ヒストグラムを取得する。
取得対象物画像に対してもこのウィンドウ１１００を用いて形状ヒストグラムを作成する。そして、取得対象物画像の形状ヒストグラムと基準画像の形状ヒストグラムとの差分を算出してこれを特徴相関量とする（Ｓ９０２）。そして、特徴相関量である差分値が所定の範囲内である場合には、取得対象物画像にその対象物が撮像されている判定され、範囲外であった場合には撮像されていないと判定される（Ｓ９０３）。ここでは特徴相関量である差分値が小さいほど相関性が高い。
さらに、変形例として、ユーザがいずれの対象物を取得したのかを予め特定してもよい。この場合には、特定された対象物の局所特徴量のみに基づいて、所定領域内に対象物が撮像されているのかの確認処理を行い、取得確認要求には、指定された対象物の種類を特定する対象物ＩＤを含めてサーバ１３０へ送信し、サーバ１３０はこれに基づいて特定された対象物の画像特徴量のみに基づいて取得対象物画像に対象物が撮像されているか否かを判定すればよいため、より高速の処理を実現することできる。
また、１人のユーザが所定の店舗において１つの種類の対象物を取得してチェックイン処理を行うことについて回数制限を行うことも可能である。この場合には、携帯端末装置１２０が確認要求を送信する際に、取得対象物画像の撮像時に位置情報取得部４０５によって取得された位置情報を取得確認要求に含めて送信し、サーバ１３０は特典付与を行う際に、当該対象物の種類について当該ユーザが既に当該位置付近において撮像された画像に基づいてチェックインを行っていないかを確認する。既にチェックインを行っていた場合には、特典付与は行わず、まだチェックインを行っていない場合には、特典付与を行った後、当該ユーザについては当該位置で既にチェックインを行ったことを示す情報をサーバ記憶部５０６に記憶する。
共通の特徴を含む複数種類の対象物の１つのカテゴリがある場合には、例えば、取得確認処理（Ｓ６０２）の開始時に、色彩等の共通特徴量に基づいて取得対象物画像に含まれる対象物がそのカテゴリのいずれか１つであることを決定して、そのカテゴリ内の対象物についてのみＳ７０１以降の処理を実行することもできる。多数の対象物がある場合には、比較の対象を削減することができるため、処理を高速化することができる。
本実施形態においては、サーバ１３０が取得確認処理（Ｓ６０２）を実行する場合について説明したが、携帯端末装置１２０が取得確認処理を実行してもよい。例えば、携帯端末装置１２０の記憶部４０６に、対象物の基準画像に加えて、特典付与の対象となる複数種類の対象物の各々についての固有特徴量及び非固有特徴量を各対象物の対象物ＩＤに紐付けて記憶することで実現できる。これらの情報は、サーバ１３０から定期的に取得して更新することが好ましい。携帯端末装置１２０は、Ｓ７０７において所定の領域内に撮像された対象物及びその周辺部を含む空間の画像が取得対象物画像として取り込んだ後、取得確認要求をサーバ１３０へ送信しない。サーバ１３０に代わって携帯端末装置１２０が、当該取り込んだ取得対象物画像に基づいて、取得確認処理としてＳ９０１〜Ｓ９０９の処理を実行し、ユーザが対象物を取得したことを確認することができる。通知送信（Ｓ９１０）は実行せずに、携帯端末装置１２０の表示部４０２に、ユーザが対象物を取得したか否かの確認の結果として、特典が付与されたこと、不正確認要求と判定されたこと等のメッセージを表示することができる。
以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
１００ 取得確認システム
１１０ ネットワーク
１２０ 携帯端末装置
１３０ サーバ
２０１ 処理装置
２０２ 表示装置
２０３ 入力装置
２０４ 撮像装置
２０５ 位置情報取得装置
２０６ 記憶装置
２０７ 通信装置
２０８ バス
２０９ プログラム
３０１ 処理装置
３０２ 表示装置
３０３ 入力装置
３０６ 記憶装置
３０７ 通信装置
３０８ バス
３０９ プログラム
４０１ 末制御部
４０２ 表示部
４０３ 入力部
４０４ 撮像部
４０５ 位置情報取得部
４０６ 記憶部
４０７ 通信部
５０１ 制御部
５０２ 表示部
５０３ 入力部
５０６ 記憶部
５０７ 通信部
８００ 表示画面
８０１ 枠
８０２ 対象物
８０３ 全体画像
８０５ 周辺画像
１１００ ウィンドウ
１１０１ ピクセル
１１０２ ピクセル
１１０３ ピクセル
１１０４ ピクセル
１２００ 基準画像
１２０１ ピクセル

Claims (13)

  1. 複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための携帯端末装置及びサーバを備えたシステムであって、
    前記携帯端末装置は、
    前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定し、
    いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込み、
    前記取得対象物画像を前記サーバへ送信し、
    前記サーバは、
    前記送信された取得対象物画像を受信し、
    前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    ことを特徴とするシステム。
  2. 前記１つの種類の対象物の画像特徴量は固有特徴量及び非固有特徴量を含み、
    前記固有特徴量は前記１つの種類の対象物の特徴である色彩を示す特徴的色彩値を含み、前記非固有特徴量は当該１つの種類の対象物の特徴ではない色彩を示す非特徴的色彩値を含み、
    前記特徴相関量は、前記取得対象物画像における、前記１つの種類の対象物の画像特徴量に基づいて前記１つの種類の対象物の特徴である色彩を示すと決定された特徴部の量と前記１つの種類の対象物の特徴でない色彩を示すと決定された非特徴部の量との比であり、
    前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記特徴相関量が所定の範囲内であるか否かによって決定する、
    ことを特徴とする請求項１に記載のシステム。
  3. 前記非固有特徴量は、前記複数種類の対象物に共通する色彩を示す色彩値及び前記１つの種類の対象物の固有特徴量には含まれず他の種類の対象物の固有特徴量に含まれる色彩値の少なくとも一方を含む、ことを特徴とする請求項２に記載のシステム。
  4. 前記１つの種類の対象物の画像特徴量は当該種類の対象物の基準画像に含まれる形状についてのヒストグラムを含み、
    前記特徴相関量は、前記基準画像のヒストグラムと前記取得対象物画像に含まれる形状についてのヒストグラムとの差分に基づいて決定される、
    ことを特徴とする請求項１に記載のシステム。
  5. 当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定することは、前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定することである、ことを特徴とする請求項１から４のいずれか１項に記載のシステム。
  6. 前記複数種類の対象物のうちの１つの種類は前記携帯端末装置を介して予めユーザによって指定される、請求項１から５のいずれか１項に記載のシステム。
  7. 前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定することは、前記複数種類の対象物の各々について行い、最も相関性が高い対象物を撮像した画像であると判定することを特徴とする請求項１から５のいずれか１項に記載のシステム。
  8. 前記局所特徴量は、前記複数種類の対象物の共通する局所特徴量であるかまたは前記複数種類の各対象物に固有の局所特徴量である、ことを特徴とする請求項１から７のいずれか１項に記載のシステム。
  9. 複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのシステムにおいて使用されるサーバであって、
    携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、
    前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    ことを特徴とするサーバ。
  10. 複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための１組のプログラムであって、１以上のコンピュータに、
    前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、
    いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、
    前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、
    前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する段階と、
    を実行させるプログラム。
  11. 複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するためのプログラムであって、サーバに、
    携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、
    前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    ことを実行させるプログラム。
  12. 複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、１以上のコンピュータに、
    前記複数種類の対象物を検出するための形状についての局所特徴量に基づいて、当該携帯端末装置の撮像装置によって撮像された空間の画像に複数種類の対象物のいずれかの種類の対象物が撮像されているか否かを判定する段階と、
    いずれかの種類の対象物が撮像されていると判定されると、当該対象物が撮像されていると判定された画像を取得対象物画像として取り込む段階と、
    前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定する段階と、
    前記決定された特徴相関量に基づいて、前記取得対象物画像が前記１つの種類の対象物を撮像した画像であるか否かを判定する段階と、
    を実行させる方法。
  13. 複数種類の対象物のうちのいずれかの種類の対象物を取得したことを確認するための方法であって、サーバに、
    携帯端末装置によって撮像された対象物が撮像されていると判定された取得対象物画像を携帯端末装置から受信し、
    前記複数種類の対象物のうちの１つの種類の対象物の画像特徴量に基づいて、当該１つの種類の対象物に対する前記取得対象物画像の特徴相関量を決定し、
    前記決定された特徴相関量に基づいて、前記取得対象物画像が当該１つの種類の対象物を撮像した画像であるか否かを判定する、
    ことを実行させる方法。
JP2017196974A 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法 Active JP6517298B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017196974A JP6517298B2 (ja) 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法
PCT/JP2018/037779 WO2019074011A1 (ja) 2017-10-10 2018-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法
CN201880079702.XA CN111465963B (zh) 2017-10-10 2018-10-10 用于确认对象物的获取的系统、服务器、程序和方法
KR1020207009797A KR102420331B1 (ko) 2017-10-10 2018-10-10 대상물 취득 확인을 위한 시스템, 서버, 프로그램 및 방법
US16/843,485 US11281908B2 (en) 2017-10-10 2020-04-08 System, server, program, and method for confirming acquisition of target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017196974A JP6517298B2 (ja) 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019078407A Division JP2019125394A (ja) 2019-04-17 2019-04-17 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2019070964A true JP2019070964A (ja) 2019-05-09
JP6517298B2 JP6517298B2 (ja) 2019-05-22

Family

ID=66101532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017196974A Active JP6517298B2 (ja) 2017-10-10 2017-10-10 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Country Status (5)

Country Link
US (1) US11281908B2 (ja)
JP (1) JP6517298B2 (ja)
KR (1) KR102420331B1 (ja)
CN (1) CN111465963B (ja)
WO (1) WO2019074011A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021114207A (ja) * 2020-01-20 2021-08-05 淳 宮野 広告効果促進装置、広告効果促進装置用プログラム、記憶媒体及び広告効果促進方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
CN115108117B (zh) * 2022-05-26 2023-06-27 盈合(深圳)机器人与自动化科技有限公司 一种切割方法、系统、终端及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
JP2016006679A (ja) * 2011-09-27 2016-01-14 インテル・コーポレーション 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1008642C2 (nl) 1998-03-19 1999-09-23 Oce Tech Bv Digitale kopieerinrichting met een persoonlijk gegevens-opslagsysteem.
JP2001157199A (ja) * 1999-11-26 2001-06-08 Canon Inc 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
US20090272801A1 (en) * 2008-04-30 2009-11-05 Connell Ii Jonathan H Deterring checkout fraud
US8448859B2 (en) * 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP6071288B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2014106597A (ja) * 2012-11-26 2014-06-09 Toyota Motor Corp 自律移動体、物体情報取得装置、および物体情報取得方法
CN103606160B (zh) * 2013-12-02 2018-04-13 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP6181893B1 (ja) 2017-03-31 2017-08-16 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157932A (ja) * 2002-11-08 2004-06-03 Matsushita Electric Ind Co Ltd 物体認識装置および物体認識プログラム
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2013054529A (ja) * 2011-09-02 2013-03-21 Morpho Inc 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
JP2016006679A (ja) * 2011-09-27 2016-01-14 インテル・コーポレーション 顔認識方法、装置、および該方法を実行するためのコンピュータ可読記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021114207A (ja) * 2020-01-20 2021-08-05 淳 宮野 広告効果促進装置、広告効果促進装置用プログラム、記憶媒体及び広告効果促進方法
JP7309151B2 (ja) 2020-01-20 2023-07-18 ピーエフ株式会社 広告効果促進装置、広告効果促進装置用プログラム、記憶媒体及び広告効果促進方法

Also Published As

Publication number Publication date
US11281908B2 (en) 2022-03-22
CN111465963B (zh) 2023-11-24
US20200242362A1 (en) 2020-07-30
CN111465963A (zh) 2020-07-28
WO2019074011A1 (ja) 2019-04-18
JP6517298B2 (ja) 2019-05-22
KR102420331B1 (ko) 2022-07-13
KR20200051014A (ko) 2020-05-12

Similar Documents

Publication Publication Date Title
JP2020194602A (ja) 検索システム、検索方法、及びプログラム
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
CN102663600B (zh) 基于数字水印和条码的防伪系统及其防伪方法和应用
US9390315B1 (en) Image match for featureless objects
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
CN110033293B (zh) 获取用户信息的方法、装置及系统
WO2007130688A2 (en) Mobile computing device with imaging capability
JP6181893B1 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
KR101710733B1 (ko) 객체 식별을 이용하는 타깃화된 광고
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
CN110880139B (zh) 一种商品展示方法、装置、终端、服务器及存储介质
JP2014127168A (ja) 自動販売機管理装置、そのデータ処理方法、およびプログラム
JP6261060B2 (ja) 情報処理装置
KR20210039783A (ko) 맞춤형 의류 구매 서비스 제공 방법 및 이를 위한 사용자 단말
US9712693B2 (en) Information provision apparatus, information provision method, and non-transitory storage medium
JP6828993B2 (ja) 写真画像抽出装置、写真画像抽出方法およびプログラム
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法
TW201832106A (zh) 真偽查詢伺服器、真偽查詢系統、真偽查詢方法及記錄真偽查詢程式之電腦可讀取式記錄媒體
CN108960861A (zh) 产品保真验证方法及装置、存储介质、处理器
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US10860821B1 (en) Barcode disambiguation
JP7019223B1 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US9268464B1 (en) Link determination and usage using image recognition
TWM615954U (zh) 區位顯示系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190417

R150 Certificate of patent or registration of utility model

Ref document number: 6517298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250