JP2007133627A - 画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体 - Google Patents

画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体 Download PDF

Info

Publication number
JP2007133627A
JP2007133627A JP2005325596A JP2005325596A JP2007133627A JP 2007133627 A JP2007133627 A JP 2007133627A JP 2005325596 A JP2005325596 A JP 2005325596A JP 2005325596 A JP2005325596 A JP 2005325596A JP 2007133627 A JP2007133627 A JP 2007133627A
Authority
JP
Japan
Prior art keywords
image
information
web page
image data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005325596A
Other languages
English (en)
Inventor
Yasuaki Onishi
庸晃 大西
Daisuke Sawai
大介 澤居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2005325596A priority Critical patent/JP2007133627A/ja
Publication of JP2007133627A publication Critical patent/JP2007133627A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】クライアント端末からのメールに貼り付けた画像を認識することにより、当該画像に関連する店舗のWebページを容易に提供可能とする画像認識を用いた販売支援システム等を提供する。
【解決手段】サーバ101は、端末装置105からの画像データとURL情報を対応付け画像情報データベース301に登録する画像情報登録手段111と、端末装置105から受け取った店舗情報330を掲載するURL情報に関連付けられるWebページを作成するWebページ作成手段112と、携帯型端末103からのメールの貼付画像を画像情報データベース301に基づいて認識する画像認識手段113と、認識結果から得られるURL情報を返信するURL情報返信手段114と、携帯型端末103にURL情報からWebページを提供するWebページ提供手段115と、を備える。
【選択図】図6

Description

本発明は、ネットワークを介した、商品販売を促進させるための支援を行う販売支援システムに係り、特に、電子メール機能、画像認識機能を用いて、店舗のWebページをクライアント端末に提供する画像認識を用いた販売支援システムに関する。
近年、インターネット等に代表されるネットワーク技術が急速に普及に伴い、Web上で動作するWebアプリケーションやWebコンテンツが多数存在する。例えば、商品情報の入出力、検索、閲覧、販売等の機能を提供するサーバと複数のクライアント端末等からなるWeb上で動作する電子ショッピングシステムが幾つか存在する。
また、携帯電話が普及し、携帯電話にインターネット上のWebページを閲覧するブラウザ機能、電子メール機能、撮像機能等の様々なサービスが提供されている。携帯電話で撮影した画像データをメールに添付し、所定のサーバへ送信することで、Webページ上に反映させる技術が開示されている。
一方、雑誌、カタログなどの印刷物に、掲載商品の詳細な情報を利用者に提示するWebサイトのURLの情報を符号化データに変換された2次元バーコード(例えばQRコード)を作成し、直接、印刷物に掲載することにより、利用者は、カメラ付き携帯電話等で2次元バーコードを読み取り、携帯電話の通信機能によってサーバに送り出され、簡単に必要な情報の入力を行なうことを可能としていた(例えば、特許文献1)。
また、同様に、商品の写真や印刷物、画像等に電子透かし情報としてURL情報を埋め込み、画像を、カメラ付き携帯電話を使用して撮影することによって、画像データに含まれるURLの情報を使用してインターネットを介して相手企業に接続し、簡単に商品購入の申し込みや、クライアントの勧誘、情報提供サービス等を行うことを可能とする販売支援システムが開示されている(例えば、特許文献2)。
特開2004−80585号公報 特開2005−184158号公報
しかしながら、特許文献1や特許文献2に記載されているシステムでは、URL等の必要な情報を入力し、雑誌等の印刷物の掲載商品の詳細な情報を利用者に提示するWebサイトを提供する方法においては、URL情報の入力の煩わしさを改善しているが、(1)2次元バーコードを組み込むことにより、雑誌のレイアウトデザインが損なわれる上、2次元バーコード印刷作業に手間がかかってしまう。(2)また、電子透かしを組み込むことにより、カタログ、雑誌等のコンテンツの印刷過程で、電子透かしの加工処理が途中に組み込まれ、手間がかかり、印刷工程が遅延されるという、問題があった。
本発明は、以上の点に鑑みてなされたものであり、クライアント端末からのメールに貼り付けた画像を認識することにより、当該画像に関連する店舗のWebページを容易に提供可能とする画像認識を用いた販売支援システム等を提供することを目的とする。
前述した目的を達成するために第1の発明は、ネットワークを介して、電子メール機能を備えたクライアント端末と、店舗の端末装置と、接続され、画像認識により前記店舗のWebページを提供するサーバであって、前記端末装置からの画像登録要求に伴い、取得した画像データと、発行した当該画像データに関連するWebページのアドレスを示すURL情報と、を対応付けた画像情報を画像情報データベースに登録、記憶する画像登録手段と、前記端末装置からの前記画像情報に対するWebページ作成要求に伴い、受け取った店舗情報を掲載する当該URL情報に関連付けられるWebページを作成する作成手段と、前記クライアント端末から受信したメールに貼付されている画像データに対して、前記画像情報データベースに基づいて、画像認識を行う認識手段と、前記認識手段により認識された画像情報から得られるURL情報を前記クライアント端末にメール返信する返信手段と、前記クライアント端末からの前記URL情報によるアクセス要求に伴い、該当するWebページを提供する提供手段と、を具備することを特徴とするサーバである。
また、前記クライアント端末からの前記Webページに対する購入要求に伴い、決済代行会社のコンピュータに接続し、受け取った購入情報に基づいて決済手続きを行う決済手段、を更に具備することが望ましい。
また、前記画像登録手段により、前記端末装置からの登録する画像データに対する画像認識を行うための特徴量を、前記画像情報データベースの当該画像情報に記憶し、前記認識手段は、前記クライアント端末からの受け取った画像データから特徴量を抽出し、抽出した特徴量に基づいて、前記画像情報データベースの特徴量と類似検索を行い、前記画像認識を行うことが望ましい。
また、前記画像登録手段は、記録媒体から前記画像データを読み取るか、又は前記ネットワークを介して前記画像データを受信することにより、前記画像データを取得することが望ましい。
第1の発明によるサーバは、店舗の端末装置からの画像登録要求に伴い、取得した画像データと、発行した当該画像データに関連するWebページのアドレスを示すURL情報と、を対応付けた画像情報を画像情報データベースに登録、記憶し、端末装置からの画像情報に対するWebページ作成要求に伴い、受け取った店舗情報を掲載する当該URL情報に関連付けられるWebページを作成し、クライアント端末から受信したメールに貼付されている画像データに対して、画像情報データベースに基づいて、画像認識を行い、認識された画像情報から得られるURL情報をクライアント端末にメール返信し、クライアント端末からのURL情報によるアクセス要求に伴い、該当するWebページを提供する。
「店舗情報」は、登録した画像情報に関連する販売対象となる商品に関する各種情報や、登録した画像情報に関連する各種サービス情報である。
「クライアント端末」は、携帯型端末装置、パーソナルコンピュータ等であり、「携帯型端末装置」は、携帯電話やPDA(Personal Digital
Assistance)等であり、本発明で用いる撮影機能を有する携帯型端末装置は、例えば、カメラ付き携帯電話である。
「特徴量」は、画像データの輪郭情報、色情報等である。
第1の発明では、物体(例えば印刷物に掲載されている商品等)をカメラで撮像することにより入力した画像を認識し、認識結果の情報から掲載商品の詳細情報を提供するWebサイトのURL情報を得ることができ、Webサイト(例えば、購入サイト等)にアクセスし、容易に掲載商品の詳細情報を入手・利用することができ、作業効率も大幅に改善できる。
また、携帯電話等のクライアント端末から特別なアプリケーションを使わずに既存のサービス機能(電子メール機能、ブラウザ機能、撮像機能等)だけを用いて、掲載商品の詳細情報を提供するWebサイトのURL情報を得ることができ、煩わしさや難しさがなく利用者にとって簡単に利用可能である。
また、印刷物からのWebサイトを印刷物のデザイン性を損なうことなく、印刷物の印刷工程を遅らせることなく、雑誌等の印刷物の掲載商品の詳細な情報を利用者に提示するWebサイトを提供できる。
更に、印刷物に限らず、様々な場所で、物体(実物)を撮像することにより、登録した物体であれば、関連サイトを提供できる。
また、第2の発明は、ネットワークを介して接続される、電子メール機能を備えたクライアント端末と、店舗の端末装置と、画像認識により前記店舗のWebページを提供するサーバと、を備える商品販売を促進させるための支援を行う画像認識を用いた販売支援システムであって、前記端末装置は、画像データを入力する画像入力手段と、入力した画像データに対する前記サーバに登録要求を送信する登録要求手段と、登録した画像データに関連付ける店舗情報を記憶する店舗情報データベースと、登録した画像データに関連するWebページ作成要求を、該当する店舗情報と共に、前記サーバに送信する作成要求手段と、を備え、前記サーバは、前記端末装置からの画像登録要求に伴い、取得した画像データと、発行した当該画像データに関連するWebページのアドレスを示すURL情報と、を対応付けた画像情報を画像情報データベースに登録、記憶する画像登録手段と、前記端末装置からの前記画像情報に対するWebページ作成要求に伴い、受け取った店舗情報を掲載する当該URL情報に関連付けられるWebページを作成する作成手段と、前記クライアント端末から受信したメールに貼付されている画像データに対して、前記画像情報データベースに基づいて、画像認識を行う認識手段と、前記認識手段により認識された画像情報から得られるURL情報を前記クライアント端末にメール返信する返信手段と、前記クライアント端末からの前記URL情報によるアクセス要求に伴い、該当するWebページを提供する提供手段と、を備え、前記クライアント端末は、画像データを入力する画像入力手段と、入力した画像データを貼付したメールを前記サーバに送信するメール送信手段と、前記サーバから返信されたURL情報を用いて前記サーバにアクセスし、前記サーバから送られたWebページを表示、閲覧する閲覧手段と、を具備することを特徴とする画像認識を用いた販売支援システムである。
第2の発明は、第1の発明のサーバ、画像データを入力する画像入力手段と、入力した画像データを貼付したメールをサーバに送信するメール送信手段と、サーバから返信されたURL情報を用いて前記サーバにアクセスし、サーバから送られたWebページを表示、閲覧する閲覧手段を備えるクライアント端末、画像データを入力する画像入力手段と、入力した画像データに対するサーバに登録要求を送信する登録要求手段と、登録した画像データに関連付ける店舗情報を記憶する店舗情報データベースと、登録した画像データに関連するWebページ作成要求を該当する店舗情報と共に、サーバに送信する作成要求手段を備える店舗の端末装置から構成される画像認識を用いた販売支援システムに関する発明である。
第4の発明は、コンピュータを第1発明のサーバとして機能させるプログラムである。
第5の発明は、コンピュータを第1の発明のサーバとして機能させるプログラムを記録した記録媒体である。
上述のプログラムをCD−ROM等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。
本発明は、以上の点に鑑みてなされたものであり、クライアント端末からのメールに貼り付けた画像を認識することにより、当該画像に関連する店舗のWebページを容易に提供可能とする画像認識を用いた販売支援システム等を提供することができる。
以下に、添付図面を参照しながら、本発明に係る画像認識を用いた販売支援システム等の好適な実施形態について詳細に説明する。尚、以下の説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
図1は、本実施の形態に係る画像認識を用いた販売支援システム100の概略構成を示す図である。図1は、画像認識を用いた販売支援システム100の1例であり、図1に示すように、画像認識を用いた販売支援システム100は、サービス提供会社102が有するサーバ101、複数のクライアント104の携帯型端末103、複数の店舗106の端末装置105、ネットワーク109等からなる。
画像認識を用いた販売支援システム100は、例えばインターネットなどのネットワーク109を介して、サーバ101と、携帯型端末103、端末装置105とが接続されて構成される。尚、画像認識を用いた販売支援システム100は、WWW(World Wide Web)技術を用いて実現した構成図である。
サービス提供会社102は、販売支援システムを管理し運用する事業主(プロバイダ)であり、サーバ101を有する。サーバ101は、サーバコンピュータ等であり、Webサーバ、画像認識を用いた販売支援アプリケーション、画像情報データベース301、Webページ情報302等を有する。
サーバ101は、端末装置105からの画像登録要求に伴い、取得した画像データに関連するWebページのアドレスを示すURL情報を発行し、当該画像データと発行したURL情報とを対応付けた画像情報を画像情報データベース301に登録、記憶し、画像情報に応じた店舗情報が掲載された当該URL情報に応じたWebページ情報302を作成する。また、携帯型端末103から受信したメールに添付されている画像データに対して、画像情報データベース301に基づいて、画像認識を行い、認識された画像情報から得られるURL情報を携帯型端末103にメール返信し、携帯型端末103からのURL情報によるアクセス要求に伴い、該当するWebページ情報302を提供する。
クライアント104は、サーバ101を利用する利用者であり、携帯型端末103を有する。携帯型端末103には、Webブラウザが搭載され、Webブラウザとして機能する。携帯型端末103は、Webブラウザを介して、サーバ101にアクセスし、Webページを閲覧する。携帯型端末103は、例えば、カメラ付き携帯電話等の撮像機能を有する携帯型端末103であり、カメラ403により、雑誌等の物体を撮像することにより取得する画像データをメールに添付してサーバ101に送信し、サーバ101から返信されたURL情報を用いて、サーバ101にアクセスし、撮影した画像に応じた店舗106のWebページを表示、閲覧する。
尚、本実施の形態では、携帯型端末103を用いたが、パーソナルコンピュータ等の端末装置を用い、デジタルカメラ、又はネットワーク109を介して、画像データを入力してもよい。
店舗106は、商品を販売する販売元であり、端末装置105を有する。端末装置105は、パーソナルコンピュータ等であり、Webブラウザ、店舗情報データベース303等を有する。
端末装置105は、Webブラウザを介して、サーバ101に、入力した画像データの登録要求を送信し、登録した画像データに関連付ける店舗情報を店舗情報データベース303に記憶し、登録した画像データに関連するWebページ作成要求を、関連付ける店舗情報と共に、サーバ101に送信する。
次に、サーバ101のハードウェア構成を説明する。図2は、サーバ101のハードウェア構成図である。
図2に示すように、サーバ101は、制御部201、記憶部202(ハードディスク)、メディア入出力部203(ドライブ装置)、通信制御部204(通信制御装置、通信ポート等)、入力部205(キーボード、マウス等)、プリンタポート206、表示部207(ディスプレイ)等が、バス209を介して接続される。
制御部201は、CPU(Central Processing Unit )、ROM(Read Only Memory )、RAM(Random Access Memory)等で構成される。
CPUは、記憶部202、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、システムバス209を介して接続された各装置を駆動制御し、サーバ101が行う後述する各種処理(図6、図7、図8参照)を実現する。
ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部202、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部201が各種処理を行う為に使用するワークエリアを備える。
記憶部202は、HDD(ハードディスクドライブ)であり、制御部201が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OS(オペレーティングシステム)に相当する制御プログラム391や、本コンピュータを適用するサーバ101が行う後述の処理に相当するアプリケーションプログラム392等が格納されている。
これらの各プログラムコードは、制御部201により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
メディア入出力部203(ドライブ装置)は、データの入出力を行い、例えば、フロッピディスクドライブ、PDドライブ、CDドライブ(−ROM、−R、−RW等)、DVDドライブ(−ROM、−R、−RW等)、MOドライブ等のメディア入出力装置等を有する。
通信制御部204は、通信制御装置、通信ポート等を有し、サーバ101とネットワーク109間の通信を媒介する通信インタフェースであり、ネットワーク109を介して、サーバ101と、携帯型端末103、端末装置105の通信制御を行う。
入力部205は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
表示部206は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
印刷部207は、プリンタであり、印刷出力処理を行う。
システムバス209は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
次に、図3を参照しながら、サーバ101の記憶部202が保持する情報について説明する。図3は、記憶部202が保持する情報を示す図である。
図3に示すように、記憶装置202内には、画像情報データベース301、Webページ情報302、及び制御プログラム391、アプリケーションプログラム392等が格納されている。
画像情報データベース301は、複数の画像情報310からなる。画像情報310には、店舗106の端末装置105から送信、画像データ311と、URL情報312と、特徴量313とが対応付けられている。
画像データ311は、例えば、印刷物(雑誌、商品カタログ冊子等)を構成するページ毎の物体(例えば、商品等)画像を走査して得るデジタルデータや、ネット販売対象の商品の撮像画像データである。
URL情報312は、当該画像データ311に関連付ける店舗106のWebページのアドレスを示す。
特徴量313は、当該画像データの輪郭情報、色情報等であり、類似検索による画像認識方法を用いる場合、登録時に、画像データから算出し、記憶する。
Webページ情報302は、店舗106の端末装置105から送信される店舗情報330を組み込んだ、Webサービスのマークアップ言語(HTML、XHTML、Flash等)のデータであり、例えばHTML形式ファイルである。店舗情報330は、当該Webページ情報302に対応付けられる画像データ311に関連する、画像、文字等のデータからなる商品情報やサービス情報である。例えば、ネット販売サイトの場合、当該商品に関連する商品情報(画像、文字等のデータ)、価格情報、在庫情報等である。
Webページ情報302は、例えば、印刷物(雑誌、商品カタログ冊子、チラシ等)を構成するページ毎の画像、文字等のデータからなる商品情報を配置した少なくとも1つの印刷物画像データと、リンク対象となっている画像や文字にリンクさせ、商品の関連情報の表示制御やリンク制御を行う少なくとも1つのリンク情報を有する。
尚、画像情報データベース301、Webページ情報302のデータ構成は、この構成に限られるわけではない。
制御プログラム391は、サーバ101であるコンピュータの各構成部分を駆動制御するプログラムである。
アプリケーションプログラム392は、Webサーバ、画像認識を用いた販売支援プログラム、画像認識エンジンプログラム等の実行可能プログラムであり、画像認識を用いた販売支援プログラムは、画像登録手段111、Webページ作成手段112、画像認識手段113、URL情報送信手段114、Webページ提供手段115等の処理に該当するプログラムである(後述、各処理手段を説明する)。
次に、携帯型端末103のハードウェア構成を説明する。図4は、携帯型端末103のハードウェア構成図である。
図4に示すように、クライアント104の携帯型端末103は、例えば、カメラ付き携帯電話であり、制御部401、記憶部402、カメラ403、送受信部404、入力部405、表示部406、送受話部407、アンテナ410等が接続される。
制御部401は、CPU、ROM、RAM等で構成され、記憶装置402に格納されたプログラムに従って、各装置を駆動制御する。
記憶部402には、各構成部分を駆動制御する制御プログラム、アプリケーションプログラムとして、電子メール機能、Webブラウザ等に該当するプログラムである。
これらの各プログラムコードは、制御部401により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
カメラ403は、撮像手段であり、物体(例えば、印刷物)を撮像し、画像データを取得する。
送受信部404は、携帯型端末103とネットワーク109間の通信を媒介する通信インタフェースであり、ネットワーク109を介して、携帯型端末103と、サーバ101間の通信制御を行う。
入力部405は、データの入力を行い、例えば、操作キー、操作ボタン等であり、表示部406(ディスプレイ)に表示された操作案内、各種処理、操作を行う。
次に、図5を参照しながら、店舗106の端末装置105のハードウェア構成を説明する。図5は、端末装置105のハードウェア構成図である。
端末装置105は、制御部501、記憶部502、通信制御部503、メディア入出力部504、入力部505、表示部506、印刷部507等が、システムバス509を介して接続される。
端末装置105のハードウェア構成は、図2について前述したサーバ101と同様の構成を採る。
記憶装置502内には、店舗情報データベース303、及び制御プログラム、アプリケーションプログラム等が格納されている。
店舗情報データベース303は、Webページを作成するための、複数の店舗情報330からなる。店舗情報330は、画像データ312に応じた、画像、文字等のデータからなる商品情報やサービス情報である。例えば、ネット販売の場合、店舗情報330は、商品毎の商品情報(画像、文字等のデータ)、価格情報、在庫情報等からなる。
尚、店舗情報データベース303のデータ構成は、この構成に限られるわけではない。
制御プログラムは、端末装置105であるコンピュータの各構成部分を駆動制御するプログラムである。
アプリケーションプログラムは、Webブラウザ、画像情報登録依頼手段152、店舗情報登録手段153、Webページ作成依頼手段154等の実行可能プログラムである(後述、各処理手段を説明する)。
次に、図6を参照しながら、画像認識を用いた販売支援システム100全体の処理の流れと処理手段について説明する。図6は、画像認識を用いた販売支援システム100全体の処理の流れと処理手段を示す図である。
サーバ101は、画像登録手段111、Webページ作成手段112、画像認識手段113、URL情報送信手段114、Webページ提供手段115、決済手続手段116等を有する。
画像登録手段111は、店舗106の端末装置105からの画像情報登録依頼に対して、受け取った画像データ311と、発行したWebページのアドレスを示すURL情報312を画像情報311として画像情報データベース301に登録、保持する。
Webページ作成手段112は、店舗106の端末装置105からのWebページ作成依頼に対して、受け取った店舗情報330を組み込んだURL情報であるWebページのアドレスにより関連付けられるWebページ情報302を作成する。
画像認識手段113は、クライアント104の携帯型端末103から送信されたメールに添付されている画像データ341に対して、画像情報データベース301に基づいて、画像認識を行う。
URL情報送信手段114は、画像認識手段113により認識された画像情報310から得られるURL情報311を携帯型端末103にメール返信する。
Webページ提供手段115は、携帯型端末103からのURL情報によるアクセス要求に伴い、該当するWebページ情報302からなるWebページを提供する。
クライアント104の携帯型端末103は、画像入力手段131、画像メール送信手段132、URL情報メール受信手段133、Webページ閲覧手段134等を有する。
画像入力手段131は、カメラ403を用いて、物体を撮像することにより画像データ341を入力、取得する。
画像メール送信手段132は、入力した画像データ341をメールに添付して、サーバ101の所定アドレスに送信する。
URL情報メール受信手段133は、サーバ101からの画像データ341の認識結果に応じたWebページのアドレスを示すURL情報312をメール受信する。
Webページ閲覧手段134は、受信したURL情報312により、サーバ101にアクセスし、該当するWebページの表示、閲覧を行う。
更に、表示されたWebページに従い、購入情報を入力し、サーバ101に対して購入依頼(ステップ135)を行う。
店舗106の端末装置105は、画像入力手段151、画像情報登録依頼手段152、店舗情報登録手段153、Webページ作成依頼手段154等を有する。
画像入力手段151は、サーバ101に登録する画像データを入力、取得する。
画像情報登録依頼手段152は、サーバ101に、画像入力手段151により入力した画像データの登録依頼を行う。
店舗情報登録手段153は、画像データに対応付けるWebページに掲載する店舗情報330を店舗情報データベース303に登録、記憶する。
Webページ作成依頼手段154は、サーバ101に対して、Webページに掲載する店舗情報330と、そのURL情報312と共に、Webページ作成依頼要求を送信する。
次に、図7を参照しながら、サーバ101における、店舗106の端末装置105からの画像情報登録処理とWebページ作成処理の処理手順について詳しく説明する。図7は、サーバ101における、店舗106の端末装置105からの画像情報登録処理とWebページ作成処理の処理手順を示すフローチャートである。
サーバ101の記憶部202には、画像登録手段111、Webページ作成手段112、画像認識手段113、URL情報送信手段114、Webページ提供手段115、決済手続手段116等に該当する画像認識を用いた販売支援プログラム、画像認識プログラム、Webサーバの実行可能プログラムが格納されている。以下のサーバ101の処理は、この実行可能プログラムの制御に従って、サーバ101の制御部201によって行われる。
また、端末装置105の記憶部502には、画像入力手段151、画像情報登録依頼手段152、店舗情報登録手段153、Webページ作成依頼手段154、Webブラウザ等に該当する実行可能プログラムが格納されている。以下の端末装置105の処理は、この実行可能プログラムの制御に従って、端末装置105の制御部501によって行われる。
端末装置105の制御部501は、登録画像を入力し取得する(ステップS701)。例えば、制御部501は、スキャナ等を用いて、印刷物(雑誌、商品カタログ冊子等)を走査して得るデジタルデータ等の画像データ、印刷物を構成する画像、文字からなるDTPデータから得た画像データ、物体(実物の商品等)を撮像することにより入力した画像データ等を取得する。
制御部501は、Webブラウザを介して、サーバ101にアクセスし、入力した画像データの画像情報登録依頼を行う(ステップS702)。
サーバ101の制御部201は、Webサーバを介して、受け取った画像データ311、画像データ311から算出した特徴量313を画像情報310として画像情報データベース301に登録、保持する(ステップS703)。
更に、類似検索による画像認識処理方法(マッチング手法)では、入力した画像データから、特徴量(輪郭情報、色情報等)を抽出し、特徴量を基に、画像情報データベース301の特徴量313と比較し、類似検索を行うため、画像データ311から算出した特徴量313(輪郭情報、色情報等)を登録する。
制御部201は、Webページのアドレスを示すURL情報312を発行し、当該画像情報310に記憶する(ステップS704)。画像情報310には、画像データ311と、関連付けられるWebページのURL情報312と、特徴量313を有する。
例えば、印刷物の雑誌AAA上に掲載されている複数の商品である、店舗「A」の商品A001、A002、店舗「B」の商品B001、・・・をネット販売する場合、販売元の店舗「A」、「B」の各端末装置105から雑誌AAA上に掲載される商品の画像データ311が送信され、例えば、商品A001の画像データ311−A001に商品A001を販売するためのWebページのアドレス「http://www.aaa.co.jp/A/001」を、商品A002の画像データ311−A002に商品A002を販売するためのWebページのアドレス「http://www.aaa.co.jp/A/002」を、商品B001の画像データ311−B001に商品B001を販売するためのWebページのアドレス「http://www.aaa.co.jp/B/001」と、URL情報312として対応付ける。
尚、説明上、店舗区別を考慮した商品IDとURL情報のアドレスを設定しているが、これに限るわけではなく、URL情報312は、画像登録毎に、ユニークに自動発行されたものでもよい。
尚、本実施の形態では、印刷物(雑誌、カタログ等)上の商品毎の画像に対して、商品毎のWebページを作成して、商品毎にWebページにアクセスする形態(例えばネット販売)を用いて説明しているが、これに限るものではなく、例えば、複数の物体の画像データに対し1つのキャンペーン応募サイトのWebページを割付けてもよいし、物体の画像に対し動画像等の電子コンテンツを提供してもよい。
また、本実施の形態では、サーバ101において、端末装置105からの画像登録の際URL情報を発行し、登録依頼した端末装置105に送信しているが、店舗106の端末装置105側で、URL情報を発行し、サーバ101に画像登録の際、画像データと共に発行したURL情報を送信してもよい。
尚、本実施の形態では、ネットワーク109を介して、端末装置105からサーバ101に送信した画像データ311を、画像情報データベース301に画像情報330として登録したが、これに限らない。データサイズの大きな複数の画像データの場合、サーバ101は、記録媒体に保存した画像データを、メディア入出力部203を介して、読み取り、登録してもよい。
端末装置105の制御部501は、発行されたURL情報312と共に、当該画像情報310に対するWebページに記載する店舗情報330を店舗情報データベース303に登録、記憶する(ステップS705)。店舗情報330は、画像データ312に応じた、画像、文字等のデータからなる商品情報やサービス情報である。例えば、ネット販売の場合、店舗情報330は、商品毎の商品情報(画像、文字等のデータ)、価格情報、在庫情報等からなる。
制御部501は、登録画像全てに対してステップS702からステップ705の処理を繰り返す。
制御部501は、サーバ101に対して、店舗情報データベース303を用いて、登録した画像情報に関連付けるWebページ作成依頼を行う(ステップS706)。制御部501は、URL情報と、当該Webページに掲載する店舗情報330と共に、Webページ作成依頼要求をサーバ101に送信する。
サーバ101の制御部202は、受け取った店舗情報330を、URL情報に応じたWebページ情報302に埋め込み、作成、記憶する(ステップS707)。尚、制御部202は、予め、運用形態に応じて、Webページ情報302の雛型を作成、又は店舗106の端末装置105から受信し、記憶しておく。
制御部501は、登録画像に対してステップS706、ステップ707のWebページ作成処理を繰り返す。
次に、図8、図9を参照しながら、サーバ101における、クライアント104の携帯型端末103から受信した画像データを認識することにより画像データに関連する店舗のWebページを携帯型端末103に提供する処理手順について詳しく説明する。図8は、サーバ101のクライアント104の携帯型端末103から受信した画像データを認識することにより画像データに関連する店舗のWebページを携帯型端末103に提供する処理手順を示すフローチャートである。図9は、携帯型端末103の撮像による画像入力からWebページ閲覧までの画面遷移を示す図である。
携帯型端末103の記憶部402には、撮像手段、メール送受信手段、インターネット上のWebページを閲覧するWebブラウザ等の実行可能プログラムが格納されている。以下の携帯型端末103の処理は、この実行可能プログラムの制御に従って、携帯型端末103の制御部401によって行われる。
以降、携帯型端末103とサーバ101との間でのデータの送受信は、WebブラウザとWebサーバを介して、行われる。
携帯型端末103の制御部401は、カメラ403を用いて、物体(印刷物、実物等)を撮像し画像データを入力、取得する(ステップS801)。
例えば、カメラ403を用いて、例えば雑誌22上に掲載されている商品の写真を撮像し、制御部401は、表示部406に、撮像画面11を表示する。
制御部401は、電子メール機能を用いて、取得した画像データファイルを添付して、サーバ101の所定のメールアドレスにメールを送信する(ステップS802)。
例えば、制御部401は、送信メール画面12に従い、撮像した画像ファイル21を貼り付け、雑誌等に示される所定のアドレス「dnp@xxx.xxx・・・」を宛先として、メール送信する。
サーバ101の制御部201は、画像認識手段111に相当する処理として、受け取ったメールの添付ファイルの画像データを解析し、画像情報データベース301に基づいて、マッチング手法により、画像認識処理(分離/抽出/同定/空間座標特定/保持等)を行う(ステップS803)。
例えば、制御部201は、画像データの認識処理として、入力情報である画像データから、特徴量(輪郭情報、色情報等)を抽出する。制御部201は、抽出した特徴量を基に、画像情報データベース301の特徴量313と比較し、類似検索を行い、認識結果の情報として、最も近い特徴量313に関連づけられている画像情報310を取得する。
尚、画像認識技術は、広く行われている事項であり、本発明で規定するところではない、オブジェクト抽出・認識方法には、例えば、以下の文献の方法がある。
(1)画像から特徴点を抽出し、特徴点とその局所近傍の画像情報から得られる特徴量を用いたマッチング手法―C.シュミット(C.
Schmid)、R.ムーア(R. Mohr),「画像検索のための局所グレイバリュー不変量(Local grayvalue invariants for image
retrieval)」,(米国),電気・電子通信学会報,(IEEE PAMI),1997年,第19巻,第5号,p.530−534(2)画像の特徴量を抽出し、画像の特徴量をもとに、データベース内の特徴量を類似検索する認識手法として、国際公開WO00109833号(発明の名称:PERCEPTUAL SIMILARITY IMAGE RETRIEVAL)
また、本実施の形態では、類似検索による認識処理方法を用いたが、これに限るわけではない。例えば、人工知能の技術を用いて、サーバ101が行ってもよい。
制御部201は、認識結果の情報である最も近い特徴量313を有する画像情報310から関連付けられるURL情報312を、携帯型端末103にメール返信する(ステップS804)。
携帯型端末103の制御部401は、WebページのURL情報312からなるメールを受信する(ステップS805)。
制御部401は、例えば、認証結果として、WebページのURL情報312からなるメールを受信し、URL情報受信メール画面13を表示する。
携帯型端末103の制御部401は、受信したURL情報312を用いて、サーバ101のWebページにアクセスする(ステップS806)。
サーバ101の制御部201は、URL情報312のアドレスに示すWebページ情報302からなるWebページデータを送信する(ステップS807)。
携帯型端末103の制御部401は、受け取ったWebページを表示、閲覧する(ステップS808)。
例えば、制御部401は、Webページ画面14を表示する。
制御部401は、サーバ101のWebページに対して、購入依頼を行う(ステップS809)。制御部401は、入力された購入情報をサーバ101に送信する。
例えば、クライアント104は、ネット販売サイトのWebページ画面14を閲覧後、移行した購入画面15で、購入情報を入力し、制御部401は、購入情報をサーバ101に送信する。
サーバ101の制御部201は、受け取った購入情報に基づいて、決済手続処理を行う(ステップS810)。制御部201は、決済代行会社108のコンピュータ107にアクセスし、決済手続きのやりとりを行い、手続き完了後、クライアント104の携帯型端末103に購入完了の旨をメール送信し、店舗106の端末装置105に受注完了を通知する。
以上説明したように、本発明の実施の形態によれば、サーバ101は、端末装置105からの画像登録要求に伴い、受け取った画像データと、発行した当該画像データに関連するWebページのアドレスを示すURL情報とを対応付けた画像情報を画像情報データベースに登録、記憶する画像情報登録手段111と、端末装置105からの画像情報310に対するWebページ作成要求に伴い、受け取った店舗情報330を掲載する当該URL情報に関連付けられるWebページを作成するWebページ作成手段112と、携帯型端末103から撮像画像をメール送信し、その画像データに対して、画像情報データベース301に基づいて、画像認識を行う画像認識手段113と、画像認識手段113により認識された画像情報310から得られるURL情報312を携帯型端末103にメール返信するURL情報返信手段114と、携帯型端末103からのURL情報によるアクセス要求に伴い、該当するWebページを提供するWebページ提供手段115と、を備え、商品販売を促進させるための支援を行う販売支援システムを提供する。
これにより、物体(例えば印刷物に掲載されている商品等)をカメラで撮像することにより入力した画像を認識し、認識結果の情報から掲載商品の詳細情報を提供するWebサイトのURL情報を得ることができ、Webサイト(例えば、購入サイト等)にアクセスし、容易に掲載商品の詳細情報を入手・利用することができ、作業効率も大幅に改善できる。
また、携帯電話等のクライアント端末から特別なアプリケーションを使わずに既存のサービス機能(電子メール機能、ブラウザ機能、撮像機能等)だけを用いて、掲載商品の詳細情報を提供するWebサイトのURL情報を得ることができ、煩わしさや難しさがなく利用者にとって簡単に利用可能である。
また、印刷物からのWebサイトを印刷物のデザイン性を損なうことなく、印刷物の印刷工程を遅らせることなく、雑誌等の印刷物の掲載商品の詳細な情報を利用者に提示するWebサイトを提供できる。
更に、印刷物に限らず、様々な場所で、物体(実物)を撮像することにより、登録した物体であれば、関連サイトを提供できる。
尚、本実施の形態では、印刷物(雑誌、商品カタログ冊子等)上の商品毎の画像に対して、商品毎のWebページを作成して、商品毎にWebページにアクセスする形態(例えばネット販売)を用いて説明しているが、これに限るものではなく、例えば、複数の物体の画像データに対し1つのキャンペーン応募サイトのWebページを割付けてもよいし、物体の画像に対し動画像等の電子コンテンツを提供してもよい。
また、本実施の形態では、サーバ101において、端末装置105からの画像登録の際URL情報を発行し、登録依頼した端末装置105に送信しているが、店舗106の端末装置105側で、URL情報を発行し、サーバ101に画像登録の際、画像データと共に送信してもよい。
尚、本実施の形態では、ネットワーク109を介して、端末装置105からサーバ101に送信した画像データ311を、画像情報データベース301に画像情報330として登録したが、これに限らない。データサイズの大きな複数の画像データの場合、サーバ101は、記録媒体に保存した画像データを、メディア入出力部203を介して、読み取り、登録してもよい。
また、本実施の形態では、類似検索による認識処理方法を用いたが、これに限るわけではない。例えば、人工知能の技術を用いて、サーバ101が行ってもよい。
また、本実施の形態では、携帯型端末103を用いたが、パーソナルコンピュータ等の端末装置を用い、デジタルカメラ、又はネットワーク109を介して、画像データを入力してもよい。
尚、図6、図7、図8等に示す処理を行うプログラムはCD−ROM等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。
以上、添付図面を参照しながら、本発明に係る画像認識を用いた販売支援システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明の本実施の形態に係る画像認識を用いた販売支援システム100の概略構成を示す図 サーバ101のハードウェア構成図 記憶部202が保持する情報を示す図 携帯型端末103のハードウェア構成図 端末装置105のハードウェア構成図 画像認識を用いた販売支援システム100全体の処理の流れと処理手段を示す図 サーバ101における店舗106の端末装置105からの画像情報登録処理とWebページ作成処理の処理手順を示すフローチャート サーバ101におけるクライアント104の携帯型端末103から受信した画像データを認識することにより画像データに関連する店舗のWebページを携帯型端末103に提供する処理手順を示すフローチャート 携帯型端末103における撮像による画像入力からWebページ閲覧までの画面遷移を示す図
符号の説明
100………画像認識を用いた販売支援システム
101………サーバ
102………サービス提供会社
103………携帯型端末装置
104………クライアント
105………端末装置
106………店舗
107………コンピュータ
108………決済代行会社
109………ネットワーク
111………画像登録手段
112………Webページ作成手段
113………画像認識手段
114………URL情報送信手段
115………Webページ提供手段
116………決済手続手段
131、151………画像入力手段
132………画像メール送信手段
133………URL情報メール受信手段
134………Webページ閲覧手段
152………画像情報登録依頼手段
153………店舗情報登録手段
154………Webページ作成依頼手段
201、401、501………制御部
202、402、502………記憶部
403………カメラ
301………画像情報データベース
302………Webページ情報
303………店舗情報データベース
310………画像情報
311………画像データ
312………URL情報
313………特徴量
330………店舗情報

Claims (10)

  1. ネットワークを介して、電子メール機能を備えたクライアント端末と、店舗の端末装置と、接続され、画像認識により前記店舗のWebページを提供するサーバであって、
    前記端末装置からの画像登録要求に伴い、取得した画像データと、発行した当該画像データに関連するWebページのアドレスを示すURL情報と、を対応付けた画像情報を画像情報データベースに登録、記憶する画像登録手段と、
    前記端末装置からの前記画像情報に対するWebページ作成要求に伴い、受け取った店舗情報を掲載する当該URL情報に関連付けられるWebページを作成する作成手段と、
    前記クライアント端末から受信したメールに貼付されている画像データに対して、前記画像情報データベースに基づいて、画像認識を行う認識手段と、
    前記認識手段により認識された画像情報から得られるURL情報を前記クライアント端末にメール返信する返信手段と、
    前記クライアント端末からの前記URL情報によるアクセス要求に伴い、該当するWebページを提供する提供手段と、
    を具備することを特徴とするサーバ。
  2. 前記クライアント端末からの前記Webページに対する購入要求に伴い、決済代行会社のコンピュータに接続し、受け取った購入情報に基づいて決済手続きを行う決済手段、
    を、更に具備することを特徴とする請求項1記載のサーバ。
  3. 前記画像登録手段により、登録する画像データに対する画像認識を行うための特徴量を、前記画像情報データベースの当該画像情報に記憶し、
    前記認識手段は、前記クライアント端末からの受け取った画像データから特徴量を抽出し、抽出した特徴量に基づいて、前記画像情報データベースの特徴量と類似検索を行い、前記画像認識を行うことを特徴とする請求項1記載のサーバ。
  4. 前記画像登録手段は、記録媒体から前記画像データを読み取ることにより、又は前記ネットワークを介して前記画像データを受信することにより、前記画像データを取得することを特徴とする請求項1に記載のサーバ。
  5. 前記店舗情報は、登録した画像情報に関連する販売対象となる商品に関する各種情報、又は各種サービス情報であることを特徴とする請求項1記載のサーバ。
  6. 前記クライアント端末から受信されたメールに添付されている前記画像データは、前記クライアント端末が物体を撮像することにより取得した画像データであることを特徴とする請求項1記載のサーバ。
  7. 前記クライアント端末は、デジタルカメラ付き携帯型端末装置であることを特徴とする請求項1記載のサーバ。
  8. ネットワークを介して接続される、電子メール機能を備えたクライアント端末と、店舗の端末装置と、画像認識により前記店舗のWebページを提供するサーバと、を備える商品販売を促進させるための支援を行う画像認識を用いた販売支援システムであって、
    前記端末装置は、
    画像データを入力する画像入力手段と、
    入力した画像データに対する前記サーバに登録要求を送信する登録要求手段と、
    登録した画像データに関連付ける店舗情報を記憶する店舗情報データベースと、
    登録した画像データに関連するWebページ作成要求を、該当する前記店舗情報と共に、前記サーバに送信する作成要求手段と、
    を、備え、
    前記サーバは、
    前記端末装置からの画像登録要求に伴い、取得した画像データと、発行した当該画像データに関連するWebページのアドレスを示すURL情報と、を対応付けた画像情報を画像情報データベースに登録、記憶する画像登録手段と、
    前記端末装置からの前記画像情報に対するWebページ作成要求に伴い、受け取った店舗情報を掲載する当該URL情報に関連付けられるWebページを作成する作成手段と、
    前記クライアント端末から受信したメールに貼付されている画像データに対して、前記画像情報データベースに基づいて、画像認識を行う認識手段と、
    前記認識手段により認識された画像情報から得られるURL情報を前記クライアント端末にメール返信する返信手段と、
    前記クライアント端末からの前記URL情報によるアクセス要求に伴い、該当するWebページを提供する提供手段と、
    を、備え、
    前記クライアント端末は、
    画像データを入力する画像入力手段と、
    入力した画像データを貼付したメールを前記サーバに送信するメール送信手段と、
    前記サーバから返信されたURL情報を用いて前記サーバにアクセスし、前記サーバから送られたWebページを表示、閲覧する閲覧手段と、
    を具備することを特徴とする画像認識を用いた販売支援システム。
  9. コンピュータを請求項1から請求項7いずれかに記載のサーバとして機能させるプログラム。
  10. コンピュータを請求項1から請求項7いずれかに記載のサーバとして機能させるプログラムを記録した記録媒体。
JP2005325596A 2005-11-10 2005-11-10 画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体 Pending JP2007133627A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005325596A JP2007133627A (ja) 2005-11-10 2005-11-10 画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005325596A JP2007133627A (ja) 2005-11-10 2005-11-10 画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体

Publications (1)

Publication Number Publication Date
JP2007133627A true JP2007133627A (ja) 2007-05-31

Family

ID=38155238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005325596A Pending JP2007133627A (ja) 2005-11-10 2005-11-10 画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体

Country Status (1)

Country Link
JP (1) JP2007133627A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977793B2 (en) 2014-07-31 2018-05-22 Ricoh Company, Limited Information processing system, information processing method, and information processing apparatus
CN109377240A (zh) * 2018-08-21 2019-02-22 中国平安人寿保险股份有限公司 基于神经网络的商户管理方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977793B2 (en) 2014-07-31 2018-05-22 Ricoh Company, Limited Information processing system, information processing method, and information processing apparatus
CN109377240A (zh) * 2018-08-21 2019-02-22 中国平安人寿保险股份有限公司 基于神经网络的商户管理方法、装置、计算机设备及存储介质
CN109377240B (zh) * 2018-08-21 2023-10-20 中国平安人寿保险股份有限公司 基于神经网络的商户管理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US7769772B2 (en) Mixed media reality brokerage network with layout-independent recognition
US7587412B2 (en) Mixed media reality brokerage network and methods of use
KR100980748B1 (ko) 혼합 미디어 환경을 생성 및 사용하는 시스템 및 방법
US7672543B2 (en) Triggering applications based on a captured text in a mixed media environment
JP5752200B2 (ja) 取り込まれたレンダリングテキストに基づくコンテキスト動的広告
US7920759B2 (en) Triggering applications for distributed action execution and use of mixed media recognition as a control input
US7991778B2 (en) Triggering actions with captured input in a mixed media environment
US8156427B2 (en) User interface for mixed media reality
US7812986B2 (en) System and methods for use of voice mail and email in a mixed media environment
JP2010511921A (ja) ポータブルデバイス用の紹介報奨システム
US20120132701A1 (en) Remote code reader system
US20070047782A1 (en) System And Methods For Creation And Use Of A Mixed Media Environment With Geographic Location Information
EP1365334A1 (en) Automatic edition system
KR20110030421A (ko) 기계판독가능한 표시를 이용한 평가
EP2482210A2 (en) System and methods for creation and use of a mixed media environment
JP2012216228A (ja) リモートコードリーダシステム、コードリーダ、ホストコンピュータ、及び、コンピュータプログラム
JP2009506393A (ja) 混合メディア環境における画像照合方法及びシステム
GB2356511A (en) Information capture and processing
WO2007125656A1 (ja) バーコードリーダ、光学式マウス、バーコード読取方法
JP4897795B2 (ja) 処理装置、インデックステーブル作成方法及びコンピュータプログラム
US20140330619A1 (en) Methods and systems for automatic, pre-sale price matching
JP2007133627A (ja) 画像認識を用いた販売支援システム、サーバ、プログラム、及び、記録媒体
JP2005202733A (ja) インターネットを利用した販売支援システムおよび販売支援方法
JP5055542B2 (ja) リモートコードリーダシステム、コードリーダ、ホストコンピュータ、ホストコンピュータが実行する方法、及び、コンピュータプログラム
JP2008250790A (ja) 情報提供サーバおよびプログラム