JP2022166744A - 情報処理システム、情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2022166744A
JP2022166744A JP2021072150A JP2021072150A JP2022166744A JP 2022166744 A JP2022166744 A JP 2022166744A JP 2021072150 A JP2021072150 A JP 2021072150A JP 2021072150 A JP2021072150 A JP 2021072150A JP 2022166744 A JP2022166744 A JP 2022166744A
Authority
JP
Japan
Prior art keywords
image
advertisement
information processing
unit
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021072150A
Other languages
English (en)
Other versions
JP7396326B2 (ja
Inventor
真奈 赤池
Mana AKAIKE
篤 伊藤
Atsushi Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021072150A priority Critical patent/JP7396326B2/ja
Priority to US17/712,482 priority patent/US20220343571A1/en
Publication of JP2022166744A publication Critical patent/JP2022166744A/ja
Application granted granted Critical
Publication of JP7396326B2 publication Critical patent/JP7396326B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像データに対して付加部材との見た目のバランスが取れた表示態様で広告を付加することができる情報処理システム、情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】用紙40等の媒体に描かれた素材画像1001に対して付加するメッセージおよび動きを含む付加部材を決定し、付加部材に応じて広告部材を決定する決定部204と、素材画像1001に付加部材および広告部材を付加して加工画像を生成する生成部205と、を含む。【選択図】図7

Description

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。
従来、例えばイベント会場等でイベント参加者が用紙に描いた絵を画像データとして読み取り、その絵の画像に動きを与えてイベント会場内の表示装置で表示させるシステムが知られている。このシステムでは複数のイベント参加者により作成された絵の画像を次々に表示領域内に登場させて、各絵の画像を同じ表示領域内で動き回らせることができる。このシステムによって、イベント参加者が会場を一層楽しむことができ、集客も見込まれるため販促用等として用いられている。
このような、用紙に描かれた絵について読み取られた画像データを表示装置で表示させる技術として、生き物の絵の画像から抽出した特徴量に基づいて絵の画像に動きを与え、陸、海、空等の背景の中を各絵の画像に自由に移動させ、それをプロジェクタで投影する等して表示させる技術が開示されている(例えば特許文献1)。
また、そのようなイベント会場で描いた絵について読み取られた画像データについて、イベント参加者がイベント後に当該画像データを利用して、例えばWebアプリ等によりスタンプ画像等の加工画像を作成する技術等も想定される。この際、スタンプ画像等として加工画像が利用されることを鑑みると、多くの利用者の目に入ることになり、当該加工画像に各企業の各種広告画像を含めることにより広告効果を図ることが考えられる。
しかしながら、読み取られた画像データに対して加工画像が作成される場合に含められる付加部材の内容を考慮せずに既定の広告を含めてしまうと、当該広告が目立たない、または逆に目立ち過ぎる等の不具合が生じるという問題がある。
本発明は、上述の課題に鑑みてなされたものであって、画像データに対して付加部材との見た目のバランスが取れた表示態様で広告を付加することができる情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、媒体に描かれた素材画像に対して付加する付加部材を決定する第1の決定部と、前記付加部材に応じて広告部材を決定する第2の決定部と、前記素材画像に前記付加部材および前記広告部材を付加して加工画像を生成する生成部と、を含むことを特徴とする。
本発明によれば、画像データに対して付加部材との見た目のバランスが取れた表示態様で広告を付加することができる。
図1は、実施形態に係る情報処理システムの全体構成の一例を示す図である。 図2は、実施形態に係る画像表示システムの構成の一例を示す図である。 図3は、実施形態係る表示制御装置のハードウェア構成の一例を示す図である。 図4は、実施形態に係るコンテンツ提供サーバのハードウェア構成の一例を示す図である。 図5は、実施形態に係る情報端末のハードウェア構成の一例を示す図である。 図6は、実施形態に係る表示制御装置の機能ブロックの構成の一例を示す図である。 図7は、実施形態に係るコンテンツ提供サーバの機能ブロックの構成の一例を示す図である。 図8は、メッセージテーブルの一例を示す図である。 図9は、広告部材テーブルの一例を示す図である。 図10は、広告部材選択ルールテーブルの一例を示す図である。 図11は、実施形態に係る画像表示システムで用いる手書き描画を行うための用紙の一例を示す図である。 図12は、実施形態に係る画像表示システムで用いる手書き描画を行うための用紙に絵が描画された状態の一例を示す図である。 図13は、実施形態に係る情報処理システムにおいて表示制御装置により取得された素材画像をコンテンツ提供サーバに登録する処理の流れの一例を示すシーケンス図である。 図14は、実施形態に係るコンテンツ提供サーバにおける加工画像生成処理の流れの一例を示すフローチャートである。 図15は、素材画像およびタイトル画像の一例を示す図である。 図16は、素材画像を選択するトップ画面の一例を示す図である。 図17は、素材表示画面の一例を示す図である。 図18は、メッセージ選択画面でメッセージが選択された状態の一例を示す図である。 図19は、動きの選択が可能なメッセージ選択画面の一例を示す図である。 図20は、素材画像とメッセージとの関連付けの結果の一例を示す図である。 図21は、決定された広告部材の一例を示す図である。 図22は、メッセージ選択画面でメッセージが選択された状態の別の例を示す図である。 図23は、素材画像とメッセージとの関連付けの結果の別の例を示す図である。 図24は、決定された広告部材の別の例を示す図である。 図25は、加工画像完成画面の一例を示す図である。 図26は、加工画像完成画面の別の例を示す図である。 図27は、変形例に係る画像表示システムで用いる手書き描画を行うための用紙に絵が描画された状態の一例を示す図である。
以下に、図1~図27を参照しながら、本発明に係る情報処理システム、情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
(情報処理システムの全体構成)
図1は、実施形態に係る情報処理システムの全体構成の一例を示す図である。図1を参照しながら、本実施形態に係る情報処理システム1の全体構成について説明する。
図1に示す情報処理システム1は、画像表示システム10において読み取られた画像データを、コンテンツ提供サーバ20に登録し、情報端末30における操作に応じて、コンテンツ提供サーバ20に登録された画像データから加工画像を生成するためのシステムである。情報処理システム1は、図1に示すように、画像表示システム10と、コンテンツ提供サーバ20と、情報端末30と、を含む。画像表示システム10と、コンテンツ提供サーバ20と、情報端末30と、は、ネットワークNを介してデータ通信が可能となっている。
ネットワークNは、LAN(Local Area Network)、VPN(Virtual Private Network)、またはインターネット等の少なくともいずれかによって構成されたネットワークである。ネットワークNは、上述の装置およびシステム以外にも、適宜、アプリ提供サーバ、外部サービス提供サーバ、SNS(Social Networking Service)サーバ等とデータ通信を可能にする。
画像表示システム10は、例えばイベント会場等に設置されたシステムであって、イベントの参加者が描いた絵の用紙をスタッフ(オペレータ)等が画像読取装置に読み取らせた画像データを、プロジェクタによって投影して表示させるシステムである。
コンテンツ提供サーバ20は、画像表示システム10において読み取られた画像データを登録し、当該画像データを情報端末30にコンテンツとして提供するサーバである。
情報端末30は、コンテンツ提供サーバ20から画像データの加工処理サービスの提供を受けるスマートフォン、タブレット端末またはPC(Personal Computer)等の情報処理装置である。
(画像表示システムの構成)
図2は、実施形態に係る画像表示システムの構成の一例を示す図である。図2を参照しながら、本実施形態に係る画像表示システム10の構成について説明する。
図2に示すように、画像表示システム10は、表示制御装置11と、画像読取装置12と、プロジェクタ13と、測域センサ14と、を有する。
表示制御装置11は、画像読取装置12で用紙40を読み取って得られた、イベント会場等で参加者の描いた絵の画像データに対して、所定の画像処理を実行して読取画像として取得するPCまたはワークステーション等の情報処理装置である。表示制御装置11は、読取画像に基づいて生成された後述するユーザオブジェクトを含む投影画像をプロジェクタ13に送信する。また、表示制御装置11は、読取画像から抽出した素材画像、および絵のタイトルとして記載されたタイトル画像を、所定のタイミングでコンテンツ提供サーバ20へ送信する。なお、表示制御装置11は、単一の情報処理装置によって構成されることに限られず、複数の情報処理装置によって構成されていてもよい。
画像読取装置12は、イベントの参加者が手描きで絵を描いた用紙40を読み取ることによって得られた画像データを、表示制御装置11に送信する装置である。画像読取装置12は、例えば、スキャナ(撮像部)と、用紙40を載置する載置台と、載置台に対してスキャナを所定の高さに固定するための治具とを含む。載置台に用紙40を表向きにセットして、用紙40の表面を光走査することによりスキャナで用紙40の表面の画像を読み取ることができる。
プロジェクタ13は、表示制御装置11から受信した投影画像を、表示媒体としてのスクリーンSに投影画像IMとして投影する装置である。
測域センサ14は、スクリーンSの手前の位置で参加者の手等の物体を検出し、検出した物体の位置情報を表示制御装置11に送信するセンサである。測域センサ14は、例えば、図2に示すように、スクリーンSの上部の天井に設置される。表示制御装置11は、測域センサ14から受信した手等の物体の位置情報と、スクリーンSに投影されている投影画像IM上の位置とを対応付け、参加者が投影画像IM上のどの位置を指し示したのかを特定し、投影画像IMに変化を与える等の所定のイベント処理を実行する。ここで、参加者が投影画像IM上の特定に位置を指し示すことを「タッチする」と称する場合がある。また、参加者が投影画像IMに対してタッチする場合、測域センサ14が位置を検出できる限りにおいて、直接、スクリーンSに接触するものとしても問題はない。このように、画像表示システム10は、参加者のタッチ動作に対して所定のイベント処理を実行するというようなインタラクティブな環境を提供することができる。
なお、絵およびタイトルを記載する媒体として、用紙40ではなく例えばタブレット端末等のように、表示デバイスと入力デバイスとが一体的に形成され、参加者の入力デバイスに対する指定位置に応じて座標情報を入力可能な情報処理端末を利用してもよい。この場合、当該情報処理端末は、表示バイスに表示される画面に3次元のオブジェクトを表示することができる。参加者は、当該情報処理端末の画面に表示された3次元のオブジェクトを、入力デバイスに対する操作により回転させながら絵を描画することにより、3次元オブジェクトを直接的に描画することができる。この場合、当該情報処理端末は、描画された3次元オブジェクトの画像データを、表示制御装置11へ送信するものとすればよい。
(表示制御装置のハードウェア構成)
図3は、実施形態係る表示制御装置のハードウェア構成の一例を示す図である。図3を参照しながら、本実施形態に係る表示制御装置11のハードウェア構成について説明する。
図3に示すように、表示制御装置11は、CPU(Central Processing Unit)501と、ROM(Read Only Memory)502と、RAM(Random Access Memory)503と、グラフィクスI/F504と、ストレージ505と、データI/F506と、通信I/F507と、モニタ508と、音声出力I/F509と、スピーカ510と、入力装置511と、を備えている。
CPU501は、表示制御装置11全体の動作を制御する演算装置である。ROM502は、表示制御装置11用のBIOS(Basic Input/Output System)およびプログラム等を記憶している不揮発性記憶装置である。RAM503は、CPU501のワークエリアとして使用される揮発性記憶装置である。
グラフィクスI/F504は、モニタ508およびプロジェクタ13に対して表示および投影するための画像データを送信するためのインターフェースである。
ストレージ505は、読取画像、素材画像およびタイトル画像等の各種画像データおよび各種プログラム等を記憶するHDD(Hard Disk Drive)、SSD(Solid State Drive)、またはフラッシュメモリ等の補助記憶装置である。
データI/F506は、画像読取装置12およびプロジェクタ13とデータ通信するため、および、入力装置511からの操作情報を受信するためのインターフェースである。例えば、データI/F506は、CPU501で生成された制御信号を、画像読取装置12およびプロジェクタ13に送信する。データI/F506は、例えば、USB(Universal Serial Bus)インターフェース等である。
通信I/F507は、ネットワーク等に接続してデータ通信するためのインターフェースである。図3に示す例では、通信I/F507は、測域センサ14に接続されているものとしており、測域センサ14が検出した物体の位置情報を受信する。また、通信I/F507は、図1に示すネットワークNにも接続されている。通信I/F507は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)のプロトコルで通信可能にするNIC(Network Interface Card)である。なお、測域センサ14は、通信I/F507ではなく、データI/F506に接続されているものとしてもよい。
モニタ508は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、またはCPU501により実行されるアプリケーションの画面を表示する表示装置である。モニタ508は、例えば、液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイ等である。なお、モニタ508は、例えば、グラフィクスI/F504に対して、VGAケーブルまたはHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等によって接続される。
音声出力I/F509は、スピーカ510に対して音声データを出力するためのインターフェースである。スピーカ510は、CPU501が実行するアプリケーションの動作に合わせて受信した音声データを音声として出力する装置である。
入力装置511は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行うキーボードおよびマウス等である。
上述のCPU501、ROM502、RAM503、グラフィクスI/F504、ストレージ505、データI/F506、通信I/F507および音声出力I/F509は、は、アドレスバスおよびデータバス等のバス520によって互いに通信可能に接続されている。
なお、図3に示した表示制御装置11のハードウェア構成は一例であり、すべての構成機器を備えている必要はなく、また、他の構成機器を備えているものとしてもよい。
(コンテンツ提供サーバのハードウェア構成)
図4は、実施形態に係るコンテンツ提供サーバのハードウェア構成の一例を示す図である。図4を参照しながら、本実施形態に係るコンテンツ提供サーバ20のハードウェア構成について説明する。
図4に示すように、コンテンツ提供サーバ20は、CPU601と、ROM602と、RAM603と、HD604と、HDD(Hard Disk Drive)コントローラ605と、ディスプレイ606と、外部機器接続I/F608と、ネットワークI/F609と、キーボード611と、ポインティングデバイス612と、DVD-RW(Digital Versatile Disk Rewritable)ドライブ614と、メディアI/F616と、を備えている。
CPU601は、コンテンツ提供サーバ20全体の動作を制御する演算装置である。ROM602は、IPL(Initial Program Loader)等のCPU601の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。RAM603は、CPU601のワークエリアとして使用される揮発性記憶装置である。
HD604は、プログラム等の各種データを記憶する補助記憶措置である。HDDコントローラ605は、CPU601の制御に従ってHD604に対する各種データの読み出しまたは書き込みを制御するコントローラである。
ディスプレイ606は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する液晶ディスプレイまたは有機ELディスプレイ等である。
外部機器接続I/F608は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリまたはプリンタ等である。
ネットワークI/F609は、ネットワークNを利用してデータ通信をするためのインターフェースである。ネットワークI/F609は、例えば、TCP/IPのプロトコルで通信可能にするNICである。
キーボード611は、文字、数値、各種指示等の入力のための複数のキーを備えた入力装置の一例である。ポインティングデバイス612は、各種指示の選択、実行、処理対象の選択、カーソルの移動等を行う入力装置の一種である。
DVD-RWドライブ614は、着脱可能な記憶媒体の一例としてのDVD613に対する各種データの読み出しまたは書き込みを制御する。また、DVD613は、例えば、DVD-RW、DVD-R(Digital Versatile Disk Recordable)、CD-RW(Compact Disc Rewritable)、CD-R(Compact Disc Recordable)等である。
メディアI/F616は、フラッシュメモリ等のメディア615に対するデータの読み出しまたは書き込みを制御するインターフェースである。
上述のCPU601、ROM602、RAM603、HDDコントローラ605、ディスプレイ606、外部機器接続I/F608、ネットワークI/F609、キーボード611、ポインティングデバイス612、DVD-RWドライブ614およびメディアI/F616は、アドレスバスおよびデータバス等のバス610によって互いに通信可能に接続されている。
なお、図4に示したコンテンツ提供サーバ20のハードウェア構成は一例であり、すべての構成機器を備えている必要はなく、また、他の構成機器を備えているものとしてもよい。
また、コンテンツ提供サーバ20は、単一のサーバ等の情報処理装置によって構成されることに限られず、複数の情報処理装置によって情報処理システムとして構成されていてもよい。
(情報端末のハードウェア構成)
図5は、実施形態に係る情報端末のハードウェア構成の一例を示す図である。図5を参照しながら、本実施形態に係る情報端末30のハードウェア構成について説明する。
図5に示すように、情報端末30は、CPU701と、ROM702と、RAM703と、EEPROM(Electrically Erasable Programmable Read Only Memory)704と、カメラ705と、撮像素子I/F706と、加速度・方位センサ707と、メディアI/F709と、GPS(Global Positioning System)受信部711と、を備えている。
CPU701は、情報端末30全体の動作を制御する演算装置である。ROM702は、IPL等のCPU701の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。RAM703は、CPU701のワークエリアとして使用される揮発性記憶装置である。EEPROM704は、CPU701の制御に従って、Webブラウザ等のプログラム等および各種データの記憶する不揮発性記憶装置である。
カメラ705は、CPU701の制御に従って、CMOS(Complementary Metal Oxide Semiconductor)のイメージセンサにより被写体を撮像して画像データを得る内蔵型の撮像装置である。なお、CMOSのイメージセンサではなく、CCD(Charge Coupled Device)等のイメージセンサであってもよい。撮像素子I/F706は、カメラ705の駆動を制御するためのインターフェースである。
加速度・方位センサ707は、地磁気を検知する電子磁気コンパス、ジャイロコンパス、加速度センサ等の各種センサである。
メディアI/F709は、フラッシュメモリ等のメディア708に対するデータの読み出しまたは書き込みを制御するインターフェースである。
GPS受信部711は、GPS衛星からGPS信号を受信する受信装置である。
また、情報端末30は、図5に示すように、遠距離通信回路712と、アンテナ712aと、カメラ713と、撮像素子I/F714と、マイク715と、スピーカ716と、音入出力I/F717と、ディスプレイ718と、外部機器接続I/F719と、近距離通信回路720と、アンテナ720aと、タッチパネル721と、を備えている。
遠距離通信回路712は、ネットワークNを介して、アンテナ712aにより他の機器と無線通信する回路である。
カメラ713は、CPU701の制御に従って、CMOSのイメージセンサにより被写体を撮像して画像データを得る内蔵型の撮像装置である。なお、CMOSのイメージセンサではなく、CCD等のイメージセンサであってもよい。撮像素子I/F714は、カメラ713の駆動を制御するためのインターフェースである。
マイク715は、音を電気信号に変える内蔵型の集音装置である。スピーカ716は、電気信号を物理振動に変えて音楽または音声等の音を出力する内蔵型の回路である。音入出力I/F717は、CPU701の制御に従って、マイク715およびスピーカ716との間で音信号の入出力を処理するインターフェースである。
ディスプレイ718は、被写体の画像、各種アイコン等を表示する液晶ディスプレイまたは有機ELディスプレイ等である。外部機器接続I/F719は、各種の外部機器を接続するためのインターフェースである。近距離通信回路720は、アンテナ720aを用いてNFC(Near Field Communication)またはBluetooth(登録商標)等の通信回路である。
タッチパネル721は、利用者がディスプレイ718をタッチ操作することにより、情報端末30を操作する入力装置のである。
上述のCPU701、ROM702、RAM703、EEPROM704、撮像素子I/F706、加速度・方位センサ707、メディアI/F709、GPS受信部711、遠距離通信回路712、撮像素子I/F714、音入出力I/F717、ディスプレイ718、外部機器接続I/F719、近距離通信回路720およびタッチパネル721は、アドレスバスおよびデータバス等のバス710によって互いに通信可能に接続されている。
なお、図5に示した情報端末30のハードウェア構成は一例であり、すべての構成機器を備えている必要はなく、また、他の構成機器を備えているものとしてもよい。
(表示制御装置の機能ブロックの構成および動作)
図6は、実施形態に係る表示制御装置の機能ブロックの構成の一例を示す図である。図6を参照しながら、本実施形態に係る表示制御装置11の機能ブロックの構成および動作について説明する。
図6に示すように、表示制御装置11は、画像取得部111と、抽出部112と、画像制御部113と、入力部114と、位置特定部115と、記憶部116と、表示制御部117と、送信部118と、を有する。
画像取得部111は、画像読取装置12により用紙40から読み込まれた読取画像を取得する機能部である。画像取得部111は、取得した読取画像を、記憶部116に記憶させる。画像取得部111は、例えば、図3に示すCPU501によりプログラムが実行されることによって実現される。
抽出部112は、画像取得部111により取得された読取画像から、用紙40の後述する描画領域に描かれた絵に相当する素材画像、およびタイトル領域に記載されたタイトルに相当するタイトル画像を抽出する機能部である。抽出部112は、抽出した素材画像およびタイトル画像を、記憶部116に記憶させる。抽出部112は、例えば、図3に示すCPU501によりプログラムが実行されることによって実現される。
画像制御部113は、抽出部112により抽出された素材画像に基づく3次元オブジェクトに対する動作制御を行う機能部である。画像制御部113は、例えば、図3に示すCPU501によりプログラムが実行されることによって実現される。
入力部114は、入力装置511からの操作情報、および、測域センサ14によってタッチ動作が検出された場合の位置情報を入力する機能部である。入力部114は、図3に示すデータI/F506、通信I/F507、および、CPU501によりプログラムが実行されることによって実現される。
位置特定部115は、測域センサ14から入力部114を介して入力されたイベントの参加者の手の位置情報と、投影画像IM上の位置との対応付けから、参加者の手が投影画像IM上のどの位置を指し示したかを特定する機能部である。位置特定部115は、例えば、図3に示すCPU501によりプログラムが実行されることによって実現される。
記憶部116は、読取画像、素材画像およびタイトル画像等の各種画像データおよび各種プログラム等を記憶する機能部である。記憶部116は、図3に示すストレージ1004によって実現される。
表示制御部117は、プロジェクタ13の投影動作、および、モニタ508の表示動作を制御する機能部である。具体的には、表示制御部117は、3次元の画像データ空間のうち2次元で示す画像データを、投影画像としてプロジェクタ13に送信して表示させる。表示制御部117は、図3に示すグラフィクスI/F504、および、CPU501によりプログラムが実行されることによって実現される。
送信部118は、抽出部112により抽出された素材画像およびタイトル画像を、所定のタイミングで、コンテンツ提供サーバ20へ送信する機能部である。送信部118は、図3に示す通信I/F507、および、CPU501によりプログラムが実行されることによって実現される。
なお、図6に示した表示制御装置11の画像取得部111、抽出部112、画像制御部113、入力部114、位置特定部115、表示制御部117および送信部118は、図3のCPU501によりプログラムが実行されること、すなわち、ソフトウェアにより実現してもよく、集積回路等のハードウェアにより実現してもよく、または、ソフトウェアおよびハードウェアを併用して実現してもよい。
また、図6に示した表示制御装置11の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図6で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図6の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
(コンテンツ提供サーバの機能ブロックの構成および動作)
図7は、実施形態に係るコンテンツ提供サーバの機能ブロックの構成の一例を示す図である。図8は、メッセージテーブルの一例を示す図である。図9は、広告部材テーブルの一例を示す図である。図10は、広告部材選択ルールテーブルの一例を示す図である。図7~図10を参照しながら、本実施形態に係る表示制御装置11の機能ブロックの構成および動作について説明する。
図7に示すように、コンテンツ提供サーバ20は、取得部201と、入力部202と、提供部203と、決定部204と、生成部205と、記憶部206と、を有する。
取得部201は、画像表示システム10の表示制御装置11から出力された、用紙40の描画領域に描画された絵の画像である素材画像、およびタイトル領域に記載されたタイトルの画像であるタイトル画像を取得して、記憶部206に登録する機能部である。また、取得部201は、情報端末30からの操作指令に応じて、所定の素材画像およびタイトル画像を、記憶部206から取得する。取得部201は、例えば、図4に示すCPU601によりプログラムが実行されることによって実現される。
入力部202は、情報端末30で実行されるWebブラウザ上で操作された操作情報を入力する機能部である。入力部202は、例えば、図4に示すCPU601によりWebアプリケーション(以下、Webアプリと称する)等のプログラムが実行されることによって実現される。
提供部203は、素材画像、タイトル画像、素材画像に対する加工に用いる付加部材および広告部材、ならびに加工された結果の加工画像等の各種コンテンツを情報端末30に対して提供する機能部である。また、提供部203は、素材画像に対してメッセージおよび動作等の付加部材、および広告部材の付加を可能とするコンテンツを、情報端末30に対して提供する。各種コンテンツは、情報端末30においてWebブラウザで表示可能なWebページとして構成される。提供部203は、例えば、図4に示すCPU601によりWebアプリ等のプログラムが実行されることによって実現される。
決定部204は、素材画像に対して付加する付加部材および広告部材を決定する機能部である。決定部204は、例えば、図4に示すCPU601によりWebアプリ等のプログラムが実行されることによって実現される。
生成部205は、決定部204により決定された付加部材および広告部材を、素材画像に付加した加工画像を生成する機能部である。後述するように、付加部材に、素材画像に与える動きが含まれる場合、生成部205は、例えば、加工画像をアニメーションGIF(Graphics Interchange Format)として生成する。なお、付加部材に、素材画像に与える動きが含まれない場合、生成部205は、加工画像を静止画像として生成すればよい。生成部205は、例えば、図4に示すCPU601によりWebアプリ等のプログラムが実行されることによって実現される。
記憶部206は、取得部201により取得された素材画像およびタイトル画像、生成部205により生成された加工画像、ならびに、決定部204により付加部材および広告部材を決定するために用いる各種テーブルを記憶する機能部である。記憶部206は、図4に示すHD604によって実現される。
記憶部206は、図8に示すメッセージテーブルを記憶している。メッセージテーブルは、素材画像に付加する付加部材を管理するテーブルである。具合的には、メッセージテーブルは、メッセージNo.と、メッセージテキストと、メッセージ画像と、動きと、を関連付けて管理する。ここで、付加部材とは、メッセージおよび動きを示すものとする。また、メッセージとは、メッセージテキストおよびメッセージ画像を示すものとする。
メッセージNo.は、付加部材を一意に識別する識別情報の一例(識別番号)である。メッセージテキストは、メッセージに含まれるテキスト部分である。なお、メッセージによっては、テキスト部分がない場合もあり得る。メッセージ画像は、メッセージに含まれる画像部分である。なお、メッセージ画像は動画像であってもよい。動きは、素材画像に与える動きの種類を示すものである。
なお、図8に示すメッセージテーブルにおける動きとしては、「はねる」、「指定なし」、「ゆれる」および「はしる」が例示されているが、これに限定されず、例えば、「ズーム」(拡大縮小)または「静止」等のその他の動きが含まれていてもよい。また、「指定なし」の場合は、例えば、ランダムに動きが決定されてもよい。
また、付加部材としては、さらに音が含まれてもよく、この場合、メッセージテーブルにおいて、さらに音が関連付けて管理されるものとすればよい。
また、記憶部206は、図9に示す広告部材テーブルを記憶している。広告部材テーブルは、広告部材のうち広告画像を管理するテーブルである。具体的には、広告部材テーブルは、広告部材No.と、広告画像と、を関連付けて管理する。ここで、広告部材とは、広告画像、当該広告画像に対する装飾方法、および当該広告画像の素材画像に対する表示位置を示すものとする。広告画像は、企業のロゴ、イベント名、またはハッシュタグ等の予め設定された所定の画像である。
また、記憶部206は、図10に示す広告部材選択ルールテーブル(ルール情報の一例)を記憶している。広告部材選択ルールテーブルは、付加部材に応じた、広告画像の表示方法のルールを管理するテーブルである。ここで、広告画像の表示方法とは、例えば、当該広告画像についての装飾方法、および当該広告画像についての表示位置を示す。具体的には、広告部材選択ルールテーブルは、メッセージNo.と動きとの組み合わせと、広告部材とを関連付けて管理する。なお、動きの欄が空欄の場合、任意の動きとマッチングするものとする。
広告部材No.は、広告部材を一意に識別する識別情報の一例(識別番号)である。装飾方法は、広告画像に対する装飾の方法である。表示位置は、広告画像を素材画像に対してどの位置に表示させるかを示すものである。
図10に示す広告部材選択ルールテーブルでは、例えば、メッセージNo.が「1」、動きが「はねる」の組み合わせに対して、広告部材No.が「3」の広告画像に対する装飾方法として「ネオン」、表示位置として「左上」が関連付けられている。また、メッセージNo.「2」については、動きがどのようなものであっても、広告部材No.が「3」の広告画像に対する装飾方法として「モニタ」、表示位置として「左下」が関連付けられていることを示す。
なお、上述のメッセージテーブル、広告部材テーブルおよび広告部材選択ルールテーブルは、テーブル形式の情報としているが、これに限定されるものではなく、テーブルの各カラムの値が互いに関連付けて管理することができれば、どのような形式の情報であってもよい。
また、図7に示したコンテンツ提供サーバ20の取得部201、入力部202、提供部203、決定部204および生成部205は、図4のCPU601によりプログラムが実行されること、すなわち、ソフトウェアにより実現してもよく、集積回路等のハードウェアにより実現してもよく、または、ソフトウェアおよびハードウェアを併用して実現してもよい。
また、図7に示したコンテンツ提供サーバ20の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図7で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図7の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。例えば、決定部204が有する付加部材を決定する機能部(第1の決定部)と、広告部材を決定する機能部(第2の決定部)とを分割して、別々の機能部として表すことも可能である。
(用紙の読み取り処理とタイトル画像等の抽出処理)
図11は、実施形態に係る画像表示システムで用いる手書き描画を行うための用紙の一例を示す図である。図12は、実施形態に係る画像表示システムで用いる手書き描画を行うための用紙に絵が描画された状態の一例を示す図である。図11および図12を参照しながら、用紙40の読み取り処理およびタイトル画像等の抽出処理について説明する。
図11(a)に示すように、用紙40の表面40aには、イベントの参加者が絵を手書きで描画する描画領域401と、描画する絵のタイトルを記入するタイトル領域402と、用紙40を識別する識別情報を含む識別コード403とが配置されている。また、表面40aには、4隅のうち3つの隅にマーカ404a~404cが配置されている。このマーカ404a~404cは、用紙40の向きおよび大きさを特定し、さらに、描画領域401、タイトル領域402および識別コード403の位置および大きさを特定するためのマーカである。これは、用紙40において、マーカ404a~404cの位置に対して、描画領域401、タイトル領域402および識別コード403の位置が予め決まっているからである。なお、図11(a)では、識別コード403の識別情報としてバーコードが記載されているが、これに限定されるものではなく、例えばQRコード(登録商標)等の二次元コードまたはカラーコード等であってもよい。
図11(b)に示すように、用紙40の裏面40bには、表面40aに描かれた絵を利用するWebページの利用方法等の説明を含む説明領域411と、イベントの告知または広告等が記載されたイベント広告領域412と、識別コード403と同じ識別情報を示す数字、アルファベットおよび記号等の文字列を示した識別コード413とが配置されている。
図12には、描画領域401に対して自動車の絵が描画され、タイトル領域402には絵のタイトルとして「みどりのくるま」が記入された用紙40の例が示されている。なお、描画領域401には、直接絵が描画できるようにすること以外に、例えば、処理の絵の輪郭のみが既に描画されており、参加者が自由に塗り絵をすることによって絵を完成できるようにしてもよい。
画像読取装置12は、描画領域401に絵が描画され、タイトル領域402にタイトルが記入された用紙40を読み取ることによって、読取画像を得る。表示制御装置11の画像取得部111は、画像読取装置12から読取画像を受信して取得する。
表示制御装置11の抽出部112は、画像取得部111により取得された読取画像から、描画領域401に描画された絵の画像である素材画像、タイトル領域402に記入されたタイトルの画像であるタイトル画像、および識別コード403を抽出する。具体的には、抽出部112は、まず、読取画像から、例えば、パターンマッチング等を用いて、マーカ404a~404cをそれぞれ検出する。このように、マーカ404a~404cを検出することによって、用紙40の向きおよび大きさが特定され、さらに、読取画像における描画領域401、タイトル領域402および識別コード403に対応する部分の位置および大きさが特定される。次に、抽出部112は、読取画像における描画領域401に対応する画像部分の各画素が白色(用紙40の地の色)か、白色以外かによって二値化することによって素材画像の部分を抽出する。抽出部112は、タイトル領域402のタイトル画像についても、同様に二値化することによって抽出できる。また、抽出部112は、同様に識別コード403のバーコード部分を抽出して、当該バーコードをデコードすることにより用紙40の識別情報を得ることができる。
(素材画像等をコンテンツ提供サーバに登録する処理)
図13は、実施形態に係る情報処理システムにおいて表示制御装置により取得された素材画像をコンテンツ提供サーバに登録する処理の流れの一例を示すシーケンス図である。図13を参照しながら、本実施形態に係る情報処理システム1において表示制御装置11により取得された素材画像等をコンテンツ提供サーバ20に登録する処理の流れについて説明する。
<ステップS11>
イベント会場内において、イベントの参加者が絵を描いた用紙40を、オペレータが受け取り、その用紙40を画像読取装置12にセットして画像読取開始のボタンの押下等を行う。すると、画像読取装置12は、描画領域401に絵が描画され、タイトル領域402にタイトルが記入された用紙40を読み取ることによって、読取画像を得る。
<ステップS12>
画像読取装置12は、用紙40に対する読み取り処理により得られた読取画像を表示制御装置11へ送信する。表示制御装置11の画像取得部111は、画像読取装置12から読取画像を受信して取得する。
<ステップS13>
そして、表示制御装置11の抽出部112は、上述の方法によって、読取画像から、描画領域401に描画された絵の画像である素材画像、タイトル領域402に記入されたタイトルの画像であるタイトル画像、および識別コード403を抽出する。
<ステップS14>
そして、抽出部112は、所定の店舗コードと、抽出した識別コード403からデコードした識別情報とにより管理情報を構成し、コンテンツ提供サーバ20に対して、当該管理情報が示すパス等の格納場所へ素材画像およびタイトル画像を登録する登録要求をコンテンツ提供サーバ20へ送信する。
<ステップS15>
そして、コンテンツ提供サーバ20の取得部201は、管理情報、素材画像およびタイトル画像、ならびにこれらを登録する登録要求を受信して取得する。そして、取得部201は、管理情報が示す記憶部206内におけるパス等の格納場所に、素材画像およびタイトル画像を、管理情報に含まれる識別情報に関連付けて登録する。
なお、図13に示す処理は、表示制御装置11に画像読取装置12から1枚ごとに用紙40の読取画像が出力され、表示制御装置11は用紙40の読取画像を1枚ずつ受信する度に登録要求を繰り返し行う。ただし、登録要求の手順の一部またはすべてを、読取画像が一定数溜まった段階、または所定時間おき等に、複数の読取画像についてまとめて行ってもよい。
また、上述のように、オペレータは、イベントの参加者が絵を描いた各用紙40を、画像読取装置12に1枚ずつセットする度に画像読取開始のボタンを押下して画像読取りを開始しているが、これに限定されない。例えば、画像読取装置12がADF(Auto Document Feeder)を備えるものであれば、複数枚をセットして画像読取開始のボタンの1回の押下で各用紙40の連続読取りを実行してもよい。
(加工画像生成処理)
図14は、実施形態に係るコンテンツ提供サーバにおける加工画像生成処理の流れの一例を示すフローチャートである。図15は、素材画像およびタイトル画像の一例を示す図である。図16は、素材画像を選択するトップ画面の一例を示す図である。図17は、素材表示画面の一例を示す図である。図18は、メッセージ選択画面でメッセージが選択された状態の一例を示す図である。図19は、動きの選択が可能なメッセージ選択画面の一例を示す図である。図20は、素材画像とメッセージとの関連付けの結果の一例を示す図である。図21は、決定された広告部材の一例を示す図である。図22は、メッセージ選択画面でメッセージが選択された状態の別の例を示す図である。図23は、素材画像とメッセージとの関連付けの結果の別の例を示す図である。図24は、決定された広告部材の別の例を示す図である。図25は、加工画像完成画面の一例を示す図である。図26は、加工画像完成画面の別の例を示す図である。図14~図26を参照しながら、本実施形態に係るコンテンツ提供サーバ20における加工画像生成処理の流れについて説明する。なお、情報端末30を所有するイベントの参加者は、当該イベントにおいて用紙40に絵およびタイトルを記載し、当該用紙40が画像読取装置12により読み取られ、図15に示すような、抽出された絵の素材画像1001およびタイトルのタイトル画像1002が、コンテンツ提供サーバ20に登録されているものとする。
<ステップS21>
まず、情報端末30は、イベントに参加した参加者による操作に従って、Webブラウザを起動し、所定のWebアプリの起動指令をコンテンツ提供サーバ20へ送信する。すると、コンテンツ提供サーバ20の提供部203は、図16に示すようなWebアプリのトップ画面2000のWebページを、情報端末30へ送信し、情報端末30は、ディスプレイ718に当該トップ画面2000を表示させる。そして、ステップS22へ移行する。
<ステップS22>
図16に示すように、情報端末30のディスプレイ718に表示されるトップ画面2000は、例えば、コンテンツ提供サーバ20に登録された素材画像のサムネイルの一覧を表示している。参加者は、トップ画面2000に表示された素材画像のサムネイルから、所望の素材画像を、タッチパネル721を介して選択する。すると、コンテンツ提供サーバ20の取得部201は、情報端末30で選択された素材画像のサムネイルに対応する素材画像1001およびタイトル画像1002を、記憶部206から取得する。
そして、提供部203は、取得部201により選択された素材画像1001およびタイトル画像1002を表示する、図17に示すような素材表示画面2100のWebページを、情報端末30へ送信し、情報端末30は、ディスプレイ718に当該素材表示画面2100を表示させる。図17に示すように、素材表示画面2100は、素材画像1001と、タイトル画像1002と、作成開始ボタン2101と、を含む。作成開始ボタン2101は、素材画像1001に対して付加部材および広告部材を付加することによって、スタンプ等の加工画像を作成するためのボタンである。
なお、図16に示すトップ画面2000では、コンテンツ提供サーバ20に登録された素材画像のサムネイルの一覧を表示するものとしたが、これに限定されない。例えば、参加者は、イベントで用いた用紙40の裏面40bに記載されている識別コード413を、情報端末30に表示されたWebページに入力することによって、取得部201は、当該識別コード413が示す識別情報により特定される素材画像1001およびタイトル画像1002を、記憶部206から取得するものとしてもよい。これによって、提供部203は、取得部201により選択された素材画像1001およびタイトル画像1002を表示する、図17に示す素材表示画面2100のWebページを、情報端末30に対して直接、表示させることができる。
また、トップ画面2000において一覧表示される素材画像のサムネイルは、イベントが開催された店舗別、日時別に表示されるものとしてもよい。
そして、ステップS23へ移行する。
<ステップS23>
そして、参加者によって素材表示画面2100の作成開始ボタン2101に対してタッチ操作がされると、コンテンツ提供サーバ20の提供部203は、素材画像1001に対して、メッセージおよび動きを与える付加部材、および広告部材を付加するための加工画像生成用のコンテンツである、図18および図22に示すようなメッセージ選択画面2200のWebページを、情報端末30へ提供(送信)する。そして、情報端末30は、ディスプレイ718に当該メッセージ選択画面2200を表示させる。
図18および図22に示すメッセージ選択画面2200は、素材画像1001に対して、メッセージおよび動きを与える付加部材、および広告部材を付加するため画面である。メッセージ選択画面2200は、図18および図22に示すように、加工画像表示領域2201と、調整ボタン2204と、メッセージボタン2205と、作成ボタン2206と、を含む。
加工画像表示領域2201は、素材画像1001に対して、メッセージボタン2205で選択された付加部材、および当該付加部材に対応する広告画像を付加した加工画像を表示する領域である。調整ボタン2204は、加工画像表示領域2201に表示された素材画像1001の位置を調整するためのボタンである。メッセージボタン2205は、素材画像1001に対して付加する付加部材のうちのメッセージを選択するためのボタンである。メッセージボタン2205には、素材画像1001に付加するメッセージが表記されている。作成ボタン2206は、メッセージボタン2205により選択された付加部材、および当該付加部材に対応する広告部材によって加工画像を生成するためのボタンである。
そして、ステップS24へ移行する。
<ステップS24>
参加者は、各種のメッセージが表記されたそれぞれのメッセージボタン2205のうち、素材画像1001への付加を所望するメッセージのメッセージボタン2205を選択操作する。そして、ステップS25へ移行する。
<ステップS25>
コンテンツ提供サーバ20の決定部204は、図8に示したメッセージテーブルを参照し、参加者により選択操作されたメッセージボタン2205に対応する付加部材のメッセージNo.、メッセージテキスト、メッセージ画像、および動きを抽出して、素材画像1001およびタイトル画像1002と関連付ける。これによって、決定部204(第1の決定部)は、素材画像1001およびタイトル画像1002に対応する付加部材を決定する。すなわち、付加部材として、メッセージ(メッセージテキストおよびメッセージ画像)と共に、動きが決定される。
例えば、図18に示すメッセージ選択画面2200の例では、「おつかれさま」とテキスト表記されたメッセージボタン2205が選択された場合の例を示す。この場合、決定部204は、メッセージテーブルを参照し、当該メッセージボタン2205に対応する付加部材のメッセージNo.「11」、メッセージテキスト「おつかれさま」、メッセージ画像、および動き「はしる」を抽出し、図20に示すように、素材画像1001およびタイトル画像1002と関連付ける。これによって、決定部204は、素材画像1001およびタイトル画像1002に対応する付加部材として、メッセージテキスト「おつかれさま」、図20に示すメッセージ画像、および動き「はしる」を決定する。
また、例えば、図22に示すメッセージ選択画面2200の例では、「ペコリ」とテキスト表記されたメッセージボタン2205が選択された場合の例を示す。この場合、決定部204は、メッセージテーブルを参照し、当該メッセージボタン2205に対応する付加部材のメッセージNo.「7」、メッセージテキスト「ペコリ」、メッセージ画像、および動き「ゆれる」を抽出し、図23に示すように、素材画像1001およびタイトル画像1002と関連付ける。これによって、決定部204は、素材画像1001およびタイトル画像1002に対応する付加部材として、メッセージテキスト「ペコリ」、図23に示すメッセージ画像、および動き「ゆれる」を決定する。
なお、付加部材のうちの動きは、メッセージテーブルにおいてメッセージごとに予め関連付けられているものとしているが、これに限定されるものではない。例えば、図19に示すメッセージ選択画面2200aのように、加工画像表示領域2201、メッセージボタン2205および作成ボタン2206に加え、動き選択ラジオボタン2207を含むものとしてもよい。これによって、メッセージボタン2205により素材画像1001に付加するメッセージを選択すると共に、動き選択ラジオボタン2207に対する選択操作によって、素材画像1001に与える動きを選択できるものとしてもよい。これによって、素材画像に対してユーザ(参加者)の好みに応じた動きを付加した加工画像を生成することができる。
そして、ステップS26へ移行する。
<ステップS26>
さらに、決定部204は、図10に示した広告部材選択ルールテーブルを参照し、ステップS25で決定した付加部材(ここではメッセージNo.および動き)に対応する広告部材の広告部材No.、装飾方法、および表示位置を抽出する。さらに、決定部204は、図9に示した広告部材テーブルを参照し、抽出した広告部材No.に対応する広告画像を抽出する。これによって、決定部204(第2の決定部)は、素材画像1001の付加部材に対応する広告部材(広告画像、装飾方法および表示位置)を決定する。すなわち、決定部204は、素材画像1001の付加部材に対応する広告画像、および当該広告画像の表示方法(装飾方法および表示位置)を決定することになる。そして、コンテンツ提供サーバ20の生成部205は、決定部204により決定された付加部材および広告部材を、素材画像1001に付加した加工画像を仮に生成し、メッセージ選択画面2200の加工画像表示領域2201に、生成した加工画像を表示させる。これによって、参加者は、選択したメッセージによって、素材画像に対してどのように付加部材が付加されるのか、および広告画像がどのような装飾方法で、どのような位置に表示されるのかを確認することができる。
例えば、図18に示すメッセージ選択画面2200の例のように、「おつかれさま」とテキスト表記されたメッセージボタン2205が選択された場合の動作を以下に示す。この場合、図21に示すように、決定部204は、広告部材選択ルールテーブルを参照し、図20に示すメッセージNo.「11」および動き「はしる」に対応する広告部材の広告部材No.「3」、装飾方法「装飾無し」、および表示位置「下」を抽出する。さらに、決定部204は、広告部材テーブルを参照し、抽出した広告部材No.「3」に対応する広告画像「#びっくりスタンプ」を抽出する。これによって、決定部204は、素材画像1001の付加部材に対応する広告部材として、広告画像「#びっくりスタンプ」、装飾方法「装飾無し」、および表示位置「下」を決定する。そして、生成部205は、図18に示すように、決定部204により決定された付加部材としてのメッセージ画像および動き「はしる」を素材画像1001に付加し、広告画像「#びっくりスタンプ」を装飾方法「装飾無し」および表示位置「下」の態様で、素材画像1001に付加した加工画像を仮に生成し、加工画像表示領域2201に表示させる。図18に示す加工画像表示領域2201において、メッセージ画像および動き「はしる」を素材画像1001に付加した画像をメッセージ付き画像2202として示し、装飾方法「装飾無し」および表示位置「下」の態様で、素材画像1001に付加された広告画像「#びっくりスタンプ」を広告画像2203として示している。図18に示すように、素材画像1001の車には付加部材として動き「はしる」が付加されているので、生成部205は、例えば、図18に示す矢印の方向に素材画像1001が右から左へ動くようなアニメーションGIFとして加工画像を生成する。
また、例えば、図22に示すメッセージ選択画面2200の例のように、「ペコリ」とテキスト表記されたメッセージボタン2205が選択された場合の動作を以下に示す。この場合、図24に示すように、決定部204は、広告部材選択ルールテーブルを参照し、図23に示すメッセージNo.「7」および動き「ゆれる」に対応する広告部材の広告部材No.「3」、装飾方法「看板」、および表示位置「右下」を抽出する。さらに、決定部204は、広告部材テーブルを参照し、抽出した広告部材No.「3」に対応する広告画像「#びっくりスタンプ」を抽出する。これによって、決定部204は、素材画像1001の付加部材に対応する広告部材として、広告画像「#びっくりスタンプ」、装飾方法「看板」、および表示位置「右下」を決定する。そして、生成部205は、図22に示すように、決定部204により決定された付加部材としてのメッセージ画像および動き「ゆれる」を素材画像1001に付加し、広告画像「#びっくりスタンプ」を装飾方法「看板」および表示位置「右下」の態様で、素材画像1001に付加した加工画像を仮に生成し、加工画像表示領域2201に表示させる。図22に示す加工画像表示領域2201において、メッセージ画像および動き「ゆれる」を素材画像1001に付加した画像をメッセージ付き画像2202aとして示し、装飾方法「看板」および表示位置「右下」の態様で、素材画像1001に付加された広告画像「#びっくりスタンプ」を広告画像2203aとして示している。図22に示すように、素材画像1001の車には付加部材として動き「ゆれる」が付加されているので、生成部205は、例えば、素材画像1001揺れ動くようなアニメーションGIFとして加工画像を生成する。
そして、ステップS27へ移行する。
<ステップS27>
そして、図18または図22に示すメッセージ選択画面2200における作成ボタン2206が押下操作(タッチ操作)された場合(ステップS27:Yes)、ステップS28へ移行し、押下操作されない場合(ステップS27:No)、待機する。なお、作成ボタン2206が押下操作されない場合、ステップS24へ戻るものとし、他のメッセージボタン2205を選択操作するものとしてもよい。
<ステップS28>
生成部205は、決定部204により決定された付加部材および広告部材を、素材画像1001に付加した加工画像を生成する。すなわち、生成部205は、素材画像1001に対して付加部材を付加し、決定部204により決定された広告画像を、決定された表示方法(装飾方法および表示位置)によって表示するように加工画像を生成する。そして、ステップS29へ移行する。
<ステップS29>
生成部205は、生成した加工画像を、例えば、素材画像1001と関連付けて記憶部206に保存する。そして、提供部203は、図25または図26に示すような、生成部205により生成された加工画像を表示する加工画像完成画面2300のWebページを、情報端末30へ提供(送信)する。そして、情報端末30は、ディスプレイ718に当該加工画像完成画面2300を表示させる。この場合、提供部203は、情報端末30のEEPROM704に加工画像を保存させてもよい。これによって、参加者は、EEPROM704に保存された加工画像をSNSにおいてスタンプ画像等として利用することが可能となる。
例えば、図18に示すメッセージ選択画面2200において作成ボタン2206が押下操作された場合、提供部203は、図25に示すような、生成部205により生成された加工画像を加工画像2301として表示し、さらに戻るボタン2302を含む加工画像完成画面2300のWebページを、情報端末30へ提供(送信)する。この図25に示す加工画像2301のように、素材画像1001に付加されるメッセージが彩り豊かな画像または複雑な模様の画像等を含む場合、表示する広告画像をシンプルなものとすることによって、画像データである素材画像1001に対して付加部材との見た目のバランスが取れた表示態様で広告を付加することができる。なお、戻るボタン2302を押下することよって、メッセージ選択画面2200において、再度、メッセージを選択し直して、異なる加工画像を生成することができる。
また、図22に示すメッセージ選択画面2200において作成ボタン2206が押下操作された場合、提供部203は、図26に示すような、生成部205により生成された加工画像を加工画像2301aとして表示し、さらに戻るボタン2302を含む加工画像完成画面2300のWebページを、情報端末30へ提供(送信)する。この図26に示す加工画像2301のように、素材画像1001に付加されるメッセージがシンプルな画像(例えば、背景が白地または単色等の画像)である場合、表示する広告画像を、看板形式等のように一定程度目立つようなものとすることによって、画像データである素材画像1001に対して付加部材との見た目のバランスが取れた表示態様で広告を付加することができる。なお、戻るボタン2302を押下することよって、メッセージ選択画面2200において、再度、メッセージを選択し直して、異なる加工画像を生成することができる。
以上のようなステップS21~S29の流れによって、コンテンツ提供サーバ20における加工画像生成処理が実行される。
以上のように、本実施形態に係るコンテンツ提供サーバ20では、決定部204は、媒体としての用紙40に描かれた素材画像に対して付加する付加部材を決定し、付加部材に応じて広告部材を決定し、生成部205は、素材画像に付加部材および広告部材を付加して加工画像を生成するものとしている。より詳しくは、決定部204は、付加部材に応じて広告部材として広告画像、およびその広告画像の表示方法を決定し、生成部205は、素材画像に付加部材を付加し、広告画像を表示方法によって表示するように加工画像を生成する。これによって、画像データである素材画像1001に対して付加部材との見た目のバランスが取れた表示態様で広告を付加することができる。また、スタンプ等としての加工画像を通じて、効果の高い広告を行うことができる。
なお、生成部205は、決定部204により決定された付加部材および広告部材を、素材画像に付加して加工画像を生成するものとしているが、これに限定されるものではなく、さらにタイトル画像を含めて加工画像を生成するものとしてもよい。
また、決定部204は、広告部材選択ルールテーブルを参照し、決定した付加部材に応じて広告部材を決定するものとしているが、これに限定されるものではない。例えば、決定部204は、付加部材のうちメッセージの特徴に応じて、広告部材を決定するものとしてもよい。また、決定部204は、付加部材のうち動きに応じて、広告部材を決定するものとしてもよい。また、決定部204は、付加部材に加えて、素材画像1001を解析し、その解析結果に応じて、広告部材を決定するものとしてもよい。この場合、解析結果としては、例えば、素材画像1001を解析して求めた所定の特徴量を利用するものとしてもよい。
(変形例)
図27は、変形例に係る画像表示システムで用いる手書き描画を行うための用紙に絵が描画された状態の一例を示す図である。上述の実施形態に係る画像表示システム10では、メッセージ選択画面2200において選択したメッセージに応じて、素材画像の動きが決定する動作としていたが、図27を参照しながら、本変形例に係る画像表示システム10について、上述の実施形態に係る画像表示システム10とは相違する点を中心に説明する。
図27に示すように、用紙40の表面40aには、イベントの参加者が絵を手書きで描画する描画領域401と、描画する絵のタイトルを記入するタイトル領域402と、用紙40を識別する識別情報を含む識別コード403と、絵に与える動きを選択する動き選択領域405と、が配置されている。また、表面40aには、4隅のうち3つの隅にマーカ404a~404cが配置されている。
画像読取装置12は、描画領域401に絵が描画され、タイトル領域402にタイトルが記入され、さらに、動き選択領域405において所望の動きが選択された用紙40を読み取ることによって、読取画像を得る。表示制御装置11の画像取得部111は、画像読取装置12から読取画像を受信して取得する。
表示制御装置11の抽出部112は、画像取得部111により取得された読取画像から、描画領域401に描画された絵の画像である素材画像、タイトル領域402に記入されたタイトルの画像であるタイトル画像、識別コード403、および動き選択領域405の画像部分を抽出する。具体的には、抽出部112は、まず、読取画像から、例えば、パターンマッチング等を用いて、マーカ404a~404cをそれぞれ検出する。このように、マーカ404a~404cを検出することによって、用紙40の向きおよび大きさが特定され、さらに、読取画像における描画領域401、タイトル領域402、識別コード403および動き選択領域405に対応する部分の位置および大きさが特定される。次に、抽出部112は、読取画像における描画領域401に対応する画像部分の各画素が白色(用紙40の地の色)か、白色以外かによって二値化することによって素材画像の部分を抽出する。抽出部112は、タイトル領域402のタイトル画像についても、同様に二値化することによって抽出できる。また、抽出部112は、同様に識別コード403のバーコード部分を抽出して、当該バーコードをデコードすることにより用紙40の識別情報を得ることができる。また、抽出部112は、同様に動き選択領域405の画像部分を抽出して、さらに、当該画像部分からどの動きが選択されたのかを判別する。
そして、抽出部112は、所定の店舗コードと、抽出した識別コード403からデコードした識別情報とにより管理情報を構成し、コンテンツ提供サーバ20に対して、当該管理情報が示すパス等の格納場所へ素材画像、タイトル画像および選択された動きを登録する登録要求をコンテンツ提供サーバ20へ送信する。そして、コンテンツ提供サーバ20の取得部201は、管理情報、素材画像、タイトル画像、および選択された動き、ならびにこれらを登録する登録要求を受信して取得する。そして、取得部201は、管理情報が示す記憶部206内におけるパス等の格納場所に、素材画像、タイトル画像および選択された動きを、管理情報に含まれる識別情報に関連付けて登録する。
そして、参加者は、イベント後において、情報端末30に表示されたトップ画面2000に表示された素材画像のサムネイルから、所望の素材画像を、タッチパネル721を介して選択する。すると、コンテンツ提供サーバ20の取得部201は、情報端末30で選択された素材画像のサムネイルに対応する素材画像1001、タイトル画像1002、および動きを、記憶部206から取得する。以後、素材表示画面2100およびメッセージ選択画面2200の表示までの動作は、上述の実施形態と同様である。
そして、参加者は、各種のメッセージが表記されたそれぞれのメッセージボタン2205のうち、素材画像1001への付加を所望するメッセージのメッセージボタン2205を選択操作する。コンテンツ提供サーバ20の決定部204は、メッセージテーブルを参照し、参加者により選択操作されたメッセージボタン2205に対応する付加部材のメッセージNo.、メッセージテキスト、およびメッセージ画像を抽出して、素材画像1001、タイトル画像1002および動きと関連付ける。これによって、決定部204は、素材画像1001およびタイトル画像1002に対応する付加部材を決定する。以後の動作は、上述の実施形態と同様である。
以上のような構成によって、イベントにおける用紙40に素材画像の基となる絵を描画する際に、当該絵に与える動きを選択することができ、素材画像に対してユーザ(参加者)の好みに応じた動きを付加した加工画像を生成することができる。
なお、上記で説明した実施形態および変形例の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
また、上述の実施形態および変形例の表示制御装置11、コンテンツ提供サーバ20おおよび情報端末30で実行されるプログラムは、ROM等に予め組み込まれて提供するように構成してもよい。
また、上述の実施形態および変形例の表示制御装置11、コンテンツ提供サーバ20おおよび情報端末30で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk-Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータ・プログラム・プロダクトとして提供するように構成してもよい。
また、上述の実施形態および変形例の表示制御装置11、コンテンツ提供サーバ20おおよび情報端末30で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例の表示制御装置11、コンテンツ提供サーバ20おおよび情報端末30で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、上述の実施形態および変形例の表示制御装置11、コンテンツ提供サーバ20おおよび情報端末30で実行されるプログラムは、上述した各機能部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)がROMからプログラムを読み出して実行することにより上述の各機能部が主記憶装置上にロードされ、各機能部が主記憶装置上に生成されるようになっている。
1 情報処理システム
10 画像表示システム
11 表示制御装置
12 画像読取装置
13 プロジェクタ
14 測域センサ
20 コンテンツ提供サーバ
30 情報端末
40 用紙
40a 表面
40b 裏面
111 画像取得部
112 抽出部
113 画像制御部
114 入力部
115 位置特定部
116 記憶部
117 表示制御部
118 送信部
201 取得部
202 入力部
203 提供部
204 決定部
205 生成部
206 記憶部
401 描画領域
402 タイトル領域
403 識別コード
404a~404c マーカ
405 動き選択領域
411 説明領域
412 イベント広告領域
413 識別コード
501 CPU
502 ROM
503 RAM
504 グラフィクスI/F
505 ストレージ
506 データI/F
507 通信I/F
508 モニタ
509 音声出力I/F
510 スピーカ
511 入力装置
520 バス
601 CPU
602 ROM
603 RAM
604 HD
605 HDDコントローラ
606 ディスプレイ
608 外部機器接続I/F
609 ネットワークI/F
610 バス
611 キーボード
612 ポインティングデバイス
613 DVD
614 DVD-RWドライブ
615 メディア
616 メディアI/F
701 CPU
702 ROM
703 RAM
704 EEPROM
705 カメラ
706 撮像素子I/F
707 加速度・方位センサ
708 メディア
709 メディアI/F
710 バス
711 GPS受信部
712 遠距離通信回路
712a アンテナ
713 カメラ
714 撮像素子I/F
715 マイク
716 スピーカ
717 音入出力I/F
718 ディスプレイ
719 外部機器接続I/F
720 近距離通信回路
720a アンテナ
721 タッチパネル
1001 素材画像
1002 タイトル画像
2000 トップ画面
2100 素材表示画面
2101 作成開始ボタン
2200、2200a メッセージ選択画面
2201 加工画像表示領域
2202、2202a メッセージ付き画像
2203、2203a 広告画像
2204 調整ボタン
2205 メッセージボタン
2206 作成ボタン
2207 動き選択ラジオボタン
2300 加工画像完成画面
2301、2301a 加工画像
2302 戻るボタン
IM 投影画像
N ネットワーク
S スクリーン
特開2016-177595号公報

Claims (14)

  1. 媒体に描かれた素材画像に対して付加する付加部材を決定する第1の決定部と、
    前記付加部材に応じて広告部材を決定する第2の決定部と、
    前記素材画像に前記付加部材および前記広告部材を付加して加工画像を生成する生成部と、
    を含む情報処理システム。
  2. 前記第2の決定部は、前記付加部材に応じて前記広告部材として広告画像、および該広告画像の表示方法を決定し、
    前記生成部は、前記素材画像に前記付加部材を付加し、前記広告画像を前記表示方法によって表示するように前記加工画像を生成する請求項1に記載の情報処理システム。
  3. 前記第2の決定部は、前記付加部材に応じた前記広告画像の前記表示方法のルールを管理するルール情報に基づいて、前記広告画像、および該広告画像の前記表示方法を決定する請求項2に記載の情報処理システム。
  4. 前記表示方法は、前記広告画像に対する装飾方法、および該広告画像についての前記素材画像に対する表示位置を含む請求項2または3に記載の情報処理システム。
  5. 前記広告画像は、少なくともロゴ、イベント名またはハッシュタグのうち少なくともいずれかを含む請求項2~4のいずれか一項に記載の情報処理システム。
  6. 前記第1の決定部は、複数の前記付加部材のうち、情報端末での選択操作で選択された前記付加部材を決定する請求項1~5のいずれか一項に記載の情報処理システム。
  7. 前記生成部により生成された前記加工画像を、前記情報端末に提供する提供部を、さらに含む請求項6に記載の情報処理システム。
  8. 前記付加部材は、メッセージ、および前記素材画像に与える動きを含む請求項1~7のいずれか一項に記載の情報処理システム。
  9. 前記第2の決定部は、さらに、前記メッセージの特徴に応じて前記広告部材を決定する請求項8に記載の情報処理システム。
  10. 前記第2の決定部は、さらに、前記素材画像を解析して、解析結果に応じて前記広告部材を決定する請求項1~9のいずれか一項に記載の情報処理システム。
  11. 前記付加部材は、音を含む請求項1~10のいずれか一項に記載の情報処理システム。
  12. 媒体に描かれた素材画像に対して付加する付加部材を決定する第1の決定部と、
    前記付加部材に応じて広告部材を決定する第2の決定部と、
    前記素材画像に前記付加部材および前記広告部材を付加して加工画像を生成する生成部と、
    を備えた情報処理装置。
  13. 媒体に描かれた素材画像に対して付加する付加部材を決定する第1の決定ステップと、
    前記付加部材に応じて広告部材を決定する第2の決定ステップと、
    前記素材画像に前記付加部材および前記広告部材を付加して加工画像を生成する生成ステップと、
    を有する情報処理方法。
  14. コンピュータに、
    媒体に描かれた素材画像に対して付加する付加部材を決定する第1の決定ステップと、
    前記付加部材に応じて広告部材を決定する第2の決定ステップと、
    前記素材画像に前記付加部材および前記広告部材を付加して加工画像を生成する生成ステップと、
    を実行させるためのプログラム。
JP2021072150A 2021-04-21 2021-04-21 情報処理システム、情報処理装置、情報処理方法およびプログラム Active JP7396326B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021072150A JP7396326B2 (ja) 2021-04-21 2021-04-21 情報処理システム、情報処理装置、情報処理方法およびプログラム
US17/712,482 US20220343571A1 (en) 2021-04-21 2022-04-04 Information processing system, information processing apparatus, and method of processing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021072150A JP7396326B2 (ja) 2021-04-21 2021-04-21 情報処理システム、情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022166744A true JP2022166744A (ja) 2022-11-02
JP7396326B2 JP7396326B2 (ja) 2023-12-12

Family

ID=83693312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021072150A Active JP7396326B2 (ja) 2021-04-21 2021-04-21 情報処理システム、情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20220343571A1 (ja)
JP (1) JP7396326B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP2017059977A (ja) * 2015-09-16 2017-03-23 富士ゼロックス株式会社 情報処理システム、サーバー装置及びプログラム
JP2017117264A (ja) * 2015-12-25 2017-06-29 株式会社電通 情報提供管理方法及び情報提供管理装置
JP2020038611A (ja) * 2018-08-31 2020-03-12 株式会社リコー 情報処理装置、情報処理システム、方法、およびプログラム
JP2020086532A (ja) * 2018-11-15 2020-06-04 フリュー株式会社 画像撮影装置、画像撮影装置の制御方法、およびプログラム
JP2020168109A (ja) * 2019-04-01 2020-10-15 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
JP5701324B2 (ja) 2013-01-15 2015-04-15 ヤフー株式会社 情報配信装置、及び、情報配信方法
JP6361146B2 (ja) * 2013-05-09 2018-07-25 株式会社リコー 表示制御プログラム、表示制御方法および表示制御装置、ならびに、表示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP2017059977A (ja) * 2015-09-16 2017-03-23 富士ゼロックス株式会社 情報処理システム、サーバー装置及びプログラム
JP2017117264A (ja) * 2015-12-25 2017-06-29 株式会社電通 情報提供管理方法及び情報提供管理装置
JP2020038611A (ja) * 2018-08-31 2020-03-12 株式会社リコー 情報処理装置、情報処理システム、方法、およびプログラム
JP2020086532A (ja) * 2018-11-15 2020-06-04 フリュー株式会社 画像撮影装置、画像撮影装置の制御方法、およびプログラム
JP2020168109A (ja) * 2019-04-01 2020-10-15 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム

Also Published As

Publication number Publication date
JP7396326B2 (ja) 2023-12-12
US20220343571A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN107408133B (zh) 图像管理设备、图像管理方法、图像管理程序和呈现系统
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US20120133650A1 (en) Method and apparatus for providing dictionary function in portable terminal
JP2014229167A (ja) 情報処理装置及び情報処理プログラム
JP5987780B2 (ja) 情報処理装置及び情報処理プログラム
CN109448050B (zh) 一种目标点的位置的确定方法及终端
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
JP6521055B2 (ja) 表示装置、表示制御方法、表示制御プログラムおよび表示システム
JP2011065348A (ja) 会議システム、表示装置、表示制御方法および表示制御プログラム
CN107851069B (zh) 图像管理系统、图像管理方法及程序
US8941767B2 (en) Mobile device and method for controlling the same
JP6286836B2 (ja) 投影システム、投影装置、投影方法、及び投影プログラム
JP6464676B2 (ja) 表示制御プログラム、表示制御方法および情報処理装置
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
JP7396326B2 (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
TWI514319B (zh) 藉由虛擬物件編輯資料之方法及系統,及相關電腦程式產品
US10997410B2 (en) Information processing device and information processing system
KR102214292B1 (ko) 모바일 마케팅 어플리케이션 통합 시스템
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system
JP7472681B2 (ja) 情報処理装置、プログラムおよび情報処理方法
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
KR101525409B1 (ko) 이미지 인식모듈을 이용한 컨텐츠 증강방법
KR101907885B1 (ko) 단말 및 그의 제어 방법
JP6115673B2 (ja) 装置、及びプログラム
JP6507939B2 (ja) 携帯端末及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7396326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151