JP2014211879A - 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 - Google Patents
携帯端末装置、端末プログラム、拡張現実感システム、および玩具 Download PDFInfo
- Publication number
- JP2014211879A JP2014211879A JP2014104927A JP2014104927A JP2014211879A JP 2014211879 A JP2014211879 A JP 2014211879A JP 2014104927 A JP2014104927 A JP 2014104927A JP 2014104927 A JP2014104927 A JP 2014104927A JP 2014211879 A JP2014211879 A JP 2014211879A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- toy
- terminal device
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/50—Frames, stands, or wheels for dolls or toy animals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Toys (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
【課題】透視変換技術を必要とすることなく簡易に拡張現実画像を生成し、消費者が購入した玩具と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得る。【解決手段】携帯端末装置20(演出制御部273)は、画像取得部271で撮影により取得され、画像認識部272で画像認識されたフィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を生成し、生成された演出用の映像を前景とし、画像取得部271が取得したフィギュア本体12の画像、または記憶部26に記憶されてあるフィギュア本体12に関連した映像を背景として表示部22に重ね合わせて表示する。【選択図】図2
Description
本発明は、例えば、自動販売機等で販売されるカプセルトイに関連したアニメーションCGやサウンドの再生が可能な、携帯端末装置、端末プログラム、拡張現実感システム、および玩具に関する。
ガシャポン(登録商標)を代表とするカプセルトイは、半透明性プラスチック製の球状のケースの中に、テレビ人気番組やゲームのキャラクタ商品等が収納された玩具である。例えば、自動販売機等において、消費者がコインを投入口に入れてハンドルを回すことにより、取り出し口からランダムに選択されたカプセルトイが排出される。一方で、携帯端末の多機能化が進み、最近では、撮影機能は勿論のこと、インターネット接続を行うネットワーク通信環境を強化したスマートフォンが普及してきた。
ところで、従来、人間が知覚する現実環境をコンピュータによって拡張するAR(Augmented Reality)技術が知られている。例えば、特許文献1には、拡張現実画像において、現実世界の様子を表す画像に合成(重ね合わせ)されるオブジェクト画像を適切に変化させる技術が紹介されている。
上記した特許文献1に開示されているように、AR技術は、3次元位置認識のために用いられるマーカと呼ばれる所定形状の図形を現実世界の中に配置し、撮影機器がそのマーカを含む現実世界を撮影する。したがって、マーカは、撮影された画像内において透視変換された形態で配置される。そして、このマーカに対応付けられたオブジェクトに透視変換技術が適用され、撮影された画像を背景にして得られたオブジェクト画像が合成され、拡張現実画像が生成される。このAR技術により動画や静止画によるCG(Computer Graphics)再生が可能になる。
ところで、上記したスマートフォンとカプセルトイとを連携させることにより、消費者が購入したカプセルトイに収納されたフィギュア等の内容物と関連したアニメーションCGやサウンド等を再生できれば消費者が購入したカプセルトイに付加価値を与えることができ、趣向を高めるとともに販売促進効果も得られるはずである。しかしながら、従来のAR技術によれば、特殊なマーカを必要とし、かつ、その背景となるオブジェクト画像はマーカ近傍に描画されなければならないといった制約がある。
本発明は、上記した課題を解決するためになされたものであり、透視変換技術を必要とすることなく簡易に拡張現実画像を生成し、消費者が購入した玩具と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得ることができる、携帯端末装置、端末プログラム、拡張現実感システム、および玩具を提供することを目的とする。
本発明の携帯端末装置は、少なくとも、撮像部と、表示部と、記憶部とを有する携帯端末装置であって、前記撮像部が、所定の位置に特定のマークが付与されたフィギュア設置用台座とフィギュア本体とを含む玩具を撮影して得た画像を取得する画像取得部と、前記取得した前記フィギュア設置用台座の画像を画像認識する画像認識部と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記画像取得部が取得した画像、または前記記憶部に記憶してある前記フィギュア本体を含む映像の上に重ね合わせて前記表示部に表示する演出制御部と、を備える。
本発明の携帯端末装置において、音声出力部を備え、前記演出制御部は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力することが好ましい。また、本発明の携帯端末装置において、前記演出制御部は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記画像取得部において前記所定のマークの60%以上の部分が取得されていれば、前記演出用の映像を前記表示部に表示し続けることが好ましい。
本発明の携帯端末装置において、前記演出制御部は、前記画像認識部によって認識される前記フィギュア設置用台座の2以上の組み合わせに応じて、前記演出用の映像もしくは前記音声、またはその両方のパターンを変化させるように制御することが好ましい。本発明の携帯端末装置において、前記演出制御部は、前記画像認識部によって認識される前記フィギュア設置用台座の特定の組み合わせにより、前記表示部に1以上の釦スイッチを表示し、前記釦スイッチによる選択操作を検知すると、予め前記釦スイッチ毎に用意された音声を、前記音声出力部に出力することが好ましい。本発明の携帯端末装置において、前記演出制御部は、時間監視により、前記演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御することが好ましい。
本発明の端末プログラムは、所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部により前記玩具を撮影して得た画像を取得する処理と、前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する処理と、を実行させる。
本発明の端末プログラムにおいて、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する処理を実行させることが好ましい。本発明の端末プログラムにおいて、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの60%以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続ける処理を実行させることが好ましい。
本発明の拡張現実感システムは、所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部が前記玩具を撮影して得た画像を取得して前記フィギュア設置用台座の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する携帯端末装置と、を有する。
本発明の拡張現実感システムにおいて、前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力することが好ましい。本発明の拡張現実感システムにおいて、前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの60%以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続けることが好ましい。
本発明の玩具は、前記携帯端末装置、前記端末プログラム、前記拡張現実感システムのいずれかに使用可能な玩具である。また、本発明の玩具において、前記フィギュア本体と前記フィギュア設置用台座とは取り外し可能であることが好ましい。また、本発明の玩具において、前記特定のマークは、前記フィギュア設置用台座の上面、前記フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されていることが好ましい。
本発明によれば、透視変換技術を必要とすることなく簡易に拡張現実画像を生成し、消費者が購入した玩具と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得ることができる、携帯端末装置、端末プログラム、拡張現実感システム、および玩具を提供することができる。
(実施形態の構成)
以下、添付図面を参照して本発明を実施するための実施の形態(以下、単に本実施形態という)について詳細に説明する。
以下、添付図面を参照して本発明を実施するための実施の形態(以下、単に本実施形態という)について詳細に説明する。
図1に、本実施形態に係る拡張現実感システム100が示されている。図1に示されるように、本実施形態に係る拡張現実感システム100は、所定の位置に特定のマーク110が付与されたフィギュア設置用台座(以下、断りがない場合単に台座11という)と、フィギュア本体12とを含むカプセルトイ10と、このカプセルトイ10を撮影して得た画像を取得して台座11の画像を画像認識し、画像認識されたフィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を前景に、同じく取得したフィギュア本体12の画像を背景に重ね合わせることにより拡張現実画像を生成し、表示する携帯端末装置20と、を有する。
ここでは、玩具として、不図示のカプセルから取り出されたキャラクタグッズ等、プラスチック製の組み立て式のフィギュア(フィギュア本体12)を収納したカプセルトイ10を例に説明する。このカプセルトイ10には、更に、そのフィギュア本体12に対応した特定のマーク110が所定の位置に付与された台座11も収納されている。ここで、特定のマークとは画像であり、台座11の任意の場所に印刷、あるいは貼付されているものとする。携帯端末装置20は、台座11に印刷、あるいは貼付された特定のマーク110を撮影することによって得た画像を認識し、台座11のそれぞれに対応して用意される映像(拡張現実画像)および音声を生成して再生する。なお、本実施の形態では、台座11のそれぞれに対応して用意される映像(拡張現実画像)および音声を出力しているがこれに限られることはなく、映像のみを出力するものでもよいし、音声のみを出力するものでもよい。なお、本実施の形態において、生成される拡張現実画像は、あらかじめ携帯端末装置20内部(後述する記憶部26)に登録され、あるいは必要に応じてインターネット経由でカプセルトイ10の販売元のサイトからダウンロードにより無償で取得するものとする。
本実施の形態において、例えば、台座の上部には開口部が設けられ、フィギュア体の台座との設置部には該開口部と嵌合可能な突起部が設けられたものを用いることができる。このような構成とすることで、台座とフィギュア本体は取り外しでき、台座には任意のフィギュア本体が設置可能であり、ユーザーが好みのフィギュア本体を台座上に設置することができる。ただし、これに限られることはなく、台座とフィギュア本体は取り外しできればどのような構成でもよい。また、台座とフィギュア本体とがとりはずしできない形態であってもよいことはもちろんである。台座とフィギュア本体とが取り外し可能であることにより、ユーザーが任意のフィギュア本体を設置することができるため、台座のそれぞれに対応して用意される映像(拡張現実画像)または音声等と、ユーザーが好みのフィギュアと重ね合わせて楽しむことができ、より興趣性の増したシステムを提供することができる。
図2に本実施形態に係る携帯端末装置20の内部構成が示されている。図2に示されるように、携帯端末装置20は、撮像部21と、表示部22と、操作部23と、音声出力部24と、通信部25と、記憶部26と、制御部27と、を含み構成される。
撮像部21は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子と、その制御回路等により構成されるカメラである。表示部22は、多数の画素(複数色の発光素子の組み合わせ)を縦横に配して構成される、例えばLCD(Liquid Crystal Display Device)や有機EL(Electro-Luminescence)を用いて構成されており、制御部27により生成され、記憶部26の所定の領域(VRAM領域)に書き込まれた拡張現実感画像を含む表示情報を表示する。
操作部23は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー(左右上下)、決定キー、発信キー、撮像キー等、各種の機能が割り当てられたキースイッチを有しており、これらのキーが操作者によって操作された場合に、その操作内容に対応する信号を発生し、これを操作者の指示として制御部27に出力する。なお、この操作部23は、位置情報を入力するタッチパネルで実現してもよい。この場合、タッチパネル上に上記したキースイッチ類や拡張現実画像が表示される。
音声出力部24は、制御部27により生成される音声(サウンド)を出力するスピーカである。通信部25は、無線通信システムを捕捉し、通信ネットワークに接続される不図示の基地局との間で無線通信を行い、各種データの送受信を行う。ここで、各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、Web(World Wide Web)閲覧時のWebページデータ等である。本発明と関係するところでは、制御部27は、通信部25を介し、カプセルトイ10(台座11)に対応した拡張現実画像生成のために必要なデータをカプセルトイ販売元のサイト(サーバ)からダウンロードにより取得する。このとき、通信部25は、例えば、TCP/IP(Transmission Control Protocol/Internet Protocol)に準拠したプロトコルにしたがい不図示のサーバとの接続を行う。
記憶部26は、本実施形態に係る端末プログラム260が格納されるプログラム領域の他に、作業領域とVRAM(Video RAM)領域とが割当てられており、作業領域には、制御部27により生成される拡張現実感画像、あるいはインターネット経由で取得される拡張現実感画像、撮像部21により撮影された映像、フィギュア本体12に関連したテンプレート映像等が格納され、VRAM領域には、この拡張現実画像を含む表示情報が描画される。なお、記憶部26として、例えば、半導体記憶素子、磁気、あるいは光記憶素子が実装される。
制御部27は、所定の位置に特定のマーク110が付与された台座11とフィギュア本体12とを含むカプセルトイ10を撮影して得た画像を取得し、取得した台座11の画像を画像認識して、当該画像認識された台座11のそれぞれに対応付けて用意された演出用の映像を前景に、フィギュア本体12の画像、または記憶部26に記憶されてあるフィギュア本体12に関連した映像を背景として重ね合わせて表示する機能を有する。この機能は、記憶部26に記憶された端末ブログラム260を逐次読み出し実行する、例えば、マイクロプロセッサによって実現される。
また、制御部27は、画像認識された台座11のそれぞれに対応付けられて用意された演出用の音声を生成し、当該音声を音声出力部24に出力する。また、制御部27は、認識される台座11(特定のマーク110)の2以上の組み合わせに応じて、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御する。また、制御部27は、認識される台座11の特定の組み合わせにより、表示部22に1以上の釦スイッチを表示し、この釦スイッチによる選択操作を検知すると、予め釦スイッチ毎に用意された音声を音声出力部24に出力する。また、制御部27は、時間監視により、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御してもよい。
このため、制御部27が実行する端末プログラム260の構造を機能的に分解して図示すれば、図2に示すように、画像取得部271と、画像認識部272と、演出制御部273と、表示制御部274と、音声合成部275と、を含む。
画像取得部271は、撮像部21が、所定の位置に特定のマーク110が付与された台座11とフィギュア本体12とを含む玩具10を撮影して得た画像を取得して画像認識部272に出力する。画像認識部272は、画像取得部271が取得した台座11の画像を画像認識して演出制御部273に出力する。演出制御部273は、画像認識部272で画像認識された台座11のそれぞれに対応付けて用意された演出用の映像を前景とし、画像取得部271が取得したフィギュア本体12の画像(静止画や動画)、または予め記憶部26に記憶されているフィギュア本体12に関連した映像(静止画や動画)を背景として重ね合わせ、表示制御部274を介して表示部22に出力する。また、演出制御部273は、画像認識部272で画像認識された台座11のそれぞれに対応付けられて用意された演出用の音声を生成し、音声合成部275を介して音声を合成して音声出力部24に出力する。
演出制御部273は、画像認識部272によって認識される台座11の2以上の組み合わせに応じて、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御する。また、演出制御部273は、画像認識部272によって認識される台座11の特定の組み合わせにより、表示部22に1以上の釦スイッチを表示し、当該釦スイッチによる選択操作を検知すると、予め釦スイッチ毎に用意された音声を、音声合成部275を介して音声出力部24に出力する。なお、演出制御部273は、時間監視により、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御してもよい。
表示制御部274は、演出制御部273により生成される拡張現実画像を含む表示情報を記憶部26のVRAM領域に描画し、描画した表示情報を表示部22の表示タイミングに同期して読み出して表示部22に表示する。音声合成部275は、演出制御部273により生成される音声を復号し、音声出力部24を介して外部へ出力する。
なお、本実施の形態において、台座11に特定のマーク110を設けているがこれに限られるものではなく、フィギュア本体に特定のマークを設けてもよい。その場合、フォギュア本体に設けられた画像を特定のマークとして認識するものでもよいし、フォギュア本体の形や色の配色を特定のマークとして認識するようにしてもよい。フィギュア本体に特定のマークを設けることにより、例えば、ライティングしたい場合はライト付台座に設置し、ライティングが必要ない場合はライト無台座に設置したりと、台座の選択の幅を広げることが可能である。
(実施形態の動作)
以下、本実施形態の携帯端末装置20の動作について、図3のフローチャートに基づき、図4〜図6の画面構成図を参照しながら詳細に説明する。
以下、本実施形態の携帯端末装置20の動作について、図3のフローチャートに基づき、図4〜図6の画面構成図を参照しながら詳細に説明する。
まず、消費者は、購入したカプセルトイ10の中に収納されているフィギュア(部品)を組み立て、組み立てが完了したフィギュア本体12をカプセルに同梱されている台座11に載置する。続いて消費者は、携帯端末装置20の電源を立ち上げ、操作部23に割当てられた「撮影釦」を押下することによりカプセルトイ10を被写体として撮影する。このとき、台座11に付与された特定のマークが被写体に含まれるように配慮する。なお、本実施の形態において、台座11に付与された特定のマークは、台座11の上面かつ、フィギュア本体12を台座11に設置した際に、フィギュア本体より手前側に配置されていることが好ましい。そのように配置することにより、台座11に付与された特定のマークを撮影する際に、フィギュア本体に隠れることがなく、特定のマークをより容易に認識することができる。
制御部27は、操作部23による「撮像釦」の押下を検出することにより(ステップS101“YES”)画像取得部251を起動する。画像取得部271は、撮影により取得した台座11の画像を画像認識部272へ、フィギュア本体12の画像を演出制御部273のそれぞれに出力する(ステップS102)。これを受けて画像認識部272は、台座11に付与された特定のマークの画像を認識してその結果を演出制御部273へ出力する(ステップS103)。
演出制御部273は、まず、画像認識部272により画像認識された特定のマークが単数か否かを判定する(ステップS104)。演出制御部273は、画像認識した特定のマークの数が単数であれば(ステップS104“YES”)、画像認識部272で画像認識された台座11に対応付けて用意された演出用の映像(エフェクト映像)を生成し(ステップS105)、ここで生成したエフェクト映像を前景とし、同じく画像取得部271が取得したフィギュア本体12の画像、または記憶部26に記憶されているフィギュア本体12の映像を背景として重ね合わせた合成画像(拡張現実画像)を生成し、表示制御部274へ出力する(ステップS107)。なお、演出制御部273は、エフェクト映像の生成時、同時に、画像認識部272で画像認識された台座11のそれぞれに対応付けて用意された演出用の音声を生成し、音声合成部275に出力する。音声合成部275は、演出制御部273で生成された音声を復号し、その音声を、音声出力部24を介して外部に出力する(ステップS108)。
一方、表示制御部274は、記憶部26のVRAM領域に描画されたエフェクト映像とフィギュア本体12との重ね合わせ映像を表示部22の表示タイミングに同期して読み出し、表示部22へ出力することにより、表示部22に、例えば、図4(a)〜(e)に示す画面遷移図として示す拡張現実画像を表示する。すなわち、図4(a)〜(e)に時系列で示すように、携帯端末装置20の表示部22上に、演出制御部273により生成されたエフェクト映像12eが前景として、また、撮影されたフィギュア本体12の画像、または記憶部26に記憶された映像が背景として重ね合わせ表示され、フィギュア本体12の実写映像を含む2次元アニメーションCGが再生される。ここでは、キャラクタを模したフィギュア本体12が変身する様子を画面遷移によって示してある。
なお、演出制御部273は、画像認識部272で画像認識した特定のマークの数が複数であれば(ステップS104“NO)、その組み合わせによって決まるエフェクト映像、もしくは音声、またはその両方のパターンを変化させるように制御する(ステップS106)。この場合も演出制御部273は、取得したフィギュア本体12の画像を背景にエフェクト映像を重ね合わせ(ステップS107)、重ね合わせ(合成)されたエフェクト映像と音声とを再生出力する(ステップS108)。図5に、画像認識部272で画像認識される台座11が複数の場合の撮影画面が示されている。
なお、演出制御部273は、タイマによる時間監視により、エフェクト映像、もしくは音声、またはその両方のパターンを変化させるように制御することも可能である。この場合、演出制御部273は、通信部25経由でインターネットに接続し、カプセルトイ10の販売元のサイトを閲覧し、例えば、季節に合ったエフェクト映像を取得してもよい。なお、ここで使用されるタイマは、携帯端末装置20が標準的に内蔵するRTC(Real Time Clock)であり、図示省略してある。
次に、演出制御部273は、画像認識部272が認識した特定のマークの数が例えば3個の場合、図6に示されるように、生成されるエフェクト映像として表示部22の画面上に貼り付けられ再生される釦スイッチ220の押下を検出すると(ステップS109“YES”)、音声合成部275を介し、その釦スイッチ220に対応して用意されたフィギュア本体12が模したキャラクタが発するレアな特殊音声(例えば、「変身!」)を生成し、音声出力部24を介して出力することによって演出効果を高めている(ステップS110)。
なお、本実施の形態において、台座11に付与された特定のマークを認識し、その結果を演出制御部へ出力し、エフェクト映像が生成された後、特定のマークが部分的にフィギュア本体に隠れた場合や、カメラの撮影部から部分的にはずれた場合でも、特定のマークの60%以上が認識できれば、生成したエフェクト映像を画面上に表示するようになっている。それにより、様々な角度からフィギュア体を撮影することにより、特定のマークが認識しづらくなった場合でも、フィギュア体を含む画像にエフェクト映像を重ねて表示することが可能である。なお、本実施の形態では、特定のマークの60%以上の認識率を必要としたが、これに限られることはない。ただし、特定のマークの誤認識を防止するためには、60%以上の認識率とすることが好ましい。
以上説明のように本実施形態に係る携帯端末装置20によれば、台座11に付された特定のマーク110を認識することにより携帯端末装置20とカプセルトイ10とを連携させ、台座11のそれぞれに対応して用意された演出用の映像を生成して前景とし、撮影により得たフィギュア本体12の画像(静止画や動画)、または記憶部16に記憶されているフィギュア本体の映像(静止画や動画)を背景として重ね合わせて表示することにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な携帯端末装置20を提供することができる。このため、消費者が購入したカプセルトイ10と関連した拡張現実画像を再生することによって趣向を高め、カプセルトイ10の販売促進効果を得ることができる。同時に、画像認識された台座11のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。
また、画像認識されるフィギュア設置用台座の2以上の組み合わせに応じて、演出用の映像、もしくは音声、またはその両方のパターンを変化させるように制御することで、演出効果が増すとともに、消費者の購買意欲を高めることができ、カプセルトイ10の販売促進効果が増す。更に、画像認識される台座11の特定の組み合わせにより携帯端末装置20の画面上に表示される釦スイッチ220の押下により、例えば、レアな音声を再生する仕組みを構築することで、一層演出効果が増すとともに、消費者の購買意欲を高め、カプセルトイ10の販売促進効果が増す。なお、時間監視により、演出用の映像、もしくは音声、またはその両方のパターンを変化させることで、例えば、季節により演出パターンを変更することで、消費者に飽きを生じさせることのない演出パターンで継続性や期待感を与えることができる。
なお、本実施形態に係る端末プログラム260は、例えば、図1、および図2のブロック図に示すように、所定の位置に特定のマーク110が付与されたフィギュア設置用台座11と、フィギュア本体12とを含む玩具(カプセルトイ10)と、少なくとも、撮像部21と表示部22と、音声出力部24と、記憶部26と、を有し、撮像部21により前記玩具を撮影して拡張現実画像を生成して前記表示部22に表示する携帯端末装置20とを有する拡張現実感システムにおいて、前記携帯端末装置20に使用されるコンピュータ(制御部27)によって制御される端末プログラム260である。そして、例えば、図3に示すように、コンピュータ(制御部27)に、前記撮像部21により前記玩具(カプセルトイ10)を撮影して得た画像を取得する処理(S102)と、前記取得した前記フィギュア設置用台座11の画像を画像認識する処理(S103)と、前記画像認識された前記フィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部16に記憶してある前記フィギュア本体12の映像の上に重ね合わせて前記表示部に表示するとともに、前記画像認識された前記フィギュア設置用台座11のそれぞれに対応付けて用意された演出用の音声を前記音声出力部24に出力する処理(S104〜S108)と、を実行させる。
上記した本実施形態に係る端末プログラム260によれば、コンピュータ(携帯端末装置20の制御部27)が上記した端末プログラム260を逐次読み出し実行することにより、フィギュア設置用台座11に付与された特定のマーク110を認識することによって携帯端末装置20とカプセルトイ10とを連携させることができる。そして、フィギュア設置用台座11のそれぞれに対応して用意された演出用の映像を生成して前景とし、撮影されたフィギュア本体12の映像、または記憶部26に記憶されているフィギュア本体12の映像を背景として重ね合わせて表示することにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な端末プログラム260を提供することかできる。このため、消費者が購入したカプセルトイ10と関連した拡張現実画像を再生することによって趣向を高め、カプセルトイ10の販売促進効果を得ることができる。同時に、画像認識された台座11のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。
また、本実施形態に係る仮想現実感システム100は、例えば、図1、図2に示すように、所定の位置に特定のマーク110が付与されたフィギュア設置用台座11と、フィギュア本体12とを含む玩具(カプセルトイ10)と、少なくとも、撮像部21と、表示部22と、音声出力部24と、記憶部26と、を有し、前記撮像部21が前記玩具(カプセルトイ10)を撮影して得た画像を取得して前記フィギュア設置用台座11の画像を画像認識し、前記取得した、または前記記憶部16に記憶してある前記フィギュア本体12の映像の上に重ね合わせて前記表示部に表示するとともに、前記画像認識された前記フィギュア設置用台座11のそれぞれに対応付けて用意された演出用の音声を前記音声出力部24に出力する携帯端末装置20と、を有する。
上記した本実施形態に係る仮想現実感シテスム100によれば、携帯端末装置20は、カプセルトイ10を撮影し、画像認識によって得たフィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を生成し、この生成された演出用の映像を前景とし、取得したフィギュア本体12の画像、または記憶部に記憶されているフィギュア本体12の映像を背景として表示部22に重ね合わせて表示することにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能とする。このため、消費者が購入したカプセルトイ10と関連した拡張現実画像を再生することによって趣向を高め、カプセルトイ10の販売促進効果を得ることができる。同時に、画像認識された台座11のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。
また、本実施形態に係る玩具(カプセルトイ10)は、例えば、図1に示すように、所定の位置に特定のマーク110が付与されたフィギュア設置用台座11と、フィギュア本体12とを含む玩具である。そして、その玩具(カプセルトイ10)は、撮影して得た画像を取得してフィギュア設置用台座11の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した、または記憶してある前記フィギュア本体の映像の上に重ね合わせて表示するとともに、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を出力する携帯端末装置20を有する拡張現実感システム100に使用される。
上記した本実施形態に係る玩具(カプセルトイ10)によれば、所定の位置に特定のマーク110が付与されたフィギュア設置用台座11により、フィギュア設置用台座11を撮影した携帯端末装置20に対して、フィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を生成させ、ここで生成された演出用の映像を前景に、フィギュア本体12の画像、または記憶部26に記憶されてあるフィギュア本体12に関連した映像を背景に重ね合わせ表示させることができる。したがって、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能になる。このため、消費者が購入した玩具(カプセルトイ10)と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得ることができる。また、同時に、画像認識された台座11のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。
なお、上記した本実施形態に係る玩具によれば、組み立て式のフィギュア本体12が収納されたカプセルトイ10についてのみ例示して説明したが、フィギュア本体12は組み立て式ではなく、ダイキャストやPVC(ポリ塩化ビニル)で製作された一体型であってもよい。また、携帯端末装置20が生成する演出用の映像として2次元アニメーションCGのみ例示したが、3次元アニメーションCG、あるいは単なるイラストであってもよい。また、背景用の映像として、撮影され取得されるフィギュア本体12の静止画や動画を例に説明したが、予め撮影され、既に記憶部26に記憶されているフィギュア本体12に関連した映像(静止画や動画)であってもよい。更に、携帯端末装置20としてスマートフォンを例示したが、撮影機能とインターネット接続環境をする携帯電話やPDA(Personal Digital Assistance)、あるいはPC(Personal Computer)であってもよい。
本実施形態によれば、フィギュア設置用台座11に付された特定のマーク110を認識することにより携帯端末装置20により生成される演出用の映像と玩具10とを連携させ、画像認識されたフィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を、撮影により取得した、または記憶してあるフィギュア本体12の映像の上に重ね合わせて表示する。したがって、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な携帯端末装置20を提供することができる。このため、消費者が購入した玩具10と関連した拡張現実画像を再生することによって趣向を高め、玩具10の販売促進効果を得ることができる。
また、画像認識されたフィギュア設置用台座11のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力するため、映像のみならず関連した音声を再生することにより演出効果を増すことができる。
また、フィギュア設置用台座11の組み合わせにより演出用の映像または音声を可変とすることで、演出効果が増すとともに消費者の購買意欲を高めることができ、玩具10の販売促進効果が増す。
また、表示部22に表示された釦スイッチ220の押下により、例えば、レアな音声を再生する仕組みを構築することで、一層演出効果が増すとともに消費者の購買意欲を高めることができ、玩具の販売促進効果が増す。
また、例えば、季節により演出パターンを変更することで、消費者に飽きを生じさせることなく購買意欲の継続性や演出に対する期待感を与えることができる。
また、コンピュータ(携帯端末装置20)が上記した端末プログラム260を逐次読み出し実行することにより、携帯端末装置20と玩具10とを連携させることができ、例えば、フィギュア設置用台座11のそれぞれに対応して用意された演出用の映像を生成して前景に、撮影されたフィギュア本体12の画像を背景に重ね合わせることにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な端末プログラム260を提供することができる。このため、消費者が購入した玩具10と関連した拡張現実画像を再生することによって趣向を高め、玩具10の販売促進効果を得ることができる。また、画像認識されたフィギュア設置用台座11のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力する。したがって、映像のみならず関連した音声を再生することにより演出効果を増すことができる。
また、携帯端末装置20が、撮影し、認識したフィギュア設置用台座11のそれぞれに対応付けて用意された演出用の映像を生成し、例えば、生成された演出用の映像を前景とし、取得したフィギュア本体12の画像を背景として表示部22に重ね合わせて表示する。したがって、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な拡張現実感システム100を提供することかできる。このため、消費者が購入した玩具10と関連した拡張現実画像を再生することによって趣向を高め、玩具10の販売促進効果を得ることができる。また、画像認識されたフィギュア設置用台座11のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力する。したがって、映像のみならず関連した音声を再生することにより演出効果を増すことができる。
また、玩具10は、携帯端末装置20に、フィギュア設置用台座11に付された特定のマーク110を認識させることにより携帯端末装置20と連携させることができ、携帯端末装置20は、フィギュア設置用台座11のそれぞれに対応して用意された演出用の映像を生成して、例えば前景とし、撮影されたフィギュア本体12の画像を背景として重ね合わせることにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能になる。このため、消費者が購入した玩具10と関連した拡張現実画像を再生することによって趣向を高め、玩具10の販売促進効果を得ることができる。また、携帯端末装置20は、画像認識されたフィギュア設置用台座11のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力する。したがって、映像のみならず関連した音声を再生することにより演出効果を増すことができる。
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10…カプセルトイ(玩具)、11…フィギュア設置用台座(台座)、12…フィギュア本体、20…携帯端末装置、21…撮像部、22…表示部、2…操作部、24…音声出力部、25…通信部、26…記憶部、27…制御部、100…拡張現実感システム、271…画像取得部、272…画像認識部、273…演出制御部、274…表示制御部、275…音声合成部、260…端末プログラム。
Claims (17)
- 少なくとも、撮像部と、表示部と、記憶部とを有する携帯端末装置であって、
前記撮像部が、所定の位置に特定のマークが付与されたフィギュア設置用台座とフィギュア本体とを含む玩具を撮影して得た画像を取得する画像取得部と、
前記取得した前記フィギュア設置用台座の画像を画像認識する画像認識部と、
前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記画像取得部が取得した画像、または前記記憶部に記憶してある前記フィギュア本体を含む映像の上に重ね合わせて前記表示部に表示する演出制御部と、
を備える携帯端末装置。 - 請求項1において、
音声出力部を備え、
前記演出制御部は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する携帯端末装置。 - 請求項1または請求項2において、
前記演出制御部は、
前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記画像取得部において前記所定のマークの60%以上の部分が取得されていれば、前記演出用の映像を前記表示部に表示し続ける携帯端末装置。 - 請求項1乃至請求項3のいずれか一項において、
前記演出制御部は、
前記画像認識部によって認識される前記フィギュア設置用台座の2以上の組み合わせに応じて、前記演出用の映像もしくは前記音声、またはその両方のパターンを変化させるように制御する携帯端末装置。 - 請求項1乃至請求項4のいずれか一項において、
前記演出制御部は、
前記画像認識部によって認識される前記フィギュア設置用台座の特定の組み合わせにより、前記表示部に1以上の釦スイッチを表示し、前記釦スイッチによる選択操作を検知すると、予め前記釦スイッチ毎に用意された音声を、前記音声出力部に出力する携帯端末装置。 - 請求項1乃至請求項5のいずれか一項において、
前記演出制御部は、
時間監視により、前記演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御する携帯端末装置。 - 請求項1乃至請求項6のいずれか一項に記載の携帯端末装置とともに用いられる前記玩具。
- 所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、
前記コンピュータに、
前記撮像部により前記玩具を撮影して得た画像を取得する処理と、
前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、
前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する処理と、
を実行させる端末プログラム。 - 請求項8において、
前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する処理を実行させる端末プログラム。 - 請求項8または請求項9において、
前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの60%以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続ける処理を実行させる端末プログラム。 - 請求項8乃至請求項10のいずれか一項に記載の端末プログラムとともに用いられる前記玩具。
- 所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、
少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部が前記玩具を撮影して得た画像を取得して前記フィギュア設置用台座の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する携帯端末装置と、
を有する拡張現実感システム。 - 請求項12において、
前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する拡張現実感システム。 - 請求項12または請求項13において、
前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの60%以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続ける拡張現実感システム。 - 請求項12乃至請求項14のいずれか一項に記載の拡張現実感システムに使用される前記玩具。
- 請求項7、11、15に記載の玩具において、
前記フィギュア本体と前記フィギュア設置用台座とは取り外し可能である前記玩具。 - 請求項7、11、15、16のいずれか一項に記載の玩具において、
前記特定のマークは、前記フィギュア設置用台座の上面、前記フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている前記玩具。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014104927A JP2014211879A (ja) | 2014-05-21 | 2014-05-21 | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014104927A JP2014211879A (ja) | 2014-05-21 | 2014-05-21 | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012101877A Division JP5551205B2 (ja) | 2012-04-26 | 2012-04-26 | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014211879A true JP2014211879A (ja) | 2014-11-13 |
Family
ID=51931548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014104927A Pending JP2014211879A (ja) | 2014-05-21 | 2014-05-21 | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014211879A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107213633A (zh) * | 2017-06-27 | 2017-09-29 | 成都艺游互娱网络科技有限公司 | 智能玩具系统及其数据传输方法 |
CN107920202A (zh) * | 2017-11-15 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
US10092831B2 (en) | 2016-02-19 | 2018-10-09 | Koei Tecmo Games Co., Ltd. | Game system, game device and data processing apparatus |
-
2014
- 2014-05-21 JP JP2014104927A patent/JP2014211879A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10092831B2 (en) | 2016-02-19 | 2018-10-09 | Koei Tecmo Games Co., Ltd. | Game system, game device and data processing apparatus |
CN107213633A (zh) * | 2017-06-27 | 2017-09-29 | 成都艺游互娱网络科技有限公司 | 智能玩具系统及其数据传输方法 |
CN107213633B (zh) * | 2017-06-27 | 2021-02-05 | 成都艺游互娱网络科技有限公司 | 智能玩具系统及其数据传输方法 |
CN107920202A (zh) * | 2017-11-15 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
WO2019095830A1 (zh) * | 2017-11-15 | 2019-05-23 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
CN107920202B (zh) * | 2017-11-15 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
TWI691209B (zh) * | 2017-11-15 | 2020-04-11 | 香港商阿里巴巴集團服務有限公司 | 基於增強實境的視頻處理方法、裝置及電子設備 |
US11039088B2 (en) | 2017-11-15 | 2021-06-15 | Advanced New Technologies Co., Ltd. | Video processing method and apparatus based on augmented reality, and electronic device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5551205B2 (ja) | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 | |
JP6192264B2 (ja) | 携帯端末装置、端末プログラム、拡張現実感システム、および衣類 | |
US9509907B2 (en) | Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method | |
JP5583741B2 (ja) | 携帯端末装置、端末プログラムおよび玩具 | |
CN104811829A (zh) | 卡拉ok互动多功能特效系统 | |
KR102358997B1 (ko) | 다자간 확장현실 체험을 위한 서비스 플랫폼 | |
JP2017010578A (ja) | 携帯端末装置、端末プログラム、拡張現実感システム、および衣類 | |
CN112533037B (zh) | 连麦合唱作品的生成方法和显示设备 | |
CN112073770B (zh) | 显示设备及视频通讯数据处理方法 | |
CN112118397B (zh) | 一种视频合成的方法、相关装置、设备以及存储介质 | |
CN111028566A (zh) | 直播教学的方法、装置、终端和存储介质 | |
JP2014211879A (ja) | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 | |
KR20050082559A (ko) | 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체 | |
CN112783316A (zh) | 基于增强现实的控制方法及装置、电子设备和存储介质 | |
KR20160013451A (ko) | 증강현실 애플리케이션을 접목한 제품현시시스템 | |
CN112073761A (zh) | 蓝牙功能的实现方法及装置、双硬件系统显示设备 | |
JP2014212843A (ja) | 情報送受信システム | |
CN112073768B (zh) | 蓝牙通信方法及显示设备 | |
CN110312144B (zh) | 进行直播的方法、装置、终端和存储介质 | |
JP2006318385A (ja) | 画像生成システム、プログラムおよび情報記憶媒体 | |
JP2014220000A (ja) | 携帯端末装置、端末プログラムおよび玩具 | |
CN112533023B (zh) | 连麦合唱作品的生成方法和显示设备 | |
JP5468152B1 (ja) | 携帯端末装置、プログラム、印判、および印判を包含したカプセル商品 | |
CN114862504A (zh) | 信息展示方法、装置、终端及介质 | |
KR101601921B1 (ko) | 제품증강현실 시스템 |