JP2020154535A - コンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法 - Google Patents
コンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法 Download PDFInfo
- Publication number
- JP2020154535A JP2020154535A JP2019051058A JP2019051058A JP2020154535A JP 2020154535 A JP2020154535 A JP 2020154535A JP 2019051058 A JP2019051058 A JP 2019051058A JP 2019051058 A JP2019051058 A JP 2019051058A JP 2020154535 A JP2020154535 A JP 2020154535A
- Authority
- JP
- Japan
- Prior art keywords
- content
- image
- article
- identification information
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 114
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 114
- 238000001308 synthesis method Methods 0.000 title claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims abstract description 13
- 239000000203 mixture Substances 0.000 claims description 106
- 230000000694 effects Effects 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 35
- 238000013500 data storage Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract 1
- 239000003550 marker Substances 0.000 description 80
- 230000000875 corresponding effect Effects 0.000 description 70
- 238000004806 packaging method and process Methods 0.000 description 27
- 230000007704 transition Effects 0.000 description 26
- 241000282326 Felis catus Species 0.000 description 22
- 239000002131 composite material Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 14
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 13
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001052 transient effect Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
図1〜図12を用いて、本発明の実施の形態1のコンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法について説明する。実施の形態1のコンテンツ合成システムは、プログラム、物品、および撮影装置を含むシステムである。実施の形態1のコンテンツ合成方法は、実施の形態1のコンテンツ合成システムにおいて実行されるステップを有する方法である。実施の形態1のプログラムは、実施の形態1の撮影装置等のコンピュータに処理を実行させるプログラムである。
図1は、実施の形態1のコンテンツ合成システムの構成を示す。このコンテンツ合成システムは、主に、撮影装置1と物品2とを有する。利用者は、撮影装置1および物品2を操作する。利用者は、遊戯者や撮影者であり、実施の形態1では、2種類の利用者として、第1の利用者である子どもと、第2の利用者である親や友達とがいる。第1の利用者は、物品2に対する動作を行い、撮影装置1による撮影動画の被写体、言い換えるとアクターとなる利用者である。第2の利用者は、第1の利用者をサポートする。第1の利用者または第2の利用者は、撮影装置1を操作して動画を撮影する。撮影方式は、第1の利用者が撮影装置1を操作して自分を撮影する自分撮影(いわゆる自撮り)の場合と、第2の利用者が撮影装置1を操作して第1の利用者を撮影する他者撮影の場合とがある。いずれの撮影方式でもよく、利用者の選択した方式が利用できる。第1の利用者は、遊戯として、現実の物品2等を含む画像に対するコンテンツ合成を含む動画撮影、およびそれに伴う動画実況やゲーム等を行う。第1の利用者や第2の利用者、あるいは通信網を介した他の利用者は、第1の利用者によって作成されたコンテンツ合成後の動画(コンテンツ合成動画と記載する場合がある)を、再生して見て楽しむことができる。
図2は、撮影装置1であるスマートフォンの機能ブロック構成を示す。撮影装置1は、プロセッサ101、メモリ102、タッチパネル50、カメラ60、操作ボタン71、マイク72、スピーカ73、およびセンサ74等を備え、それらはバス等を介して相互に接続されている。プロセッサ101は、公知のCPU、ROM、RAM等で構成され、撮影装置1の全体および各部を制御する。プロセッサ101は、実施の形態1のプログラムに基づいたソフトウェアプログラム処理によって構成される処理部として、設定部11、撮影部12、検出部13、コンテンツ取得部14、合成部15、動画再生部16、ガイド部17等を有する。
図2の構成に基づいて、撮影装置1によるコンテンツ合成機能の処理概要は以下の通りである。設定部11は、予め、利用者(例えば第2の利用者)の操作に基づいて、動画撮影およびコンテンツ合成に係わる設定情報を設定し、設定情報記憶部51に保存する。設定情報は、コンテンツ合成機能に関するユーザ設定情報を含む。ユーザ設定情報は、例えば、複数の機能のうちどの機能を利用するかの設定や詳細設定等の情報である。撮影部12は、コンテンツ合成前の動画を撮影する処理を行う部分である。撮影部12は、カメラ60の制御によって撮影した撮影動画のデータを、撮影動画データ記憶部52に記憶する。検出部13は、撮影動画のデータから、コンテンツ合成のためのIDを検出する処理を行う部分である。例えば、検出部13は、撮影動画の画像から、所定のマーカ(例えばQRコード)または所定の画像の部分を検出し、検出した部分に対応付けて設定されているIDを検出する。例えば、検出部13は、QRコードの解読によって、そのコードに記述されているIDを含む情報を検出する。
図3は、撮影装置1を用いた撮影方式の例を示す。(A),(B)は、利用者が撮影装置1であるスマートフォンを手に持った状態で撮影を行う場合の例を示す。(A)は、インカメラ61を用いた自分撮影のモードの場合を示し、(B)は、アウトカメラ62を用いた他者撮影のモードの場合を示す。(A)の場合、撮影者は第1の利用者である子どもであり、被写体は、物品2および第1の利用者自身を含む。(B)の場合、撮影者は第2の利用者である親または友達等であり、被写体は、物品2および第1の利用者を含む。撮影装置1は、自分撮影モードと他者撮影モードとの各モードでの撮影機能を有し、利用者がモードを選択して利用可能である。撮影装置1は、選択されたモードに対応したガイダンスを含む撮影制御を行う。撮影中、タッチパネル50の表示画面の全体または一部の領域には、動画が表示される。
図4は、物品2の構成の第1例を示す。実施の形態1のコンテンツ合成システムに適用される物品2は、コンテンツ合成順序制御に対応した所定の構成を有し、具体例としては各種の構成例が可能である。この第1例では、物品2は、第1の物品21として収容体である包装袋を有し、第2の物品22として被収容物であるカードを有する。説明上、カメラ60の画像での物品2の見え方の状態として、大別して、第1の状態、および第2の状態を有する。第1の状態と第2の状態との間には、過渡状態を有する。なお、図4等で、説明上の方向、座標系として、(X,Y,Z)を示す。X方向およびY方向は、カメラ60の画像を構成する直交する2つの方向であり、横をX方向、縦をY方向とする。Z方向は、X方向およびY方向に対し垂直な方向であり、カメラ60の撮影方向に対応する。
図5は、図4の物品2の構成に対応した、コンテンツ合成動画の構成概要を示す。図5は、ある撮影動画およびコンテンツ合成動画を構成するうちの一部の画像の状態遷移を示す。(A)は、図4の第1の状態に対応した、合成前の第1の画像A1、および合成後の第1の画像A2を示す。第1の画像A2は、第1の画像A1に第1のコンテンツC1が合成されている。(B)は、第2の状態に対応した、合成前の第2の画像B1、および合成後の第2の画像B2を示す。第2の画像B2は、第2の画像B1に第2のコンテンツC2が合成されている。なお、図5は過渡状態の画像を省略している。ある撮影動画において、時間軸上、第1の画像A1、第2の画像B1の順序で遷移する。対応するコンテンツ合成動画において、時間軸上、第1の画像A2、第2の画像B2の順序で遷移する。なお、時間軸上、各画像のデータには、対応する各音声のデータも付属している。音声は、第1の利用者の発声による実況等の音声である。また、各コンテンツには、画像のみならず、対応する音声(例えばBGMや効果音等)も含まれる。
図6は、図5等に対応したコンテンツ合成動画の構成に関する設定情報の設定例を示す。(A)は、前述の設定情報記憶部51に記憶される設定情報の例を示す。この設定情報には、動画(対応するコンテンツ合成動画)のカットやタイムスケジュール等を含む台本が設定されている。(A)は、縦方向を時間軸とし、時点をt1等で示し、時間をT1等で示す。ある動画は、複数の部分(いわゆるカット)で構成される。本例の動画は、時間T1の第1のカットから、時間T7の第7のカットまで、概略的に7個のカットで構成される。予め用意されている台本に基づいて、カットの数や時間等については利用者が選択して設定できる。
図7は、図5のコンテンツ合成動画についての詳細を示す。この動画は、図6の設定例と対応しており、時間軸上、所定の順序の複数の画像として、第1のカットの画像701、第2のカットの画像702、第3のカットの画像703、第5のカットの画像705、第6のカットのうちの画像706aおよび画像706bを含む。なお、図7では、過渡状態の第4のカットの画像、第6のカットのゲームプレイ中の画像、第7のカットのエンディングの画像を省略している。
図8は、ガイド部17(図2)によって動画撮影時にガイダンスを提供する場合の画像例を示す。ガイダンスの提供は必須ではないが、特に子どもに対しガイダンスを提供することで、コンテンツ合成動画の作成をより容易にすることができる。画像801は、第1のカット前の準備状態の時の画像例である。この画像801は、利用者である撮影者に対し、第1の利用者の位置や撮影開始等のガイドをするための画像である。この画像801は、ガイダンス画像の例として、画像G11,G12,G13を含む。ガイド部17は、各ガイダンス画像と共に、対応する各ガイダンス音声も出力する。画像G11は、ガイダンス文字画像であり、例えば文字列「せんのいちに はいるように さつえいしてね」を含む。なお、子ども向けのガイダンス用に、漢字を使わない文字画像等も用意されている。画像G12は、カメラ60の画像フレーム内での第1の利用者の概略的な位置をガイドするための線画像である。画像G13は、撮影開始の準備ができた状態を撮影装置1に指示するためのボタン画像であり、例えば文字列「OK」、「準備ができたらOKボタンを押してね」等を含む。この画像G13が押されると、動画の撮影が開始される。画像G13は、撮影開始に伴う秒数のカウントダウンの画像を含んでもよい。なお、図8は、第1のカット、第3のカット、第7のカット等を省略している。
図9は、撮影装置1のコンテンツ合成機能のアプリケーションプログラム120によってタッチパネル50の表示画面にグラフィカル・ユーザ・インタフェースとして表示されるアプリケーション画面の表示例を示す。画面901は、アプリケーション起動後の画面例を示す。この画面901は、「撮影」ボタン、「設定」ボタン、「動画リスト」ボタン、等を含む。利用者によって「撮影」ボタンが押された場合、撮影装置1は、図8のようなガイダンスと共に動画撮影に移行する。「設定」ボタンが押された場合、撮影装置1は、画面902のような設定画面に移行する。「動画リスト」ボタンが押された場合、撮影装置1は、画面903のような動画リスト画面に移行する。
図10は、実施の形態1のコンテンツ合成システムにおける、複数のコンテンツ合成の順序に関する制御例を示す。撮影装置1は、図9までで説明した基本的なコンテンツ合成機能に加え、図10以降で説明する順序制御機能を追加で備えてもよい。前述の図4のような過渡状態は、様々な見え方をとり得るが、一時的に、カメラ60の画像において2個以上のIDが同時に検出できる場合がある。例えば、カメラ60の画像に包装袋の表面とカードの表面との両方が写っている場合である。順序制御機能は、このような場合にも好適なコンテンツ合成ができるように合成の順序に係わる制御を行う機能である。
上記のように、実施の形態1のコンテンツ合成システム等によれば、物品2の複数のIDを用いて複数のコンテンツを所定の順序で容易に合成することができ、興趣性のある動画の撮影や作成等を実現できる。比較例のコンテンツ合成システムは、複数のIDを用いた複数のコンテンツの好適な合成については考慮されておらず、所定の順序でのコンテンツ合成が難しい場合がある。一方、実施の形態1のコンテンツ合成システムによれば、第1の利用者が子どもである場合でも、物品2に対し簡単な動作を行うことで、あまり意識する必要無く、容易に所定の順序での複数のコンテンツ合成が実現できる。利用者は、コンテンツ合成動画を容易に作成でき、動画実況やゲーム等を楽しむことができる。
図12は、実施の形態1の変形例1のコンテンツ合成システムにおける物品2の構成等を示す。この物品2の構成は、第1の物品21である収容体として1個の包装袋の中に、2個の第2の物品22として2枚のカードが収容されている。2枚のカードを、第1のカード22Aおよび第2のカード22Bとする。2枚のカードは、異なる種類のカードである場合と、同じ種類のカードである場合とがある。この包装袋内には、各種類のカードが、所定の確率に応じて収容されている。例えば、ある種類のカードは、確率が低いレアカードとして提供される。図12の例では、2枚のカードは、異なる種類のカードであり、第1の種類の第1のカード22A、および第2の種類の第2のカード22Bである。2枚のカードおよび対応する2個の第2のID32のセットを、グループと記載する場合がある。なお、この構成に限らず、第1の物品21内に複数の第2の物品22が収容されている構成でもよい。第1の利用者は、図7のようなゲームを行う際に、複数のカードのうち、いずれの種類のカードを用いてもよい。例えば、第1の利用者は、第1のカード22Aと第2のカード22Bとから選択した方のカードを用いてゲームを行う。
コンテンツの一種であるARゲームの詳細について補足する。例えば、図4の傘アイテムを持つカードを用いた第1のゲームの場合での処理概要を説明する。第1のゲームにおいて、第2のコンテンツは、複数のサブコンテンツとして、例えば前述の図7のように、傘アイテム画像、猫画像、および雨画像を含む。撮影装置1は、ゲームのプログラムに従った処理を実行することで、撮影動画の画像に対し、猫画像等を合成する。撮影装置1のプロセッサ101(対応するゲームのプログラムの実行モジュール)は、猫画像等の各画像について、画像フレーム(対応する表示画面)内での有無や位置(対応する座標)を管理する。猫画像は、プログラムに従った動きで画像フレーム内を移動する。雨画像は、画像フレーム内で全体的に上側から降ってくる雨を表す。撮影装置1は、画像フレーム内で、傘アイテム画像の下側の領域には雨画像を表示せず、猫画像の上側に傘アイテム画像が配置されている場合、猫には雨が当たらない。撮影装置1は、画像フレーム内において、第1の利用者によるカード(対応するID)の位置および動きを検出して追跡し、そのカード上に傘アイテム画像を重ね合わせるように合成する。傘アイテム画像は、例えば猫画像のサイズと対応した一定のサイズを持つ。なお、傘アイテム画像を合成しない形態も可能である。
図13および図14を用いて、本発明の実施の形態2のコンテンツ合成システム等について説明する。実施の形態2等の基本的な構成は実施の形態1と同様であり、以下では実施の形態2等における実施の形態1とは異なる構成部分について説明する。
図13は、実施の形態2における物品2の構成例として第2例を示す。この第2例では、物品2は、商品として、第1の物品21である収容体としての箱と、第2の物品22である被収容物としての玩具本体であるフィギュアとを有する。フィギュアは、立体形象物であり、例えばキャラクターのフィギュアであり、ぬいぐるみ等でもよい。この物品2は、第1のID31および第2のID32を有する。特に、第1の物品21である箱は、外面の所定の位置の第1の箇所に、第1のID31またはそれに対応する第1の表示物である第1のマーカ41が設けられている。本例では、箱の一側面の一箇所に第1のマーカ41が設けられている。第2の物品22である玩具本体は、外面の所定の位置の第2の箇所に、第2のID32またはそれに対応する第2の表示物である第2のマーカ42が設けられている。本例では、フィギュアの前面の一箇所、例えばお腹のあたりに、第2のマーカ42が設けられている。なお、前述と同様に、IDを検出する方式は、マーカ方式に限らず可能である。
図14は、実施の形態2におけるコンテンツ合成動画の構成概要を示す。(A)は、第1の状態における合成前の画像141と合成後の画像142とを示す。(B)は、第2の状態における合成前の画像143と合成後の画像144とを示す。画像141は、第1の利用者が手に第1の物品21である箱を持って、カメラ60の方に第1のマーカ41を向けており、第1のID31が検出できる状態である。画像142は、第1のID31の付近の箱を中心として、第1のコンテンツC1が合成されている。本例では、第1のコンテンツC1は、コンテンツC11,C12,C13,C14を含む。コンテンツC11,C12,C13は、図7の画像703の例と同様である。コンテンツC14は、例えば背景で動くように流れる演出用の文字画像(例えば「なんだ?」等)である。
実施の形態1や実施の形態2で、物品2の構成は、2個以上の物品が入れ子構造を持つ。この入れ子構造では、利用者の所定の動作によって物品2の一部が変形または変位等することで、カメラ60の画像内でのIDの見え方の状態が変化する。すなわち、第1の物品21および第1のID31が主に写っている第1の状態から、第2の物品22および第2のID32が主に写っている第2の状態に変わる。撮影装置1は、その状態変化に伴い、複数のIDを所定の順序で1個ずつ検出でき、その順序に従って複数のコンテンツを合成する。よって、実施の形態2でも実施の形態1と類似の効果が得られる。このような入れ子構造での状態変化は、後述の実施の形態4のように、多重入れ子構造による2段階以上の状態変化の構成としてもよい。
図15および図16を用いて、本発明の実施の形態3のコンテンツ合成システム等について説明する。
図15は、実施の形態3における物品2の構成例として第3例を示す。この第3例は、図13の第2例の変形例であり、物品2は、商品として、第1の物品21である収容体としての箱と、第2の物品22である玩具本体としてのフィギュアとを有する。第1の物品21である箱は、外面の第1の箇所に、第1のID32(対応する第2のマーカ42)を有する。また、例えば、前述の例(図13)と同様に、箱の外面の各面として第1の側面、第2の側面、および上面に、第1のID32を有する。各第1のID32のID値の区別として、第1の側面でのID値を#1、第2の側面でのID値を#2、上面でのID値を#3とする。
図16は、図15の物品2の構成に対応した、コンテンツ合成動画の画像例を示す。画像161は、図15の(A)の第1の状態での合成前の画像例を示し、画像162は、合成後の画像例を示す。画像163は、図15の(C)の第2の状態での合成前の画像例を示し、画像164は、合成後の画像例を示す。画像161は、箱の第1の側面の第1のマーカ41から第1のID31(ID値=#1)が検出できる状態である。画像162は、第1のコンテンツC1として、図14の画像142の場合と同様のエフェクト画像等が合成されている。
図17を用いて、本発明の実施の形態4のコンテンツ合成システム等について説明する。
図17は、実施の形態4における物品2の構成例として第4例を示す。この第4例では、物品2は、商品として、第1の物品21である外箱と、第2の物品22である内箱と、第3の物品23である玩具本体(例えばフィギュア)とを有する。最初の第1の状態では、外箱の中に内箱が収容されており、さらに内箱の中に玩具本体が収容されている。言い換えれば、この構成では、3個の物品が二重の入れ子構造の関係で配置されている。第1の範囲は、第1の入れ子構造に対応し、第2の範囲は、第2の入れ子構造に対応する。なお、この構成で、外箱と内箱との部分(第1の範囲)のみを注目すると、それらの関係は、前述の実施の形態2(図13)での第1の物品21の第1の状態と第2の物品22の第2の状態との関係に相当する。また、この構成で、内箱と玩具本体との部分(第2の範囲)のみを注目すると、それらの関係についても、その実施の形態2での関係に相当する。実施の形態4のコンテンツ合成システムは、これらの各範囲および対応する状態変化の段階で、実施の形態1〜3と同様に、所定の順序の制御を適用する。
図18を用いて、本発明の実施の形態5のコンテンツ合成システム等について説明する。
図18は、実施の形態5における物品2の構成例として第5例を示す。この第5例では、物品2は、商品として、第1の物品21である第1のシールと、第2の物品22である第2のシールと、第3の物品23である第3のシールとを有する。最初の第1の状態では、第3のシールの表面の上側に第2のシールが貼られ、第2のシールの表面の上側に第1のシールが貼られている。言い換えれば、この物品2の構成では、3枚のシールが積層構造で配置されている。
図19は、図18の物品2の構成の場合のコンテンツ合成動画の画像例を示す。第1の画像191は、第1の状態での合成後の画像を示す。この第1の画像191は、第1のシールの表面の上に、第1のコンテンツとして、キャラクター画像等を含む画像K1が合成されている。この画像K1は、キャラクターが道を歩いている様子を表すアニメーション等の画像である。第2の画像192は、第2の状態での合成後の画像を示す。この第2の画像192では、第2のシールの表面の上に、第2のコンテンツとして、画像K1と同じキャラクターを含む画像K2が合成されている。この画像K2は、キャラクターが水溜りに驚いている様子を表す画像である。第3の画像193は、第3の状態での合成後の画像を示す。この第3の画像193では、第3のシールの表面の上に、第3のコンテンツとして、画像K2と同じキャラクターを含む画像K3が合成されている。この画像K3は、キャラクターが水溜りに落ちてしまい悲しむ様子を表す画像である。
図20および図21を用いて、本発明の実施の形態6のコンテンツ合成システム等について説明する。
図20は、実施の形態6における物品2の構成例として第6例を示す。この第6例では、物品2は、商品として、第1の物品21である装着物としてのアイテムと、第2の物品22であるキャラクターのフィギュアとを有する。図20の(A)は、動作および状態の例として、非装着動作の場合の第1の状態から第2の状態への変化を示す。第1の動作は、非装着動作であり、フィギュアからアイテムを外す動作である。図20の(B)は、装着動作の場合の第2の状態から第1の状態への変化を示す。第2の動作は、装着動作であり、アイテムをフィギュアに付ける動作である。(B)の第2の動作は、(A)の第1の動作の逆の動作に対応する。
図21は、図20の物品2の構成の場合のコンテンツ合成動画の画像例を示す。(A)は非装着動作の場合、(B)は装着動作の場合を示す。(A)の第1の画像211は、第1の状態での合成後の画像を示す。本例では、第1のID31には第1のコンテンツが関連付けられている。第2のID32には第2のコンテンツが関連付けられている。第1の画像211は、アイテムの第1のID31を中心として、第1のコンテンツが合成されている。第1のコンテンツは、例えば集中線のエフェクト画像である。第2の画像212は、第2の状態での合成後の画像を示す。第2の画像212では、フィギュアの第2のID32を中心として、第2のコンテンツが合成されている。第2のコンテンツは、例えば星マークによるエフェクト画像である。
各実施の形態において適用可能である物品2は、前述の例に限らず、他の玩具、食品、食品玩具、日用品(例えば入浴用品やコスメ用品)、文房具、衣類、靴、鞄、アクセサリ等、各種が適用可能である。物品2は、包装袋、箱、カプセル、家の模型、等の収容体を含んでもよい。物品2は、カード等の平板形状でもよいし、箱等の多面体形状でもよい。物品2は、玩具本体を支持する支持体(例えば台座や模型の枠等)を含んでもよい。物品2は、玩具本体に装着される装着物を含んでもよい。物品2は、利用者の動作に基づいて、少なくとも一部の変位や変形が可能な物体である。その例として、前述のように、開封、開蓋、構成要素となる各物品の分離や集合等がある。
コンテンツは、検出されたIDの位置に対し重ね合わせられるものと、画像フレームの中心位置や所定の位置に対し重ね合わせられるものと、画像フレーム全体に対し重ね合わせられるものとを含む。コンテンツを構成する複数のサブコンテンツは、画像内のID数に応じた数で合成されるサブコンテンツ(例えば傘アイテム画像、猫画像)と、画像内のID数によらずに所定の数で合成されるサブコンテンツ(例えば雨画像)とを含む。
Claims (20)
- 動画に対しコンテンツを合成するコンテンツ合成システムであって、
識別情報として第1の識別情報および第2の識別情報を有し、第1の物品および第2の物品を含む物品と、
利用者の操作に基づいて、前記物品を含む動画を撮影する撮影装置と、
前記コンテンツとして前記第1の識別情報に関連付けられた第1のコンテンツ、および前記第2の識別情報に関連付けられた第2のコンテンツを記憶する記憶手段と、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出手段と、
前記識別情報の検出に基づいて、前記記憶手段から前記識別情報に関連付けられた前記コンテンツを取得する取得手段と、
前記動画のデータに、前記取得したコンテンツを合成する合成手段と、
を備え、
前記合成手段は、前記第1の識別情報を検出した第1の状態において前記第1のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第1の状態から前記第2の識別情報を検出した第2の状態に変化した後、前記第2の状態において前記第2のコンテンツを合成可能である、
コンテンツ合成システム。 - 請求項1記載のコンテンツ合成システムにおいて、
前記物品は、前記第1の物品の第1の箇所に前記第1の物品に関連付けられた前記第1の識別情報を有し、前記第2の物品の第2の箇所に前記第2の物品に関連付けられた前記第2の識別情報を有し、
前記動作は、前記物品の少なくとも一部を変位させる動作および変形させる動作の少なくともいずれか一方を含む動作であり、
前記第1の状態は、前記第1の物品に対し前記第2の物品の少なくとも一部が隠れるように配置され、前記第1の箇所が前記撮影装置によって撮影された画像内に写る状態であり、
前記第2の状態は、前記第1の物品に対し前記第2の物品の隠れていた部分が現われるように配置され、前記第2の箇所が前記撮影装置によって撮影された画像内に写る状態である、
コンテンツ合成システム。 - 請求項1記載のコンテンツ合成システムおいて、
前記物品は、前記第1の物品の第1の箇所に前記第1の物品に関連付けられた前記第1の識別情報を有し、前記第1の物品の第2の箇所に前記第2の物品に関連付けられた前記第2の識別情報を有し、
前記動作は、前記物品の少なくとも一部を変位させる動作および変形させる動作の少なくともいずれか一方を含む動作であり、
前記第1の状態は、前記第1の物品に対し前記第2の物品の少なくとも一部が隠れるように配置され、前記第1の箇所が前記撮影装置によって撮影された画像内に写る状態であり、
前記第2の状態は、前記第1の物品に対し前記第2の物品の隠れていた部分が現われるように配置され、前記第2の箇所が前記撮影装置によって撮影された画像内に写る状態である、
コンテンツ合成システム。 - 請求項1〜3のいずれか一項に記載のコンテンツ合成システムにおいて、
複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第1のコンテンツが合成されたことを条件として、前記第2のコンテンツが合成されるように制御する、コンテンツ合成システム。 - 請求項1〜4のいずれか一項に記載のコンテンツ合成システムにおいて、
複数の前記識別情報を用いて複数の前記コンテンツを前記動画に合成する際に、前記第1のコンテンツの合成後に再び前記第1の識別情報を検出した場合には、前記第1のコンテンツの合成をしない、コンテンツ合成システム。 - 請求項1〜5のいずれか一項に記載の動画作成システムにおいて、
前記撮影装置によって撮影された画像において同時に2個以上の前記識別情報が検出される状態の場合には、前記コンテンツの合成を行わず、1個の前記識別情報のみが検出される状態になった場合には、前記コンテンツを合成する、コンテンツ合成システム。 - 請求項1〜6のいずれか一項に記載のコンテンツ合成システムにおいて、
前記撮影装置によって撮影された画像において同時に2個以上の前記識別情報が検出される状態の場合には、前記画像のフレームの中心位置に最も近い位置にある前記識別情報に関連付けられる前記コンテンツのみを合成する、コンテンツ合成システム。 - 請求項1〜7のいずれか一項に記載のコンテンツ合成システムにおいて、
前記第1のコンテンツおよび前記第2のコンテンツの少なくともいずれか一方は、複数のコンテンツを含み、前記複数のコンテンツの各合成の切り替えは、前記撮影装置によって撮影された撮影動画の画像内における前記識別情報の位置情報、および動作情報と、前記撮影動画の画像内における前記利用者の位置情報、動作情報、および音声情報と、前記コンテンツの合成時間情報、および前記コンテンツ間の切り替えの間隔時間情報との少なくともいずれか一つに従って制御される、
コンテンツ合成システム。 - 請求項1〜8のいずれか一項に記載のコンテンツ合成システムにおいて、
前記合成の後の前記動画のデータを記憶しておく合成動画データ記憶手段と、
前記利用者の操作に応じて前記合成動画データ記憶手段に記憶されている前記動画から選択された前記動画を再生する動画再生手段と、
を備える、コンテンツ合成システム。 - 請求項1〜9のいずれか一項に記載のコンテンツ合成システムにおいて、
前記撮影装置は、前記撮影の際に、前記撮影装置によって撮影された画像内の前記利用者の位置、および前記物品に対する前記動作に係わるガイダンス画像およびガイダンス音声の少なくともいずれか一方を含むガイダンスを提示可能であり、
前記撮影および前記合成の後に記憶された前記動画は、前記ガイダンス画像および前記ガイダンス音声を含まない、
コンテンツ合成システム。 - 請求項1〜10のいずれか一項に記載のコンテンツ合成システムにおいて、
前記コンテンツは、静止画像、動画像、音声、およびゲームの少なくともいずれか一つを含む、コンテンツ合成システム。 - 請求項1〜11のいずれか一項に記載のコンテンツ合成システムにおいて、
前記コンテンツは、前記撮影装置によって撮影された画像のフレーム、前記フレーム内の前記物品または前記識別情報の付近の位置に対し重ね合わせるように合成されるエフェクト画像、または前記フレームに対し合成される画面エフェクトと、前記フレーム内の設定された位置に重ね合わせるように合成される文字画像とを含む、コンテンツ合成システム。 - 請求項1〜12のいずれか一項に記載のコンテンツ合成システムにおいて、
前記物品の位置と前記識別情報の位置との位置関係が設定されており、
前記合成手段は、前記撮影装置によって撮影された画像から検出した前記識別情報の位置に基づいて、前記位置関係に応じて算出した前記物品の位置に対し、前記コンテンツを合成する、コンテンツ合成システム。 - 請求項1〜13のいずれか一項に記載のコンテンツ合成システムにおいて、
前記第1の物品は、前記第2の物品を収容する収容体であり、前記収容体の面に、前記識別情報または前記識別情報を検出するための表示物を有し、
前記動作は、前記第1の物品の内側から外側に前記第2の物品を取り出す動作を含む、
コンテンツ合成システム。 - 請求項1〜14のいずれか一項に記載のコンテンツ合成システムにおいて、
前記第1の物品または前記第2の物品は、多面体であり、前記多面体の複数の面のうちの第1の面に、複数の前記識別情報のうちの1つの識別情報または前記1つの識別情報を検出するための1つの表示物を有し、第2の面に、他の1つの識別情報または前記他の1つの識別情報を検出するための他の1つの表示物を有し、
前記1つの識別情報には前記コンテンツのうちの1つのコンテンツが関連付けられ、前記他の1つの識別情報には前記コンテンツのうちの他の1つのコンテンツが関連付けられており、
前記動作は、前記撮影装置に対し前記第1の面を向ける動作および前記第2の面を向ける動作の少なくとも一方の動作を含む、
コンテンツ合成システム。 - 請求項1〜15のいずれか一項に記載のコンテンツ合成システムにおいて、
前記第2の物品は、立体形象物であり、
前記第1の物品は、前記立体形象物を収容する収容体、前記立体形象物を支持する支持体、または前記立体形象物に装着される装着物であり、
前記動作は、前記収容体から前記立体形象物を取り出す動作、前記収容体に前記立体形象物を収容する動作、前記支持体から前記立体形象物を離す動作、前記支持体に前記立体形象物を固定する動作、前記立体形象物から前記装着物を外す動作、および前記立体形象物に前記装着物を装着する動作のうち少なくとも1つの動作を含む、
コンテンツ合成システム。 - 請求項1〜16のいずれか一項に記載のコンテンツ合成システムにおけるコンピュータによって制御されるプログラムであって、
前記コンピュータに実行させるステップとして、
前記撮影装置が、前記利用者の操作に基づいて、前記物品を含む動画を撮影する撮影ステップと、
前記コンテンツとして前記第1の識別情報に関連付けられた第1のコンテンツ、および前記第2の識別情報に関連付けられた第2のコンテンツを記憶する記憶ステップと、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出ステップと、
前記識別情報の検出に基づいて、前記識別情報に関連付けられた前記コンテンツを取得する取得ステップと、
前記動画のデータに、前記取得したコンテンツを合成する合成ステップと、
を備え、
前記合成ステップは、前記第1の識別情報を検出した第1の状態において前記第1のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第1の状態から前記第2の識別情報を検出した第2の状態に変化した後、前記第2の状態において前記第2のコンテンツを合成可能である、
プログラム。 - 請求項1〜16のいずれか一項に記載のコンテンツ合成システムにおける前記物品。
- 請求項1〜16のいずれか一項に記載のコンテンツ合成システムにおける前記撮影装置。
- 請求項1〜16のいずれか一項に記載のコンテンツ合成システムにおけるコンテンツ合成方法であって、
前記コンテンツ合成システムにおいて実行されるステップとして、
前記撮影装置が、前記利用者の操作に基づいて、前記物品を含む動画を撮影する撮影ステップと、
前記コンテンツとして前記第1の識別情報に関連付けられた第1のコンテンツ、および前記第2の識別情報に関連付けられた第2のコンテンツを記憶する記憶ステップと、
前記撮影装置に撮影された動画のデータから前記識別情報を検出する検出ステップと、
前記識別情報の検出に基づいて、前記記憶ステップから前記識別情報に関連付けられた前記コンテンツを取得する取得ステップと、
前記動画のデータに、前記取得したコンテンツを合成する合成ステップと、
を備え、
前記合成ステップは、前記第1の識別情報を検出した第1の状態において前記第1のコンテンツを合成可能であり、前記利用者による前記物品に対する動作に基づいて、前記動画内の画像の状態が前記第1の状態から前記第2の識別情報を検出した第2の状態に変化した後、前記第2の状態において前記第2のコンテンツを合成可能である、
コンテンツ合成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019051058A JP6835895B2 (ja) | 2019-03-19 | 2019-03-19 | コンテンツ合成システム、プログラム、およびコンテンツ合成方法 |
PCT/JP2020/002887 WO2020189025A1 (ja) | 2019-03-19 | 2020-01-28 | コンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019051058A JP6835895B2 (ja) | 2019-03-19 | 2019-03-19 | コンテンツ合成システム、プログラム、およびコンテンツ合成方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021016306A Division JP2021082322A (ja) | 2021-02-04 | 2021-02-04 | コンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154535A true JP2020154535A (ja) | 2020-09-24 |
JP6835895B2 JP6835895B2 (ja) | 2021-02-24 |
Family
ID=72520713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019051058A Active JP6835895B2 (ja) | 2019-03-19 | 2019-03-19 | コンテンツ合成システム、プログラム、およびコンテンツ合成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6835895B2 (ja) |
WO (1) | WO2020189025A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6465691A (en) * | 1987-09-07 | 1989-03-10 | Tokyo Electric Co Ltd | Goods sales data processor |
JP2009148497A (ja) * | 2007-12-21 | 2009-07-09 | Taito Corp | カードゲーム装置、カードゲームプログラム |
JP2009258918A (ja) * | 2008-04-15 | 2009-11-05 | Nhn Corp | 画像表示プログラム、画像表示装置及びアバター提供システム |
JP2011130386A (ja) * | 2009-12-21 | 2011-06-30 | Fujifilm Corp | 画像表示装置、画像表示方法、携帯端末 |
JP2013228959A (ja) * | 2012-04-26 | 2013-11-07 | Bandai Co Ltd | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 |
JP2015016103A (ja) * | 2013-07-10 | 2015-01-29 | 株式会社gloops | ゲームサーバ、ゲーム制御方法、ゲームプログラム、記録媒体及びゲームシステム |
JP2015210397A (ja) * | 2014-04-25 | 2015-11-24 | フリュー株式会社 | 写真シール作成装置 |
JP2017176750A (ja) * | 2016-03-31 | 2017-10-05 | 株式会社バンダイ | ゲーム装置及びプログラム |
US20180043259A1 (en) * | 2016-07-29 | 2018-02-15 | Justin Hanyan Wong | System and method to provide augmented reality and remote gameplay for traditional trading card games |
-
2019
- 2019-03-19 JP JP2019051058A patent/JP6835895B2/ja active Active
-
2020
- 2020-01-28 WO PCT/JP2020/002887 patent/WO2020189025A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6465691A (en) * | 1987-09-07 | 1989-03-10 | Tokyo Electric Co Ltd | Goods sales data processor |
JP2009148497A (ja) * | 2007-12-21 | 2009-07-09 | Taito Corp | カードゲーム装置、カードゲームプログラム |
JP2009258918A (ja) * | 2008-04-15 | 2009-11-05 | Nhn Corp | 画像表示プログラム、画像表示装置及びアバター提供システム |
JP2011130386A (ja) * | 2009-12-21 | 2011-06-30 | Fujifilm Corp | 画像表示装置、画像表示方法、携帯端末 |
JP2013228959A (ja) * | 2012-04-26 | 2013-11-07 | Bandai Co Ltd | 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 |
JP2015016103A (ja) * | 2013-07-10 | 2015-01-29 | 株式会社gloops | ゲームサーバ、ゲーム制御方法、ゲームプログラム、記録媒体及びゲームシステム |
JP2015210397A (ja) * | 2014-04-25 | 2015-11-24 | フリュー株式会社 | 写真シール作成装置 |
JP2017176750A (ja) * | 2016-03-31 | 2017-10-05 | 株式会社バンダイ | ゲーム装置及びプログラム |
US20180043259A1 (en) * | 2016-07-29 | 2018-02-15 | Justin Hanyan Wong | System and method to provide augmented reality and remote gameplay for traditional trading card games |
Also Published As
Publication number | Publication date |
---|---|
WO2020189025A1 (ja) | 2020-09-24 |
JP6835895B2 (ja) | 2021-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100873601B1 (ko) | 게임 장치, 컴퓨터의 제어 방법 및 정보 기억 매체 | |
US20170169598A1 (en) | System and method for delivering augmented reality using scalable frames to pre-existing media | |
CN106254941A (zh) | 视频处理方法及装置 | |
JP5889355B2 (ja) | 情報再生装置 | |
US20210146265A1 (en) | Augmented reality system for enhancing the experience of playing with toys | |
WO2019227324A1 (zh) | 视频播放速度的控制方法、装置及运动相机 | |
CN114080259A (zh) | 程序、方法以及信息终端装置 | |
JP2007300562A (ja) | 画像処理装置および画像処理方法 | |
JP5012373B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP5169111B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP2019067222A (ja) | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 | |
JP5733941B2 (ja) | ゲーム装置およびゲームシステム | |
JP6835895B2 (ja) | コンテンツ合成システム、プログラム、およびコンテンツ合成方法 | |
US20220266159A1 (en) | Interactive music play system | |
JP2021082322A (ja) | コンテンツ合成システム、プログラム、物品、撮影装置、およびコンテンツ合成方法 | |
JPWO2018128161A1 (ja) | 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム | |
JP2009059015A (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
CN105959603B (zh) | 智能互动系统 | |
JP7030726B2 (ja) | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 | |
Doroski | Thoughts of spirits in madness: Virtual production animation and digital technologies for the expansion of independent storytelling | |
KR102427209B1 (ko) | 스위칭 블록을 이용한 콘텐츠 제공 방법 및 시스템 | |
US11430483B2 (en) | System, method, and kit for using triggering objects to create concatenated audio/video | |
KR102678289B1 (ko) | 익사이팅 러닝 미러 시스템 | |
CN114283232A (zh) | 一种画面展示方法、装置、计算机设备以及存储介质 | |
JP5916816B2 (ja) | ゲーム装置およびゲームシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6835895 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |