JP2022141418A - Animation data creation device and method - Google Patents
Animation data creation device and method Download PDFInfo
- Publication number
- JP2022141418A JP2022141418A JP2021041704A JP2021041704A JP2022141418A JP 2022141418 A JP2022141418 A JP 2022141418A JP 2021041704 A JP2021041704 A JP 2021041704A JP 2021041704 A JP2021041704 A JP 2021041704A JP 2022141418 A JP2022141418 A JP 2022141418A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- user
- person
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、動画データ作成装置及び方法に関する。 The present invention relates to a moving image data creation device and method.
デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を製作するサービスが知られている。また、近年、アップロードした画像を用いてオリジナルの絵本を製作するサービスが注目されている。例えば、特許文献1には、絵本のテンプレートを用いてフォトブックを作製する手法が開示されている。
2. Description of the Related Art Images captured by a digital camera, a smartphone, or the like are uploaded and stored on a network. Further, there is known a service for printing uploaded images to produce prints such as photo books and posters. Also, in recent years, attention has been paid to a service for creating an original picture book using uploaded images. For example,
このように、従来は、人物を撮影した画像をテンプレートの所定領域に嵌め込んで絵本を作製していた。しかし、絵本では、嵌め込まれた人物画像が静止画であるため動かない。本としての絵本ではなく、人物画像が動いたり音声を発したりするような絵本風のムービーを作成するサービスが望まれている。 As described above, conventionally, a picture book is produced by inserting a photographed image of a person into a predetermined area of a template. However, in a picture book, the human image embedded is a still image and does not move. There is a demand for a service that creates a picture book-like movie in which a person's image moves and sounds are emitted, rather than a picture book as a book.
本発明は、ユーザが提供した人物画像が動く絵本風の動画を作成する動画データ作成装置及び方法を提供することを課題とする。 An object of the present invention is to provide a video data creation apparatus and method for creating a picture book-like video in which a person image provided by a user moves.
本発明の動画データ作成装置は、作品の複数のシーンの各々についての、背景画像及びキャラクターの動作情報を含むフォーマットデータを格納する記憶部と、ユーザ端末からユーザ画像を受信し、前記ユーザ画像から人物画像を切り抜き、前記動作情報に基づいて前記人物画像を動画化し、動画化した前記人物画像を前記背景画像に合成し、前記複数のシーンの各々に対応するシーン編集データを生成する画像処理部と、複数の前記シーン編集データを結合して作品データを生成する結合部と、を備えるものである。 A moving image data creation apparatus of the present invention includes a storage unit for storing format data including a background image and character action information for each of a plurality of scenes of a work; An image processing unit that cuts out a person image, animates the person image based on the motion information, synthesizes the animated person image with the background image, and generates scene edit data corresponding to each of the plurality of scenes. and a combining unit that combines the plurality of scene editing data to generate work data.
本発明の動画データ作成方法は、ユーザ端末からユーザ画像を受信する工程と、前記ユーザ画像から人物画像を切り抜く工程と、作品の複数のシーンの各々についての、背景画像及びキャラクターの動作情報を含むフォーマットデータを参照し、前記動作情報に基づいて前記人物画像を動画化する工程と、動画化した前記人物画像を前記背景画像に合成し、前記複数のシーンの各々に対応するシーン編集データを生成する工程と、複数の前記シーン編集データを結合して作品データを生成する工程と、を備えるものである。 A moving image data creation method of the present invention includes a step of receiving a user image from a user terminal, a step of cutting out a person image from the user image, and a background image and character action information for each of a plurality of scenes of a work. referencing the format data and converting the person image into a moving image based on the motion information; synthesizing the animated person image with the background image to generate scene edit data corresponding to each of the plurality of scenes; and combining the plurality of scene editing data to generate work data.
本発明によれば、ユーザが提供した人物画像が動く絵本風の動画を作成できる。 According to the present invention, it is possible to create a picture book-like moving image in which a person image provided by a user moves.
以下、本発明の実施の形態を、図面を参照しながら説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1に示すように、本発明の実施形態に係る動画データ作成システムは、人物画像(静止画)をアップロードするユーザ端末2と、人物画像を用いて絵本ムービーの動画データを作成する動画データ作成装置1とを備える。ここで、絵本ムービーは、絵本の背景上に人物画像が合成され、この人物画像が所定の動作を行うものである。また、人物画像が動作すると共に、ユーザが吹き込んだ音声(セリフ)が出力されてもよい。
As shown in FIG. 1, the moving image data creation system according to the embodiment of the present invention includes a
ユーザ端末2は、スマートフォン、タブレット端末、PC等である。ユーザは、ユーザ端末2を操作して動画データ作成装置1が提供するウェブサイトにアクセスし、複数の絵本ムービー作品の中から、気に入った作品を選択する。例えば、図2に示すような作品選択画面がユーザ端末2に表示される。
The
ユーザが作品選択画面で気に入った作品の選択ボタンB1を押すと、ユーザ端末2には、図3に示すような、編集シーン選択画面が表示される。1つの作品は複数のシーンに分けられており、各シーンの編集を行うようになっている。例えば、1つの作品が、物語の起承転結にそれぞれ相当する4つのシーンを含む。
When the user presses a selection button B1 for a work that he/she likes on the work selection screen, the
ユーザが、編集シーン選択画面で編集したいシーンの選択ボタンB2を押すと、ユーザ端末2には、図4に示すような編集画面が表示される。編集画面には、そのシーンの背景画像G1と、背景画像G1に合成される人物画像のサンプル画像Cが表示される。シーンの編集では、ユーザ画像のアップロードとセリフの録音を行う。
When the user presses the selection button B2 of the scene to be edited on the edit scene selection screen, the
ユーザが、編集画面で写真選択ボタンB3を押すと、図5に示すような画像選択画面が表示され、ユーザ端末2に保存されている画像が一覧表示される。ユーザは、サンプル画像Cから、どのような人物画像をアップロードすればよいか判断する。例えば、サンプル画像Cが頭から足までの全身であった場合、ユーザは、全身が写ったユーザ画像をアップロードする。ユーザが、画像一覧からシーンに合ったユーザ画像を選択し、決定ボタンB5を押すと、選択された画像が動画データ作成装置1にアップロードされる。
When the user presses the photo selection button B3 on the editing screen, an image selection screen as shown in FIG. 5 is displayed, and images saved in the
画像一覧に好適な画像が無い場合は、新たに撮影を行い、撮影画像をアップロードしてもよい。この場合、ユーザは、編集画面の新規撮影ボタンB6を押す。これにより、ユーザ端末2の内蔵カメラが起動し、撮影が行えるようになる。撮影を行うと、撮影画像(ユーザ画像)が動画データ作成装置1にアップロードされる。
If there is no suitable image in the image list, a new photograph may be taken and the photographed image may be uploaded. In this case, the user presses the new shooting button B6 on the editing screen. As a result, the built-in camera of the
ユーザ画像のアップロード後、ユーザ端末2には、図6に示すような切り抜き範囲指定画面が表示される。ユーザは、アップロードした画像G2のうち、切り抜きたい対象の人物の切り抜き範囲3を指定する。切り抜き範囲3を再指定したい場合は、クリアボタンB7を押して、切り抜き範囲3をリセットする。
After uploading the user image, the
例えば、ユーザは、アップロードした画像に複数の人物が含まれている場合、絵本ムービーに使用したい人物に切り抜き範囲3を設定する。切り抜き範囲3の指定後、ユーザは決定ボタンB8を押す。
For example, if the uploaded image contains a plurality of persons, the user sets the
決定ボタンB8が押されると、動画データ作成装置1は、指定された切り抜き範囲3から人物画像を切り抜く。例えば、人物の顔、胴体、腕、足の領域を認識し、切り抜きを行う。サンプル画像C(図4参照)に対応する部分が切り抜かれる。人物以外の部分は削除(透明化)される。ユーザにより切り抜き範囲が指定されているため、人物画像の切り抜き・抽出の処理の負荷が軽減される。
When the decision button B8 is pressed, the moving image
切り抜き処理後、ユーザ端末2に、図7に示すような切り抜き結果確認画面が表示される。切り抜かれた人物画像G3に問題なければ、ユーザは承認ボタンB10を押す。戻るボタンB9を押して、切り抜き範囲の指定を再度行ってもよい。
After the clipping process, a clipping result confirmation screen as shown in FIG. 7 is displayed on the
承認ボタンB10が押されると、ユーザ端末2には、図8に示すような、人物画像の動作確認画面が表示される。動画データ作成装置1は、切り抜いた人物画像(静止画像)に、所定の動作を転写して、動画化(アニメーション化)する。これにより、切り抜かれた人物画像の手足が動いて歩いたり、顔の表情が変わったりする。動画データ作成装置1は、動画化した人物画像を背景に合成する。動作に問題なければ、ユーザは承認ボタンB12を押す。
When the approval button B10 is pressed, the
承認ボタンB12を押すと図4に示す編集画面に戻る。ユーザがセリフ設定ボタンB4を押すと、ユーザ端末2には、図9に示すようなセリフ設定画面が表示される。
When the approval button B12 is pressed, the screen returns to the editing screen shown in FIG. When the user presses the dialogue setting button B4, the
セリフ設定画面には、このシーンのセリフが表示される。ユーザが録音ボタンB13を押すと、ユーザ端末2のマイク機能が起動し、録音が行われる。ユーザは、表示されたセリフを読み上げる。音声データは動画データ作成装置1にアップロードされる。
The dialog of this scene is displayed on the dialog setting screen. When the user presses the record button B13, the microphone function of the
ユーザ自身の音声を使用しない場合は、デフォルト音声設定ボタンB14を押すことで、声優等によって事前に録音されたデフォルト音声が設定できる。 If the user's own voice is not used, a default voice pre-recorded by a voice actor or the like can be set by pressing the default voice setting button B14.
人物画像の切り抜き及びセリフの録音を行うと、図10に示すような編集結果確認画面が表示される。ユーザが再生ボタン16を押すことで、人物画像が動作すると共に、セリフの音声が出力される。ユーザが保存ボタンB18を押すことで、シーンの編集結果(シーン編集データ)が動画データ作成装置1に保存される。
After clipping of the person's image and recording of lines are performed, an editing result confirmation screen as shown in FIG. 10 is displayed. When the user presses the play button 16, the person image is activated and the voice of the dialogue is output. When the user presses the save button B18, the result of scene editing (scene editing data) is saved in the moving image
作品の複数のシーンについて、このような編集を行う。複数のシーンにわたって同じ登場人物がある場合は、1つのシーンの編集で切り抜いた人物画像を、他のシーンで利用してもよい。 Such editing is performed for multiple scenes of the work. If the same character appears in multiple scenes, the person image cut out in one scene may be used in another scene.
全てのシーンの編集を完了すると、図11に示すように、編集シーン選択画面の再生ボタンB19が活性化する。再生ボタンB19を押すと、全てのシーンが連続して再生される。終了ボタンB20を押すと、編集が終了し、作成した絵本ムービーの作品が動画データ作成装置1に保存される。 When editing of all scenes is completed, as shown in FIG. 11, the play button B19 on the editing scene selection screen is activated. When the play button B19 is pressed, all scenes are played back continuously. When the end button B20 is pressed, the editing ends, and the created picture book movie is saved in the moving image data creating apparatus 1.例文帳に追加
作品が保存されると、ユーザ端末2には、図12に示すような、ユーザが作成した作品の一覧画面が表示される。再生ボタンB30を押すと、図13に示すような再生画面に遷移し、絵本ムービーがストリーミング再生される。
When the work is saved, the
絵本ムービーにはストリーミング再生可能な閲覧期限が設定される。例えば、絵本ムービーの作品を作成してから3日間の閲覧期限が設定される。ユーザは、閲覧期限内に購入ボタンB32を押し、クレジットカード決済等で支払いを行うと、作成した作品の動画データがダウンロードできるようになる。 The picture book movie has a viewing time limit that allows streaming playback. For example, a viewing time limit of three days is set after a picture book movie is created. When the user presses the purchase button B32 and makes a payment by credit card or the like within the viewing period, the movie data of the created work can be downloaded.
このように、本実施形態によれば、ユーザが提供した人物画像が動く絵本風の動画を作成できる。 As described above, according to the present embodiment, it is possible to create a picture book-like moving image in which the person image provided by the user moves.
次に、動画データ作成装置1の構成について説明する。動画データ作成装置1は、作品選択画面を生成してユーザ端末2へ送信し、ユーザ端末2から、作品選択を含む絵本ムービーの注文を受け付け、ユーザ端末2から受信した画像と、選択された絵本ムービーのテンプレートデータとを用いて、絵本ムービーの動画データを生成するものである。
Next, the configuration of the moving image
図14に示すように、動画データ作成装置1は、制御部10、記憶部12、及び通信部14を備えたサーバ装置である。制御部10は、中央処理装置(CPU)、ROM、RAM等からなり、サーバ装置の全体を制御する。制御部10は、記憶部12に記憶されているオペレーティングシステム(OS)やアプリケーションプログラムを読み出して実行することにより、各種機能を実現する。
As shown in FIG. 14, the moving image
記憶部12は、制御部10が各種の処理を実行するために必要なプログラムやデータ等を記憶するための記憶領域であり、ハードディスクや半導体メモリ等が用いられる。記憶部12は、絵本ムービーの各作品のテンプレートデータを格納する。
The
テンプレートデータは、作品内の各シーンの背景画像、合成される人物画像の動作を表すキャラクター動作情報、各シーンのセリフ情報、デフォルト音声データ等を含む。 The template data includes a background image of each scene in the work, character movement information representing the movement of the person image to be synthesized, dialogue information of each scene, default voice data, and the like.
制御部10は、ユーザ登録部101、作品選択部102、シーン選択部103、画像選択部104、画像処理部105、音声設定部106、結合部107、再生処理部108及び購入受付部109の機能を有する。
The
ユーザ登録部101は、絵本ムービーの作成を行うユーザの登録を受け付ける。ユーザ登録を行うことで、記憶部12に、各ユーザが作成した絵本ムービーのデータを格納する領域が生成される。
The
作品選択部102は、作品選択画面(図2参照)を生成し、ユーザ端末2へ送信する。作品選択部102は、作品選択画面を介して、ユーザから、絵本ムービーを作成する作品の選択を受け付ける。
The
シーン選択部103は、選択された作品のテンプレートデータを用いて編集シーン選択画面(図3参照)を生成し、ユーザ端末2へ送信する。シーン選択部103は、編集シーン選択画面を介して、ユーザから、編集を行うシーンの選択を受け付ける。シーンの選択を受け付けると、シーン選択部103は、テンプレートデータを用いて編集画面(図4参照)を生成し、ユーザ端末2へ送信する。
The
画像選択部104は、画像選択画面(図5参照)を介してユーザから画像の選択を受け付け、選択された画像データをユーザ端末2から受信する。
The
画像処理部105は、受信した画像データを用いて切り抜き範囲指定画面(図6参照)を生成し、ユーザ端末2へ送信する。画像処理部105は、切り抜き範囲指定画面を介して、ユーザから、切り抜き範囲の指定を受け付ける。画像処理部105は、切り抜き範囲から人物画像を切り抜く。
The
画像処理部105は、切り抜いた人物画像に、キャラクター動作情報に基づく動作を転写して、人物画像を動画化する。人物画像の動画化は公知の手法を用いることができる。画像処理部105は、動画化した人物画像を背景画像に合成する。
The
音声設定部106は、セリフ設定画面(図9参照)をユーザ端末2に表示させる。音声設定部106は、ユーザ端末2のマイクを介して入力された音声データを受信し、シーンのセリフとして設定する。また、音声背底部106は、ユーザ端末2からの指示に基づいて、デフォルト音声をシーンのセリフに設定することもできる。
The
結合部107は、背景と動画化した人物画像との合成、及びセリフ設定を含む編集が行われた複数のシーンのシーン編集データを結合して、絵本ムービーの作品データを生成し、記憶部12に格納する。結合部107は、作品データに閲覧期限を設定する。
Combining
再生処理部108は、作品データのストリーミング再生が行われるように、ユーザ端末2に対しデータ転送を行う。
The
購入受付部109は、ユーザ端末2から作品データの購入を受け付ける。決済処理後、購入受付部109は、購入された作品データをダウンロード可能にする。また、購入受付部109は、記憶部12内の購入履歴を更新する。
The
次に、図15に示すフローチャートを用いて、本実施形態に係る動画データ作成方法を説明する。 Next, the moving image data creation method according to this embodiment will be described using the flowchart shown in FIG.
動画データ作成装置1が、ユーザ端末2から、絵本ムービーの作品選択を受け付ける(ステップS1)。
The moving image
動画データ作成装置1が、ステップS1で選択された作品のテンプレートデータに基づいて、編集するシーンの選択画面をユーザ端末2に表示し、編集するシーンの選択を受け付ける(ステップS2)。
Based on the template data of the work selected in step S1, the moving image
ステップS2で選択されたシーンの編集画面がユーザ端末2に表示される。ユーザは、編集画面に表示されたサンプルを参照して、このシーンに合成する画像を選択する(ステップS3)。選択する画像は、ユーザ端末2に保存されているものでもよいし、ユーザ端末2のカメラで新たに撮影したものでもよい。
The edit screen of the scene selected in step S2 is displayed on the
動画データ作成装置1は、ユーザ端末2から、選択された画像を受信し、人物画像の切り抜き、動画化、背景への合成等の画像処理を行う。人物画像の切り抜きに先立ち、ユーザから切り抜き範囲の指定を受け付けてもよい。
The moving image
次に、ユーザは、選択したシーンのセリフの録音を行う(ステップS4)。動画データ作成装置1は、ユーザ端末2から録音した音声データを受信し、このシーンのセリフとして設定する。
Next, the user records lines of the selected scene (step S4). The moving image
まだ編集を行っていないシーンがある場合は(ステップS5_No)、シーン選択画面に戻り、未編集のシーンの編集を行う(ステップS2~S4)。 If there is a scene that has not been edited yet (step S5_No), the scene selection screen is returned to edit the unedited scene (steps S2 to S4).
全てのシーンの編集が行われると(ステップS5_Yes)、動画データ作成装置1は、全てのシーンを結合して絵本ムービーの作品データを作成し、ストリーミング再生する(ステップS6)。
When all the scenes have been edited (step S5_Yes), the moving image
このように、本実施形態によれば、ユーザが提供した人物画像(静止画)が、絵本のストーリーの中で動く、付加価値の高い動画を作成できる。 As described above, according to the present embodiment, it is possible to create a high-value-added moving image in which a person image (still image) provided by the user moves in the story of a picture book.
上記実施形態では、物語をテーマにした絵本ムービーを作成する例について説明したが、誕生日、七五三、入学式、卒業式、結婚式などのイベントをテーマにしたものであってもよい。 In the above embodiment, an example of creating a story-themed picture book movie has been described, but events such as birthdays, Shichigosan festivals, entrance ceremonies, graduation ceremonies, and wedding ceremonies may also be the themes.
本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。 Although the present invention has been described in detail using specific embodiments, it will be apparent to those skilled in the art that various modifications can be made without departing from the spirit and scope of the invention.
1 動画データ作成装置
2 ユーザ端末
101 ユーザ登録部
102 作品選択部
103 シーン選択部
104 画像選択部
105 画像処理部
106 音声設定部
107 結合部
108 再生処理部
109 購入受付部
1 moving image
Claims (4)
ユーザ端末からユーザ画像を受信し、前記ユーザ画像から人物画像を切り抜き、前記動作情報に基づいて前記人物画像を動画化し、動画化した前記人物画像を前記背景画像に合成し、前記複数のシーンの各々に対応するシーン編集データを生成する画像処理部と、
複数の前記シーン編集データを結合して作品データを生成する結合部と、
を備える動画データ作成装置。 a storage unit for storing format data including a background image and character action information for each of a plurality of scenes of the work;
receiving a user image from a user terminal, cutting out a person image from the user image, animate the person image based on the motion information, combine the animate person image with the background image, and reproduce the plurality of scenes. an image processing unit that generates scene edit data corresponding to each;
a combining unit that combines a plurality of scene editing data to generate work data;
A video data creation device comprising:
前記ユーザ画像から人物画像を切り抜く工程と、
作品の複数のシーンの各々についての、背景画像及びキャラクターの動作情報を含むフォーマットデータを参照し、前記動作情報に基づいて前記人物画像を動画化する工程と、
動画化した前記人物画像を前記背景画像に合成し、前記複数のシーンの各々に対応するシーン編集データを生成する工程と、
複数の前記シーン編集データを結合して作品データを生成する工程と、
を備える動画データ作成方法。 receiving a user image from a user terminal;
clipping a person image from the user image;
a step of referring to format data including a background image and movement information of a character for each of a plurality of scenes of a work, and converting the person image into animation based on the movement information;
synthesizing the animated portrait image with the background image to generate scene edit data corresponding to each of the plurality of scenes;
a step of combining a plurality of said scene editing data to generate work data;
A video data creation method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021041704A JP2022141418A (en) | 2021-03-15 | 2021-03-15 | Animation data creation device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021041704A JP2022141418A (en) | 2021-03-15 | 2021-03-15 | Animation data creation device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022141418A true JP2022141418A (en) | 2022-09-29 |
Family
ID=83402902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021041704A Pending JP2022141418A (en) | 2021-03-15 | 2021-03-15 | Animation data creation device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022141418A (en) |
-
2021
- 2021-03-15 JP JP2021041704A patent/JP2022141418A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8072510B2 (en) | Audio-based attention grabber for imaging devices | |
US8201073B2 (en) | System and method for automating the creation of customized multimedia content | |
US8737815B2 (en) | Computer device, method, and graphical user interface for automating the digital transformation, enhancement, and editing of personal and professional videos | |
CN103842936B (en) | By multiple live video editings and still photo record, edits and merge into finished product and combine works | |
US8139126B2 (en) | Digital video system for assembling video sequences | |
KR100726258B1 (en) | Method for producing digital images using photographic files and phonetic files in a mobile device | |
US20130091300A1 (en) | System, method, and computer readable medium for creating a video clip | |
WO2011112507A1 (en) | Graphic user interface for automating the transformation, enhancement, and editing of videos | |
US11570378B2 (en) | Methods and apparatus for metadata-based processing of media content | |
JP2003078868A (en) | Device and program for supporting media work production | |
JP2002176613A (en) | Moving image editing unit, moving image editing method and recording medium | |
JPH11266422A (en) | Broadcast program management system, broadcast program management method, and recording medium recorded with broadcast program management processing program | |
JP2022141418A (en) | Animation data creation device and method | |
JP6355333B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
JP5113142B2 (en) | Video drama provision system | |
JP5283433B2 (en) | Digital still camera, image processing method and program | |
JP2003257158A (en) | Recording and reproducing device, and recording and reproducing method | |
JP2004343472A (en) | Reproduction information file creating program | |
JP6830634B1 (en) | Information processing method, information processing device and computer program | |
US20240223716A1 (en) | Methods and Apparatus for Metadata-Based Processing of Media Content | |
KR20000049993A (en) | Method of making web multimedia album which following appearance photographing of each kind | |
JP2008271338A (en) | Moving picture recording method, and moving picture recording system | |
JP3503891B2 (en) | Information editing system | |
EP1922864B1 (en) | A system and method for automating the creation of customized multimedia content | |
JP2022127633A (en) | Video editing device, video editing method, and computer program |