JP2018160853A - Video conversion system, video conversion method, and video conversion program - Google Patents
Video conversion system, video conversion method, and video conversion program Download PDFInfo
- Publication number
- JP2018160853A JP2018160853A JP2017058078A JP2017058078A JP2018160853A JP 2018160853 A JP2018160853 A JP 2018160853A JP 2017058078 A JP2017058078 A JP 2017058078A JP 2017058078 A JP2017058078 A JP 2017058078A JP 2018160853 A JP2018160853 A JP 2018160853A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- static
- dynamic
- video
- dynamic object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 85
- 238000000926 separation method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Abstract
Description
本発明は、動画変換システム、動画変換方法、及び、動画変換プログラムに関する。 The present invention relates to a moving image conversion system, a moving image conversion method, and a moving image conversion program.
近年、三次元動画の需要が高まってきている。例えば、三次元映画に対応する映画館の数は年々増加している。しかしながら、現在、大多数の動画は二次元専用であり、三次元には十分に対応していない。そこで、二次元動画に基づいて三次元動画を製作することがある。二次元動画に基づいて三次元動画を製作する場合、右目用の動画と左目用の動画が必要となる。この様な場合、二次元動画の各シーンについて、人物等のオブジェクトを背景から分離し、仮想的なカメラとの距離に応じて人物等の画像を左右にずらしている。 In recent years, the demand for three-dimensional video has increased. For example, the number of movie theaters that support 3D movies is increasing year by year. However, at present, the vast majority of videos are dedicated to 2D and do not fully support 3D. Therefore, a 3D moving image may be produced based on the 2D moving image. When a three-dimensional video is produced based on a two-dimensional video, a right-eye video and a left-eye video are required. In such a case, for each scene of the two-dimensional moving image, an object such as a person is separated from the background, and the image of the person or the like is shifted to the left or right according to the distance from the virtual camera.
しかしながら、この様な作業は多くの場合手作業で行われており、膨大な費用及び時間が必要となる場合がある。 However, such operations are often performed manually and may require enormous costs and time.
そこで、本発明は、この様な課題に鑑み、安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供することを目的とする。 Therefore, in view of such a problem, an object of the present invention is to provide a moving image conversion system, a moving image conversion method, and a moving image conversion program that can convert a two-dimensional moving image into a three-dimensional moving image at low cost and quickly.
以上の目的を達成するため、本発明に係る動画変換システムは、二次元動画を三次元動画に変換する動画変換システムであって、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、オブジェクト分離部によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、オブジェクト分離部によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、三次元静的オブジェクト生成部によって生成された三次元静的オブジェクトと三次元動的オブジェクト生成部によって生成された三次元動的オブジェクトを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部と、を備える。 In order to achieve the above object, a moving image conversion system according to the present invention is a moving image conversion system that converts a 2D moving image into a 3D moving image, and stores static object information for each type. A dynamic object information storage unit that stores dynamic object information for each type, an object separation unit that separates each of the plurality of objects in the two-dimensional video into a static object and a dynamic object, and an object separation unit 3D static that generates 3D static objects based on the static object information stored in the static object information storage unit of the specified type. Specific types of dynamic objects separated by the object generator and the object separator A three-dimensional dynamic object generation unit that generates a three-dimensional dynamic object based on dynamic object information stored in the specified type of dynamic object information storage unit, and a three-dimensional static object generation unit A 3D that generates a 3D video by placing a 3D static object generated by the 3D and a 3D dynamic object generated by the 3D dynamic object generator in a virtual 3D space based on the 2D video An original moving image generation unit.
また、この様な動画変換システムにおいては、動的オブジェクト情報格納部が、動的オブジェクトの動作に関する情報を動的オブジェクトの種類ごとに格納し、三次元動的オブジェクト生成部が、この動作に関する情報に基づいて三次元動的オブジェクトに動作を付与しても良い。 Further, in such a moving image conversion system, the dynamic object information storage unit stores information on the dynamic object motion for each type of dynamic object, and the three-dimensional dynamic object generation unit stores the information on the motion. Based on the above, an action may be given to the three-dimensional dynamic object.
また、本発明に係る動画変換方法は、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換方法であって、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する。 The moving image conversion method according to the present invention includes a static object information storage unit that stores static object information for each type, and a dynamic object information storage unit that stores dynamic object information for each type. A video conversion method for converting a two-dimensional video into a three-dimensional video using a video conversion system provided, wherein each of a plurality of objects in a two-dimensional video is separated into a static object and a dynamic object, and separated static Identify the type of each object, generate a 3D static object based on the static object information stored in the static object information storage unit of the specified type, and then separate each type of dynamic object Based on the dynamic object information stored in the specified type of dynamic object information storage unit. To produce an object, to generate a three-dimensional video by arranging the virtual three-dimensional space based on the three-dimensional static objects and 3D dynamic objects in a two-dimensional video.
更に、本発明に係る動画変換プログラムは、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換プログラムであって、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する。 Furthermore, the moving image conversion program according to the present invention includes a static object information storage unit that stores static object information for each type, and a dynamic object information storage unit that stores dynamic object information for each type. A video conversion program that converts a 2D video to a 3D video using the video conversion system provided, and separates each of the objects in the 2D video into a static object and a dynamic object, and separates the static Identify the type of each object, generate a 3D static object based on the static object information stored in the static object information storage unit of the specified type, and then separate each type of dynamic object Based on dynamic object information stored in the specified type of dynamic object information storage To generate a three-dimensional dynamic object, to generate a three-dimensional video by arranging the virtual three-dimensional space based on the three-dimensional static objects and 3D dynamic objects in a two-dimensional video.
以上の様に、本発明によれば、安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供することが出来る。 As described above, according to the present invention, it is possible to provide a moving image conversion system, a moving image conversion method, and a moving image conversion program that can convert a two-dimensional moving image into a three-dimensional moving image quickly and inexpensively.
次に、図面を参照し、本発明の実施形態について説明する。尚、以下の説明は例示的なものであり、詳細については適宜変更可能である。 Next, embodiments of the present invention will be described with reference to the drawings. In addition, the following description is an illustration and it can change suitably about a detail.
［本発明の実施形態に係る動画変換システム］
図１に示す通り、本発明の実施形態に係る動画変換システムは、オブジェクト情報格納部１００と、動画変換装置２００と、を備える。この動画変換システムは、二次元動画に基づいて三次元動画を生成し、配信システム３００を介して、この三次元動画をスマートフォン、タブレット端末、ＰＣ等の端末４００に配信する。尚、ここで言う三次元動画には、右目用の動画と左目用の動画との間で単純にオブジェクトの位置を異ならせた古典的なものだけでなく、仮想的な三次元空間に三次元オブジェクトを配置してなるＶＲ（Virtual Reality）動画も含まれる。
[Moving image conversion system according to an embodiment of the present invention]
As shown in FIG. 1, the moving image conversion system according to the embodiment of the present invention includes an object information storage unit 100 and a moving image conversion device 200. The moving image conversion system generates a 3D moving image based on the 2D moving image, and distributes the 3D moving image to a terminal 400 such as a smartphone, a tablet terminal, or a PC via the distribution system 300. Note that the 3D video referred to here is not only a classic one in which the position of the object is simply changed between the video for the right eye and the video for the left eye, but also in a virtual 3D space. A VR (Virtual Reality) moving image in which objects are arranged is also included.
オブジェクト情報格納部１００は、背景、雲、モノ等の静的オブジェクトの情報を種類に応じて格納する静的オブジェクト情報格納部１０１と、顔、人物、車や電車等の乗物、信号、雪、雨、水滴等の動的オブジェクトの情報、例えば、動的オブジェクトの動作に関する情報等を、種類に応じて格納する動的オブジェクト情報格納部１０２と、を備える。 The object information storage unit 100 includes a static object information storage unit 101 that stores information on static objects such as backgrounds, clouds, and objects according to types, vehicles such as faces, people, cars and trains, signals, snow, And a dynamic object information storage unit 102 that stores information on dynamic objects such as rain and water drops, for example, information on dynamic object movements according to the type.
動画変換装置２００は、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部２０１と、オブジェクト分離部２０１によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部１０１に格納された静的オブジェクトの情報に基づいて三次元静的オブジェクトを生成する三次元静的オブジェクト生成部２０４と、オブジェクト分離部２０１によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部１０２に格納された動的オブジェクトの情報に基づいて三次元動的オブジェクトを生成する三次元動的オブジェクト生成部２０６と、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部２０７と、を備える。 The video conversion device 200 identifies an object separation unit 201 that separates each of a plurality of objects in a two-dimensional video into a static object and a dynamic object, and a type of each static object separated by the object separation unit 201, The three-dimensional static object generation unit 204 that generates a three-dimensional static object based on the static object information stored in the static object information storage unit 101 of the specified type and the object separation unit 201 A three-dimensional dynamic object generation unit 206 that specifies the type of each dynamic object and generates a three-dimensional dynamic object based on the dynamic object information stored in the specified type of dynamic object information storage unit 102. And 3D static objects and 3D dynamic objects Comprises a three-dimensional moving image generation unit 207 and bets to generate a three-dimensional video by arranging the virtual three-dimensional space based on the two-dimensional video, the.
［本発明の実施形態に係る動画変換システムの動作］
次に、図２〜図１１を参照して、上記動画変換システムの動作について説明する。
[Operation of Movie Conversion System According to Embodiment of Present Invention]
Next, the operation of the moving image conversion system will be described with reference to FIGS.
オブジェクト分離部２０１は、二次元動画をシーンごとに分割して、複数の二次元動画を生成する（ステップＳ１０１）。以下、分割前の二次元動画を第１の二次元動画と、分割後の二次元動画を第２の二次元動画と呼ぶことがある。 The object separation unit 201 divides the two-dimensional moving image for each scene and generates a plurality of two-dimensional moving images (step S101). Hereinafter, the two-dimensional video before division may be referred to as a first two-dimensional video, and the two-dimensional video after division may be referred to as a second two-dimensional video.
次に、オブジェクト分離部２０１は、複数の第２の二次元動画それぞれにモーション・トラッキング等の処理を行い、第２の二次元動画のうち、所定の閾値よりも動きの少ない部分の画像を静的オブジェクトに、この所定の閾値よりも動きの大きい部分の画像を動的オブジェクトに対応させて、第２の二次元動画から抽出する（ステップＳ１０２）。 Next, the object separation unit 201 performs a process such as motion tracking on each of the plurality of second 2D moving images, and statically extracts an image of a portion of the second 2D moving image that has less movement than a predetermined threshold. The target object is extracted from the second two-dimensional moving image by correlating the dynamic object with an image of a portion having a motion larger than the predetermined threshold (step S102).
次に、オブジェクト分離部２０１は、分離されたオブジェクトを順次選択し（ステップＳ１０３）、このオブジェクトが静的オブジェクトであるのか動的オブジェクトであるのかを判別する（ステップＳ１０４）。 Next, the object separation unit 201 sequentially selects the separated objects (step S103), and determines whether the object is a static object or a dynamic object (step S104).
ステップＳ１０３において選択されたオブジェクトが静的オブジェクトであった場合、三次元静的オブジェクト生成部２０４は、識別器によって入力された画像が示す静的オブジェクトの種類を特定する（ステップＳ１０５）。また、三次元静的オブジェクト生成部２０４は、オブジェクトの種類に応じた複数のディレクトリｄを生成し、同一の種類に分類された複数の画像を同一のディレクトリｄに格納する。 If the object selected in step S103 is a static object, the three-dimensional static object generation unit 204 specifies the type of static object indicated by the image input by the classifier (step S105). Further, the three-dimensional static object generation unit 204 generates a plurality of directories d corresponding to the types of objects, and stores a plurality of images classified into the same type in the same directory d.
次に、三次元静的オブジェクト生成部２０４は、ステップＳ１０５で生成した各ディレクトリｄに順次アクセスし、ディレクトリｄ内の複数の画像、及び、静的オブジェクト情報格納部１０１内に格納された情報に基づいて、ディレクトリｄ毎に一つの三次元オブジェクトを生成する（ステップＳ１０６）。 Next, the three-dimensional static object generation unit 204 sequentially accesses each directory d generated in step S105, and stores the plurality of images in the directory d and information stored in the static object information storage unit 101. Based on this, one three-dimensional object is generated for each directory d (step S106).
ステップＳ１０３において選択されたオブジェクトが動的オブジェクトであった場合、三次元動的オブジェクト生成部２０６は、識別器によって入力された画像が示すオブジェクトの種類を特定する（ステップＳ１０７）。また、三次元動的オブジェクト生成部２０６は、オブジェクトの種類に応じた複数のディレクトリｄを生成し、同一の種類に分類された複数の画像を同一のディレクトリｄに格納する。尚、ここで言う種類の特定には、人物、車等の種類の特定だけでなく、どのオブジェクトがどの人物に対応するのか、等の個体の特定が含まれても良い。また、人物はシーンごとに異なる髪型や服装を有する場合があるが、この様な場合、全てのシーンを通じて同じ人物の情報を同じディレクトリｄに格納しても良いし、シーンごとに異なるディレクトリｄに格納しても良い。 When the object selected in step S103 is a dynamic object, the three-dimensional dynamic object generation unit 206 specifies the type of object indicated by the image input by the classifier (step S107). Further, the three-dimensional dynamic object generation unit 206 generates a plurality of directories d corresponding to the types of objects, and stores a plurality of images classified into the same type in the same directory d. The type specification mentioned here may include not only specification of the type of person, car, etc., but also specification of an individual such as which object corresponds to which person. A person may have different hairstyles and clothes for each scene. In such a case, information on the same person may be stored in the same directory d for all scenes, or in a different directory d for each scene. It may be stored.
次に、三次元動的オブジェクト生成部２０６は、ステップＳ１０７で生成した各ディレクトリｄに順次アクセスし、ディレクトリｄ内の複数の画像、及び、動的オブジェクト情報格納部１０２内に格納された情報に基づいて、ディレクトリｄ毎に一つの三次元オブジェクトを生成する（ステップＳ１０８）。例えば、人物Ａについての三次元オブジェクトを生成する場合、図３（ａ）（ｂ）に例示するように、人物Ａの画像中の複数の特徴点ｐ１を検出し、ここに順次座標情報を埋め込む。次に、これら複数の二次元の座標情報及びオブジェクトの角度差に基づいて、特徴点ｐ１の三次元座標を取得する。次に、図４（ａ）（ｂ）に例示するように、特徴点の三次元座標を基準にして、人物Ａの三次元空間上における形状を生成する。次に、図４（ｃ）に例示するように、複数の画像に基づき、上記形状に色の情報を付与する。次に、図５に例示するように、上記形状に骨格情報を埋め込み、三次元オブジェクトを生成する。尚、骨格情報は、人物等の関節や端部等に埋め込まれる複数の特定点ｐ２及びこれら特定点ｐ２間の距離を規定する情報を含み、特定点ｐ２の動きを規定することによって三次元オブジェクトの動きを規定することが可能な情報であり、動的オブジェクトの動作に関する情報として動的オブジェクト情報格納部１０２に格納される。人物についての三次元オブジェクトには人物についての骨格情報が埋め込まれ、電車等についての三次元オブジェクトには電車についての骨格情報が埋め込まれる。 Next, the three-dimensional dynamic object generation unit 206 sequentially accesses each directory d generated in step S107, and stores the plurality of images in the directory d and information stored in the dynamic object information storage unit 102. Based on this, one three-dimensional object is generated for each directory d (step S108). For example, when generating a three-dimensional object for the person A, as illustrated in FIGS. 3A and 3B, a plurality of feature points p1 in the image of the person A are detected, and coordinate information is sequentially embedded therein. . Next, the three-dimensional coordinates of the feature point p1 are acquired based on the plurality of two-dimensional coordinate information and the angle difference between the objects. Next, as illustrated in FIGS. 4A and 4B, the shape of the person A in the three-dimensional space is generated with reference to the three-dimensional coordinates of the feature points. Next, as illustrated in FIG. 4C, color information is given to the shape based on a plurality of images. Next, as illustrated in FIG. 5, skeleton information is embedded in the shape to generate a three-dimensional object. The skeletal information includes a plurality of specific points p2 embedded in joints and ends of a person and the like and information defining the distance between the specific points p2, and by defining the movement of the specific point p2, a three-dimensional object And is stored in the dynamic object information storage unit 102 as information regarding the motion of the dynamic object. Skeletal information about a person is embedded in a three-dimensional object about a person, and skeleton information about a train is embedded in a three-dimensional object about a train or the like.
次に、三次元動的オブジェクト生成部２０６は、三次元オブジェクトに動作を付与する（ステップＳ１０９）。例えば、図６に例示するように、モーション・トラッキング等の手段を用い、二次元動画におけるオブジェクトの動きを検出し、これに基づいて骨格情報中の特定点ｐ２の動きを規定し、これによって三次元オブジェクトに動作を付与する。 Next, the three-dimensional dynamic object generation unit 206 gives an action to the three-dimensional object (step S109). For example, as illustrated in FIG. 6, the motion of the object in the two-dimensional moving image is detected using means such as motion tracking, and the motion of the specific point p2 in the skeleton information is defined based on the detected motion. Applies motion to the original object.
ステップＳ１０３において選択されたオブジェクトについての処理が終了した場合、ステップＳ１０２において分離されたオブジェクトが全て選択されたか否かを判断し（Ｓ１１０）、全てのオブジェクトについての処理が終了していない場合には、ステップＳ１０３に戻る。全てのオブジェクトについての処理が終了した場合には、ステップＳ１１１に進む。 When the process for the object selected in step S103 is completed, it is determined whether all the separated objects are selected in step S102 (S110). If the process for all objects is not completed, Return to step S103. When the processing for all objects is completed, the process proceeds to step S111.
次に、三次元動画生成部２０７は、同一のシーンに登場する複数の三次元オブジェクトについて、レイヤー情報を付加する（ステップＳ１１１）。例えば、図７及び図８に例示するように、各オブジェクトｏ１〜ｏ６の仮想的なカメラｃとの距離を決定し、各オブジェクトｏ１〜ｏ６にレイヤーｌ１〜ｌ６を付加する。尚、各オブジェクトｏ１〜ｏ６の仮想的なカメラｃとの距離は、図９（ａ）に例示するように合照度に応じて計算しても良いし、図９（ｂ）に例示する様にＲＧＢ値に基づいて計算しても良いし、図９（ｃ）に例示するように、二次元動画中のオブジェクトの動きに基づいて計算しても良い。 Next, the 3D moving image generation unit 207 adds layer information to a plurality of 3D objects appearing in the same scene (step S111). For example, as illustrated in FIGS. 7 and 8, the distances between the objects o1 to o6 and the virtual camera c are determined, and layers l1 to l6 are added to the objects o1 to o6. Note that the distance between each of the objects o1 to o6 and the virtual camera c may be calculated according to the illuminance as illustrated in FIG. 9A, or as illustrated in FIG. 9B. The calculation may be performed based on the RGB values, or may be performed based on the movement of the object in the two-dimensional moving image as illustrated in FIG. 9C.
次に、三次元動画生成部２０７は、２眼用の三次元動画を生成する（ステップＳ１１２）。例えば、図１０（ａ）に例示した元の二次元画像から図１０（ｂ）に例示するように背景ｂを分離し、背景ｂの手前に三次元オブジェクトｏ７を配置する。次に、図１０（ｃ）及び（ｄ）に例示するように、この背景ｂ及び三次元オブジェクトｏ７を右目で見た場合の動画と左目で見た場合の動画とを生成する。 Next, the three-dimensional moving image generation unit 207 generates a two-dimensional three-dimensional moving image (step S112). For example, the background b is separated from the original two-dimensional image illustrated in FIG. 10A as illustrated in FIG. 10B, and the three-dimensional object o7 is disposed in front of the background b. Next, as illustrated in FIGS. 10C and 10D, a moving image when the background b and the three-dimensional object o7 are viewed with the right eye and a moving image when viewed with the left eye are generated.
次に、三次元動画生成部２０７は、ステップＳ１１２において分離された背景ｂに補間処理を行う（ステップＳ１１３）。例えば図１１（ａ）に例示するように、左目用の動画においては三次元オブジェクトｏ７と背景ｂとの間に隙間ｈが生じてしまう。図１１（ｂ）に例示するように、右目用の動画についても同様である。従って、この様な隙間ｈに背景ピクセル予測システム等を適用して補間する。 Next, the 3D moving image generation unit 207 performs an interpolation process on the background b separated in step S112 (step S113). For example, as illustrated in FIG. 11A, a gap h occurs between the three-dimensional object o7 and the background b in the left-eye moving image. The same applies to the moving image for the right eye as illustrated in FIG. Therefore, interpolation is performed by applying a background pixel prediction system or the like to such a gap h.
その後、この様にして生成した三次元動画を、配信システム３００を介して、スマートフォン、タブレット端末、ＰＣ等の端末４００に配信する（ステップＳ１１４）。配信に際しては、予め三次元オブジェクトを端末４００に送信し、その後でこの三次元オブジェクトの動きを規定するデータやレイヤー情報等を送信することが可能である。これにより、送信する情報量を圧縮して、三次元動画を円滑に再生することが可能となる。 Thereafter, the three-dimensional video generated in this way is distributed to the terminal 400 such as a smartphone, a tablet terminal, or a PC via the distribution system 300 (step S114). At the time of distribution, it is possible to transmit a three-dimensional object to the terminal 400 in advance and then transmit data, layer information, etc. that define the movement of the three-dimensional object. As a result, the amount of information to be transmitted can be compressed and a three-dimensional video can be smoothly reproduced.
［本発明の実施形態に係る動画変換システムの効果］
以上説明した通り、本発明の実施形態に係る動画変換システムは、二次元動画を三次元動画に変換する動画変換システムであって、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部１０１と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部１０２と、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部２０１と、オブジェクト分離部２０１によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部１０１に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部２０４と、オブジェクト分離部２０１によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部１０２に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部２０６と、三次元静的オブジェクト生成部２０４によって生成された三次元静的オブジェクトと三次元動的オブジェクト生成部２０６によって生成された三次元動的オブジェクトを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部２０７と、を備える。
[Effects of Movie Conversion System According to Embodiment of Present Invention]
As described above, the moving image conversion system according to the embodiment of the present invention is a moving image conversion system that converts a 2D moving image into a 3D moving image, and stores static object information for each type. Unit 101, a dynamic object information storage unit 102 that stores dynamic object information for each type, an object separation unit 201 that separates each of a plurality of objects in the two-dimensional video into a static object and a dynamic object, The type of each static object separated by the object separation unit 201 is specified, and a three-dimensional static object is generated based on the static object information stored in the static object information storage unit 101 of the specified type 3D static object generation unit 204 and object separation unit 201 A three-dimensional dynamic object that identifies the type of each separated dynamic object and generates a three-dimensional dynamic object based on the dynamic object information stored in the identified type of dynamic object information storage unit 102 Based on the two-dimensional video, the object generation unit 206, the three-dimensional static object generated by the three-dimensional static object generation unit 204, and the three-dimensional dynamic object generated by the three-dimensional dynamic object generation unit 206 are virtualized. A three-dimensional video generation unit 207 that generates a three-dimensional video by arranging in a three-dimensional space.
この様な動画変換システムによれば、二次元動画に基づいて三次元オブジェクトが生成され、この三次元オブジェクトに基づいて三次元動画が生成される。従って、容易に右目用の動画と左目用の動画とを生成することが可能であり、安価かつ迅速に二次元動画を三次元動画に変換可能となる。また、この様な変換システムによれば、三次元オブジェクトを利用して三次元動画を生成するため、古典的な三次元動画だけでなく、三次元空間上で登場人物等が動き回るＶＲ動画を生成することも可能である。 According to such a moving image conversion system, a three-dimensional object is generated based on the two-dimensional moving image, and a three-dimensional moving image is generated based on the three-dimensional object. Therefore, it is possible to easily generate a right-eye moving image and a left-eye moving image, and it is possible to convert a two-dimensional moving image into a three-dimensional moving image at low cost and quickly. In addition, according to such a conversion system, since a 3D video is generated using a 3D object, not only a classic 3D video but also a VR video in which characters move around in a 3D space is generated. It is also possible to do.
また、本発明の実施形態に係る動画変換システムにおいては、動的オブジェクト情報格納部１０１が、動的オブジェクトの動作に関する情報を動的オブジェクトの種類ごとに格納し、三次元動的オブジェクト生成部２０６は、この動作に関する情報に基づいて三次元動的オブジェクトに動作を付与する。 Further, in the moving image conversion system according to the embodiment of the present invention, the dynamic object information storage unit 101 stores information on the dynamic object behavior for each type of dynamic object, and the three-dimensional dynamic object generation unit 206. Gives a motion to the three-dimensional dynamic object based on the information on the motion.
この様な動画変換システムによれば、動的オブジェクトの種類に応じて動的オブジェクトに適切な動作を付与することが出来る。 According to such a moving image conversion system, it is possible to give an appropriate action to the dynamic object according to the type of the dynamic object.
［その他の実施形態］
上記実施形態に係る動画変換システムは説明のために例示したものであり、具体的な構成は適宜変更可能である。例えば、上記実施形態において、動画変換装置２００中の構成は動画変換プログラムを主記憶装置に展開することによって実現されていた。しかしながら、上記構成の一部または全部の構成は、ハードウェアによって実現されても良い。
[Other Embodiments]
The moving image conversion system according to the above embodiment is illustrated for the sake of explanation, and the specific configuration can be changed as appropriate. For example, in the above embodiment, the configuration in the moving image conversion apparatus 200 is realized by deploying a moving image conversion program in the main storage device. However, part or all of the above configuration may be realized by hardware.
１００…オブジェクト情報格納部、１０１…静的オブジェクト情報格納部、１０２…動的オブジェクト情報格納部、２００…動画変換装置、２０１…オブジェクト分離部、２０４…三次元静的オブジェクト生成部、２０６…三次元動的オブジェクト生成部、２０７…三次元動画生成部。 DESCRIPTION OF SYMBOLS 100 ... Object information storage part, 101 ... Static object information storage part, 102 ... Dynamic object information storage part, 200 ... Moving image converter, 201 ... Object separation part, 204 ... Three-dimensional static object generation part, 206 ... Tertiary Original dynamic object generation unit, 207... 3D moving image generation unit.
Claims (4)
静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、
動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、
前記オブジェクト分離部によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、
前記オブジェクト分離部によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、
前記三次元静的オブジェクト生成部によって生成された三次元静的オブジェクトと前記三次元動的オブジェクト生成部によって生成された三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部と
を備えたことを特徴とする動画変換システム。 A video conversion system that converts 2D video to 3D video,
A static object information storage for storing static object information for each type,
A dynamic object information storage unit for storing dynamic object information for each type;
An object separation unit that separates each of the plurality of objects in the two-dimensional video into a static object and a dynamic object;
The type of each static object separated by the object separation unit is specified, and based on the information of the static object stored in the static object information storage unit of the specified type, a three-dimensional static object is A 3D static object generator to generate,
The type of each of the dynamic objects separated by the object separation unit is specified, and based on the information on the dynamic object stored in the dynamic object information storage unit of the specified type, a three-dimensional dynamic object is A three-dimensional dynamic object generator to generate;
A three-dimensional static object generated by the three-dimensional static object generator and a three-dimensional dynamic object generated by the three-dimensional dynamic object generator based on a virtual three-dimensional space based on the two-dimensional video A video conversion system comprising: a three-dimensional video generation unit configured to generate a three-dimensional video by arranging in a space.
前記三次元動的オブジェクト生成部は、前記動作に関する情報に基づいて、前記三次元動的オブジェクトに動作を付与する
ことを特徴とする請求項１記載の動画変換システム。 The dynamic object information storage unit stores information on the behavior of the dynamic object for each type of the dynamic object,
The moving image conversion system according to claim 1, wherein the three-dimensional dynamic object generation unit assigns a motion to the three-dimensional dynamic object based on the information related to the motion.
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
分離された前記静的オブジェクト及び動的オブジェクトそれぞれの種類を特定し、
特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、
前記三次元静的オブジェクトと前記三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する
ことを特徴とする動画変換方法。 A two-dimensional video is obtained by using a video conversion system including a static object information storage unit that stores static object information for each type and a dynamic object information storage unit that stores dynamic object information for each type. A video conversion method for converting to a 3D video,
Separating each of the plurality of objects in the two-dimensional video into a static object and a dynamic object;
Identify the type of each of the separated static and dynamic objects,
Based on the static object information stored in the static object information storage unit of the specified type, a three-dimensional static object is generated,
Based on the information on the dynamic object stored in the dynamic object information storage unit of the identified type, a three-dimensional dynamic object is generated,
A moving image conversion method comprising: generating a three-dimensional moving image by arranging the three-dimensional static object and the three-dimensional dynamic object in a virtual three-dimensional space based on the two-dimensional moving image.
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
分離された前記静的オブジェクト及び動的オブジェクトそれぞれの種類を特定し、
特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、
前記三次元静的オブジェクトと前記三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する
ことを特徴とする動画変換プログラム。 A two-dimensional video is obtained by using a video conversion system including a static object information storage unit that stores static object information for each type and a dynamic object information storage unit that stores dynamic object information for each type. A video conversion program that converts to a 3D video,
Separating each of the plurality of objects in the two-dimensional video into a static object and a dynamic object;
Identify the type of each of the separated static and dynamic objects,
Based on the static object information stored in the static object information storage unit of the specified type, a three-dimensional static object is generated,
Based on the information on the dynamic object stored in the dynamic object information storage unit of the identified type, a three-dimensional dynamic object is generated,
A moving image conversion program that generates a 3D moving image by arranging the 3D static object and the 3D dynamic object in a virtual 3D space based on the 2D moving image.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058078A JP6944180B2 (en) | 2017-03-23 | 2017-03-23 | Video conversion system, video conversion method and video conversion program |
| JP2021143123A JP2021192541A (en) | 2017-03-23 | 2021-09-02 | Video conversion system, video conversion method, and video conversion program |
| JP2021193839A JP2022031304A (en) | 2017-03-23 | 2021-11-30 | Video conversion system, video conversion method, and video conversion program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058078A JP6944180B2 (en) | 2017-03-23 | 2017-03-23 | Video conversion system, video conversion method and video conversion program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021143123A Division JP2021192541A (en) | 2017-03-23 | 2021-09-02 | Video conversion system, video conversion method, and video conversion program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018160853A true JP2018160853A (en) | 2018-10-11 |
| JP6944180B2 JP6944180B2 (en) | 2021-10-06 |
Family
ID=63795172
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017058078A Active JP6944180B2 (en) | 2017-03-23 | 2017-03-23 | Video conversion system, video conversion method and video conversion program |
| JP2021143123A Pending JP2021192541A (en) | 2017-03-23 | 2021-09-02 | Video conversion system, video conversion method, and video conversion program |
| JP2021193839A Pending JP2022031304A (en) | 2017-03-23 | 2021-11-30 | Video conversion system, video conversion method, and video conversion program |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021143123A Pending JP2021192541A (en) | 2017-03-23 | 2021-09-02 | Video conversion system, video conversion method, and video conversion program |
| JP2021193839A Pending JP2022031304A (en) | 2017-03-23 | 2021-11-30 | Video conversion system, video conversion method, and video conversion program |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6944180B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6562437B1 (en) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | Monitoring device and monitoring method |
| WO2020044920A1 (en) | 2018-08-29 | 2020-03-05 | 住友化学株式会社 | Aqueous dispersion |
| CN113823044A (en) * | 2021-10-08 | 2021-12-21 | 刘智矫 | Human body three-dimensional data acquisition room and charging method thereof |
| JP2023092849A (en) * | 2021-12-22 | 2023-07-04 | 凸版印刷株式会社 | Content management system, content management method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001320731A (en) * | 1999-11-26 | 2001-11-16 | Sanyo Electric Co Ltd | Device for converting two-dimensional image into there dimensional image and its method |
| JP2002095012A (en) * | 2000-09-18 | 2002-03-29 | Hitachi Ltd | Device and method for generating stereo image |
| JP2003009181A (en) * | 2001-06-27 | 2003-01-10 | Sony Corp | Image processor, image processing method, recording medium and its program |
| JP2013004989A (en) * | 2011-06-10 | 2013-01-07 | Sharp Corp | Video generating device, video display device, television image receiving device, video generating method and computer program |
| JP2014504074A (en) * | 2011-01-23 | 2014-02-13 | エクストリーム リアリティー エルティーディー． | Method, system, apparatus and associated processing logic for generating stereoscopic 3D images and video |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3633452B2 (en) * | 2000-07-14 | 2005-03-30 | 日本電気株式会社 | 3D advertising system and method with motion in 3D virtual space and recording medium |
| JP4904264B2 (en) * | 2004-07-30 | 2012-03-28 | エクストリーム リアリティー エルティーディー． | System and method for image processing based on 3D spatial dimensions |
| JP4502795B2 (en) * | 2004-12-16 | 2010-07-14 | 株式会社岩根研究所 | Coordinate system recording / reproducing device |
-
2017
- 2017-03-23 JP JP2017058078A patent/JP6944180B2/en active Active
-
2021
- 2021-09-02 JP JP2021143123A patent/JP2021192541A/en active Pending
- 2021-11-30 JP JP2021193839A patent/JP2022031304A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001320731A (en) * | 1999-11-26 | 2001-11-16 | Sanyo Electric Co Ltd | Device for converting two-dimensional image into there dimensional image and its method |
| JP2002095012A (en) * | 2000-09-18 | 2002-03-29 | Hitachi Ltd | Device and method for generating stereo image |
| JP2003009181A (en) * | 2001-06-27 | 2003-01-10 | Sony Corp | Image processor, image processing method, recording medium and its program |
| JP2014504074A (en) * | 2011-01-23 | 2014-02-13 | エクストリーム リアリティー エルティーディー． | Method, system, apparatus and associated processing logic for generating stereoscopic 3D images and video |
| JP2013004989A (en) * | 2011-06-10 | 2013-01-07 | Sharp Corp | Video generating device, video display device, television image receiving device, video generating method and computer program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020044920A1 (en) | 2018-08-29 | 2020-03-05 | 住友化学株式会社 | Aqueous dispersion |
| JP6562437B1 (en) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | Monitoring device and monitoring method |
| JP2020182146A (en) * | 2019-04-26 | 2020-11-05 | アースアイズ株式会社 | Monitoring device and monitoring method |
| CN113823044A (en) * | 2021-10-08 | 2021-12-21 | 刘智矫 | Human body three-dimensional data acquisition room and charging method thereof |
| JP2023092849A (en) * | 2021-12-22 | 2023-07-04 | 凸版印刷株式会社 | Content management system, content management method, and program |
| JP7348943B2 (en) | 2021-12-22 | 2023-09-21 | 凸版印刷株式会社 | Content management system, content management method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022031304A (en) | 2022-02-18 |
| JP6944180B2 (en) | 2021-10-06 |
| JP2021192541A (en) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021192541A (en) | Video conversion system, video conversion method, and video conversion program | |
| US10121247B2 (en) | Method of tracking a mobile device and method of generating a geometrical model of a real environment using a camera of a mobile device | |
| US20180192033A1 (en) | Multi-view scene flow stitching | |
| US9460351B2 (en) | Image processing apparatus and method using smart glass | |
| US20090129667A1 (en) | Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
| KR20170031700A (en) | Preprocessor for full parallax light field compression | |
| US20130286017A1 (en) | Method for generating depth maps for converting moving 2d images to 3d | |
| KR102380862B1 (en) | Method and apparatus for image processing | |
| KR20170086077A (en) | Using depth information for drawing in augmented reality scenes | |
| KR20140082610A (en) | Method and apaaratus for augmented exhibition contents in portable terminal | |
| JPH11331874A (en) | Image processing unit, depth image measuring device, composite reality presenting system, image processing method, depth image measuring method, composite reality presenting method and storage medium for program | |
| KR102152432B1 (en) | A real contents producing system using the dynamic 3D model and the method thereof | |
| CN103081476A (en) | Method and device for converting three-dimensional image using depth map information | |
| US10791313B2 (en) | Method and apparatus for providing 6DoF omni-directional stereoscopic image based on layer projection | |
| WO2019082797A1 (en) | Reconfiguration method and reconfiguration device | |
| US20140198187A1 (en) | Camera with plenoptic lens | |
| EP3547672A1 (en) | Data processing method, device, and apparatus | |
| WO2019065536A1 (en) | Reconfiguration method and reconfiguration device | |
| JP2020524851A5 (en) | ||
| Gurdan et al. | Spatial and temporal interpolation of multi-view image sequences | |
| CN105611267B (en) | Merging of real world and virtual world images based on depth and chrominance information | |
| KR20200000106A (en) | Method and apparatus for reconstructing three dimensional model of object | |
| CN105872521A (en) | 2D video playing method and device | |
| KR101125061B1 (en) | A Method For Transforming 2D Video To 3D Video By Using LDI Method | |
| CN116485966A (en) | Video picture rendering method, device, equipment and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200323 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210903 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6944180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |