JP2014086012A - Terminal device, content creation device, content display system, and computer program - Google Patents

Terminal device, content creation device, content display system, and computer program Download PDF

Info

Publication number
JP2014086012A
JP2014086012A JP2012236767A JP2012236767A JP2014086012A JP 2014086012 A JP2014086012 A JP 2014086012A JP 2012236767 A JP2012236767 A JP 2012236767A JP 2012236767 A JP2012236767 A JP 2012236767A JP 2014086012 A JP2014086012 A JP 2014086012A
Authority
JP
Japan
Prior art keywords
data
terminal device
content
information processing
mesh model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012236767A
Other languages
Japanese (ja)
Inventor
Kenho Jo
建鋒 徐
Shinya Takayama
伸也 高山
Shigeyuki Sakasawa
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2012236767A priority Critical patent/JP2014086012A/en
Publication of JP2014086012A publication Critical patent/JP2014086012A/en
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To contribute to smooth display of moving image content according to a request in a terminal, when the moving image content is downloaded from a server to the terminal through a communication network to reproduce the content.SOLUTION: A terminal device 2 comprises: a display unit 23 for displaying moving image content by using content data having mesh model data or skeleton moving data having a definition-level hierarchy structure; a terminal capability estimation unit 21 for estimating information processing capability of the terminal device itself; and a display control unit 22 for, on the basis of the estimated information processing capability, determining a hierarchy of the mesh model data or the skeleton moving data used for display of the moving image content by the display unit 23.

Description

本発明は、コンピュータグラフィックスによる動画コンテンツの表示に係る端末装置、コンテンツ作成装置、コンテンツ表示システム、及びコンピュータプログラムに関する。   The present invention relates to a terminal device, a content creation device, a content display system, and a computer program related to display of moving image content by computer graphics.

近年、インターネット等の通信ネットワークを介して動画コンテンツをサーバから端末にダウンロードして再生することが、「スマートフォン」と呼ばれる携帯型情報端末装置やタブレットコンピュータ(tablet PC)などの普及とともに、広く行われるようになってきている。このような状況下においては、動画コンテンツのマルチデバイス対応が一層重要になってきている。マルチデバイス対応とは、異なる端末で同じユーザ体験(User experience)を実現できることである。例えば、動画投稿サイトでは動画データとして標準解像度(240pや360p)から高解像度(720pや1080p)まで複数の解像度を用意している。これにより、ユーザは自分の端末の性能と通信環境を考慮して最適な動画データを選択することができる。   In recent years, downloading and playing back video content from a server to a terminal via a communication network such as the Internet is widely performed along with the spread of portable information terminal devices called “smartphones” and tablet computers (tablet PCs). It has become like this. Under such circumstances, it is becoming more important to support multi-device video content. Multi-device support means that the same user experience can be realized on different terminals. For example, video posting sites provide multiple resolutions from standard resolution (240p or 360p) to high resolution (720p or 1080p) as video data. Thereby, the user can select the optimal moving image data in consideration of the performance of the terminal and the communication environment.

コンピュータグラフィックスによる動画コンテンツの表示に使用されるコンテンツデータとしては、例えば、メッシュモデルデータとスケルトン型の動きデータ(以下、スケルトン動きデータと称する)から構成されるものが知られている。メッシュモデルデータについては、例えば、特許文献1や非特許文献1に記載のスケーラビリティ化技術が知られている。このスケーラビリティ化技術により精細レベルが異なる複数のメッシュモデルデータを事前に作成しサーバに蓄積しておくことによって、端末から要求された精細レベルに対応するメッシュモデルデータを該端末へ提供することができる。スケルトン動きデータについては、例えば、特許文献2に記載のビート時刻検出技術が知られている。人のスケルトン動きデータは、人の骨格を基に、骨及び骨の連結点(ジョイント)を用い、一ジョイントを根(ルート)とし、ルートからジョイント経由で順次連結される骨の構造を木(ツリー)構造として定義される。   As content data used for displaying moving image content by computer graphics, for example, data composed of mesh model data and skeleton type motion data (hereinafter referred to as skeleton motion data) is known. As for the mesh model data, for example, the scalability technology described in Patent Document 1 and Non-Patent Document 1 is known. By creating a plurality of mesh model data with different fineness levels in advance using this scalability technology and storing them in the server, mesh model data corresponding to the fineness level requested from the terminal can be provided to the terminal. . For the skeleton motion data, for example, a beat time detection technique described in Patent Document 2 is known. Human skeleton movement data is based on the human skeleton, using bone and bone connection points (joints), with one joint as the root (root), and the bone structure sequentially connected from the root via the joint (tree) Tree) structure.

米国特許第5929860号明細書US Pat. No. 5,929,860 特開2010−157061号公報JP 2010-157061 A

Hugues Hoppe. 1996. Progressive meshes. In Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH '96). ACM, New York, NY, USA, 99-108.Hugues Hoppe. 1996. Progressive meshes. In Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH '96). ACM, New York, NY, USA, 99-108.

しかし、上述した従来の技術では、以下に示すような課題がある。
(1)精細レベルが異なる複数のメッシュモデルデータをサーバに蓄積しておくので、サーバの記憶容量が増大する。
(2)端末がある精細レベルのメッシュモデルデータをサーバからダウンロードして動画コンテンツの表示を行っている途中で動画コンテンツの解像度を変更すると、変更した解像度に対応する精細レベルのメッシュモデルデータをサーバから再ダウンロードする必要がある。このため、動画コンテンツの表示が一時停止したり、通信データ量が増大したりする。
(3)端末の性能に応じてサーバから最適な精細レベルのメッシュモデルデータを端末へ送信する場合には、端末からサーバへ端末の性能情報を送るなどの通信が発生することにより、初期化時間が長くなる。
However, the conventional techniques described above have the following problems.
(1) Since a plurality of mesh model data having different definition levels are stored in the server, the storage capacity of the server increases.
(2) If the resolution of the video content is changed while the terminal is downloading the fine mesh data of a certain level from the server and displaying the video content, the fine mesh model data corresponding to the changed resolution is stored in the server. Need to re-download from. For this reason, the display of the moving image content is temporarily stopped or the communication data amount is increased.
(3) When the mesh model data having the optimum fine level is transmitted from the server to the terminal according to the performance of the terminal, the initialization time is generated by communication such as transmission of the terminal performance information from the terminal to the server. Becomes longer.

本発明は、このような事情を考慮してなされたもので、通信ネットワークを介してサーバから動画コンテンツを端末にダウンロードして再生する際に、端末における要求に応じた動画コンテンツの表示を円滑に行うことに寄与できる端末装置、コンテンツ作成装置、コンテンツ表示システム、及びコンピュータプログラムを提供することを課題とする。   The present invention has been made in consideration of such circumstances, and when a moving image content is downloaded from a server to a terminal via a communication network and played back, the moving image content can be smoothly displayed according to the request in the terminal. It is an object to provide a terminal device, a content creation device, a content display system, and a computer program that can contribute to the performance.

上記の課題を解決するために、本発明に係る端末装置は、精細レベルの階層構造を有するメッシュモデルデータ又はスケルトン動きデータを有するコンテンツデータを用いて動画コンテンツの表示を行う表示部と、自端末装置の情報処理能力を推定する端末能力推定部と、前記推定された情報処理能力に基づいて、前記表示部による前記動画コンテンツの表示に使用する前記メッシュモデルデータ又は前記スケルトン動きデータの階層を判断する表示制御部と、を備えたことを特徴とする。   In order to solve the above problems, a terminal device according to the present invention includes a display unit that displays moving image content using content data having mesh model data or skeleton motion data having a hierarchical structure of fine levels, A terminal capability estimation unit that estimates the information processing capability of the device, and a hierarchy of the mesh model data or the skeleton motion data used for displaying the moving image content by the display unit based on the estimated information processing capability And a display control unit.

本発明に係る端末装置において、前記端末能力推定部は、自端末装置の情報処理能力の初期推定値を基に、自端末装置の情報処理能力の動的推定により自端末装置の情報処理能力の推定値を更新することを特徴とする。   In the terminal device according to the present invention, the terminal capability estimation unit determines the information processing capability of the terminal device based on the dynamic estimation of the information processing capability of the terminal device based on the initial estimated value of the information processing capability of the terminal device. The estimated value is updated.

本発明に係る端末装置において、前記端末能力推定部は、前記メッシュモデルデータと前記スケルトン動きデータとのパージング時間を測定し、該パージング時間に基づいて自端末装置の情報処理能力の初期推定値を判断することを特徴とする。   In the terminal device according to the present invention, the terminal capability estimation unit measures a parsing time between the mesh model data and the skeleton motion data, and determines an initial estimated value of information processing capability of the terminal device based on the parsing time. It is characterized by judging.

本発明に係る端末装置において、前記端末能力推定部は、自端末装置の情報処理能力の初期推定値として、事前に作成された自端末装置の情報処理能力表を有し、自端末装置における動画コンテンツの情報処理履歴を記録し、該情報処理履歴を利用して自端末装置の情報処理能力を学習した結果を前記情報処理能力表に登録する、ことを特徴とする。   In the terminal device according to the present invention, the terminal capability estimation unit has an information processing capability table of the own terminal device created in advance as an initial estimated value of the information processing capability of the own terminal device. The information processing history of the content is recorded, and the result of learning the information processing capability of the terminal device using the information processing history is registered in the information processing capability table.

本発明に係る端末装置において、前記端末能力推定部は、前記表示部による前記動画コンテンツの表示フレームレートを測定し、該表示フレームレートに基づいて自端末装置の情報処理能力の推定値を更新することを特徴とする。   In the terminal device according to the present invention, the terminal capability estimation unit measures a display frame rate of the moving image content by the display unit, and updates an estimated value of information processing capability of the terminal device based on the display frame rate. It is characterized by that.

本発明に係る端末装置において、前記表示制御部は、前記動画コンテンツの表示の内容に応じて、該表示に使用する前記メッシュモデルデータ又は前記スケルトン動きデータの階層を判断することを特徴とする。   In the terminal device according to the present invention, the display control unit determines a hierarchy of the mesh model data or the skeleton motion data used for the display according to the display content of the moving image content.

本発明に係るコンテンツ作成装置は、コンテンツデータを構成するメッシュモデルデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するメッシュモデルデータを作成するメッシュモデルデータ作成部と、コンテンツデータを構成するスケルトン動きデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するスケルトン動きデータを作成する動きデータ作成部と、前記精細レベルの階層構造を有するメッシュモデルデータと前記精細レベルの階層構造を有するスケルトン動きデータとを有するコンテンツデータを端末装置へ送信する通信部と、を備えたことを特徴とする。   A content creation apparatus according to the present invention comprises a mesh model data creation unit that performs scalability processing on mesh model data constituting content data, creates mesh model data having a fine level hierarchical structure, and content data A motion data creation unit that performs scalability processing on the skeleton motion data to be generated and creates skeleton motion data having a fine level hierarchical structure; mesh model data having the fine level hierarchical structure; and the fine level hierarchical structure And a communication unit that transmits content data including skeleton motion data including the data to the terminal device.

本発明に係るコンテンツ作成装置において、前記動きデータ作成部は、スケルトン動きデータを構成するビートフレームをベースレイヤとし、隣接するビートフレーム間の中間フレームをベースレイヤの一つ上のレイヤとし、レイヤ間で隣接するフレーム間の中間フレームを順次、上のレイヤとし、前記精細レベルの階層構造を有するスケルトン動きデータとして、ベースレイヤのデータとレイヤ間の差分データを作成することを特徴とする。   In the content creation device according to the present invention, the motion data creation unit uses a beat frame constituting the skeleton motion data as a base layer, an intermediate frame between adjacent beat frames as a layer above the base layer, and In this case, an intermediate frame between adjacent frames is sequentially set as an upper layer, and base layer data and difference data between layers are created as skeleton motion data having the fine-level hierarchical structure.

本発明に係るコンテンツ表示システムは、前述のいずれかの端末装置と、前述のいずれかのコンテンツ作成装置と、を備え、前記端末装置は前記コンテンツ作成装置からコンテンツデータを受信して動画コンテンツの表示を行う、ことを特徴とする。   A content display system according to the present invention includes any one of the above-described terminal devices and any one of the above-described content creation devices. The terminal device receives content data from the content creation device and displays moving image content. It is characterized by performing.

本発明に係るコンピュータプログラムは、精細レベルの階層構造を有するメッシュモデルデータ又はスケルトン動きデータを有するコンテンツデータを用いて動画コンテンツの表示を行う表示ステップと、自端末装置の情報処理能力を推定する端末能力推定ステップと、前記推定された情報処理能力に基づいて、前記表示部による前記動画コンテンツの表示に使用する前記メッシュモデルデータ又は前記スケルトン動きデータの階層を判断する表示制御ステップと、をコンピュータに実行させるためのコンピュータプログラムであることを特徴とする。   A computer program according to the present invention includes a display step of displaying moving image content using content data having mesh model data or skeleton motion data having a hierarchical structure at a fine level, and a terminal for estimating information processing capability of the terminal device And a display control step for determining a hierarchy of the mesh model data or the skeleton motion data used for display of the moving image content by the display unit based on the estimated information processing capability. A computer program for execution.

本発明に係るコンピュータプログラムは、コンテンツデータを構成するメッシュモデルデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するメッシュモデルデータを作成するメッシュモデルデータ作成ステップと、コンテンツデータを構成するスケルトン動きデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するスケルトン動きデータを作成する動きデータ作成ステップと、前記精細レベルの階層構造を有するメッシュモデルデータと前記精細レベルの階層構造を有するスケルトン動きデータとを有するコンテンツデータを端末装置へ送信する通信ステップと、をコンピュータに実行させるためのコンピュータプログラムであることを特徴とする。   A computer program according to the present invention forms a mesh model data creating step for creating a mesh model data having a fine-level hierarchical structure by performing scalability processing on mesh model data constituting the content data, and constructs the content data. Scalability processing is performed on the skeleton motion data to create a skeleton motion data having a fine level hierarchical structure, a mesh model data having the fine level hierarchical structure, and a fine level hierarchical structure. It is a computer program for causing a computer to execute a communication step of transmitting content data having skeleton motion data to a terminal device.

本発明によれば、通信ネットワークを介してサーバから動画コンテンツを端末にダウンロードして再生する際に、端末における要求に応じた動画コンテンツの表示を円滑に行うことに寄与できる。   ADVANTAGE OF THE INVENTION According to this invention, when downloading and reproducing | regenerating a moving image content from a server to a terminal via a communication network, it can contribute to performing smoothly the display of the moving image content according to the request | requirement in a terminal.

本発明の一実施形態に係るコンテンツ表示システムの構成例を示す概要図である。It is a schematic diagram which shows the structural example of the content display system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る、精細レベルの階層構造を有するメッシュモデルデータを説明するための概念図である。It is a conceptual diagram for demonstrating the mesh model data which has the hierarchical structure of a fine level based on one Embodiment of this invention. ベースレイヤのメッシュモデルMを説明するための概念図である。It is a conceptual diagram illustrating a mesh model M 0 of the base layer. データvsplを説明するための概念図である。It is a conceptual diagram for demonstrating data vspl i . 本発明の一実施形態に係る、精細レベルの階層構造を有するスケルトン動きデータを説明するための概念図である。It is a conceptual diagram for demonstrating the skeleton motion data which has a hierarchical structure of a fine level based on one Embodiment of this invention. 本発明の一実施形態に係る初期推定処理のフローチャートである。It is a flowchart of the initial stage estimation process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動的推定処理のフローチャートである。It is a flowchart of the dynamic estimation process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る、端末装置の情報処理能力の推定結果と、動画コンテンツの表示に使用するメッシュモデルデータおよびスケルトン動きデータの階層との対応関係の例である。It is an example of the correspondence of the estimation result of the information processing capability of the terminal device and the hierarchy of mesh model data and skeleton motion data used for displaying moving image content according to an embodiment of the present invention.

以下、図面を参照し、本発明の実施形態について説明する。
図1は、本発明の一実施形態に係るコンテンツ表示システムの構成例を示す概要図である。図1において、コンテンツ作成装置1は、通信ネットワーク3を介して、コンテンツデータを端末装置2へ送信する。端末装置2は、通信ネットワーク3を介して、コンテンツ作成装置1からコンテンツデータを受信し、受信したコンテンツデータを用いて動画コンテンツの表示を行う。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic diagram showing a configuration example of a content display system according to an embodiment of the present invention. In FIG. 1, the content creation device 1 transmits content data to the terminal device 2 via the communication network 3. The terminal device 2 receives content data from the content creation device 1 via the communication network 3 and displays moving image content using the received content data.

はじめに図1に示すコンテンツ作成装置1について説明する。図1において、コンテンツ作成装置1は、メッシュモデルデータ作成部11と動きデータ作成部12と記憶部13と通信部14を備える。メッシュモデルデータ作成部11はメッシュモデルデータ作成処理を行う。動きデータ作成部12は動きデータ作成処理を行う。記憶部13はデータを記憶する。通信部14は通信ネットワーク3を介して端末装置2とデータを送受する。各部11、12、13、14はデータを送受できるように接続されている。   First, the content creation device 1 shown in FIG. 1 will be described. In FIG. 1, the content creation device 1 includes a mesh model data creation unit 11, a motion data creation unit 12, a storage unit 13, and a communication unit 14. The mesh model data creation unit 11 performs mesh model data creation processing. The motion data creation unit 12 performs motion data creation processing. The storage unit 13 stores data. The communication unit 14 transmits / receives data to / from the terminal device 2 via the communication network 3. Each part 11, 12, 13, 14 is connected so that data can be transmitted and received.

メッシュモデルデータ作成部11は、コンテンツデータを構成するメッシュモデルデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するメッシュモデルデータを作成する。以下、メッシュモデルデータに対するスケーラビリティ化処理を説明する。   The mesh model data creation unit 11 performs scalability processing on mesh model data constituting the content data, and creates mesh model data having a fine level hierarchical structure. Hereinafter, the scalability process for mesh model data will be described.

図2は、本実施形態に係る、精細レベルの階層構造を有するメッシュモデルデータを説明するための概念図である。図2において、メッシュモデルMはベースレイヤである。メッシュモデルMはベースレイヤから精細レベルが一段階上がったアップレイヤ1である。メッシュモデルMnはベースレイヤから精細レベルがn段階上がったアップレイヤnである。図2の例では、メッシュモデルMは、ポリゴン数が150である。精細レベルが一段階上がる(nが1増加する)ごとに、頂点が一つ増えてポリゴン数が2増加する。 FIG. 2 is a conceptual diagram for explaining mesh model data having a fine level hierarchical structure according to the present embodiment. 2, the mesh model M 0 is the base layer. Mesh model M 1 is up Layer 1-definition level is raised one step from the base layer. The mesh model M n is an up-layer n whose fineness level has increased n levels from the base layer. In the example of FIG. 2, the mesh model M 0 has 150 polygons. Each time the fineness level increases by one (n increases by 1), the number of vertices increases by one and the number of polygons increases by two.

メッシュモデルデータ作成部11は、スケーラビリティ化処理によって、メッシュモデルMからメッシュモデルデータ「M,vspl,vspl,・・・,vspl,・・・,vspln−1」を作成する。vsplは、メッシュモデルMi−1からメッシュモデルMを作成するためのデータである。したがって、メッシュモデルMi−1とデータvsplが有れば、メッシュモデルMを作成することができる。 The mesh model data creation unit 11 creates mesh model data “M 0 , vspl 0 , vspl 1 ,..., Vspl i ,..., Vspl n−1 ” from the mesh model M 0 by scalability processing. . vspl i is data for creating the mesh model M i from the mesh model M i−1 . Therefore, if the mesh model M i-1 and the data vspl i exist, the mesh model M i can be created.

図3は、ベースレイヤのメッシュモデルMを説明するための概念図である。メッシュモデルMは、頂点(Vertex1,2,・・・)及び各ポリゴン(Face1,2,・・・)の情報を有する。図4は、データvsplを説明するための概念図である。データvsplは、メッシュモデルMi−1_100の頂点(図4の例では頂点V,V,V)、及び、メッシュモデルM_110の頂点においてメッシュモデルMi−1_100から変更された頂点(図4の例では頂点V’,V’)の情報を有する。 Figure 3 is a conceptual diagram illustrating the mesh model M 0 of the base layer. The mesh model M 0 has information on the vertex (Vertex 1, 2,...) And each polygon (Face 1, 2,...). FIG. 4 is a conceptual diagram for explaining the data vspl i . Data V spl i is a vertex of the mesh model M i-1 _100 (vertex V s in the example of FIG. 4, V l, V r) , and, changing the mesh model M i-1 _100 at the apex of the mesh model M i _110 Information of the vertexes (vertices V s ′, V t ′ in the example of FIG. 4).

説明を図1に戻す。動きデータ作成部12は、コンテンツデータを構成するスケルトン動きデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するスケルトン動きデータを作成する。以下、スケルトン動きデータに対するスケーラビリティ化処理を説明する。   Returning to FIG. The motion data creation unit 12 performs scalability processing on the skeleton motion data constituting the content data, and creates skeleton motion data having a fine level hierarchical structure. Hereinafter, the scalability process for the skeleton motion data will be described.

図5は、本実施形態に係る、精細レベルの階層構造を有するスケルトン動きデータを説明するための概念図である。図5において、ベースレイヤMBは、スケルトン動きデータのビート時刻のビートフレームから構成される。ベースレイヤMBの一つ上のアップレイヤMU1は、隣接するビートフレーム間の中間フレームから構成される。例えば、隣接するビートフレーム201,202間の中間フレーム203は、アップレイヤMU1に属する。レイヤ間で隣接するフレーム間の中間フレームは、順次、上のレイヤを構成する。例えば、ベースレイヤMBとアップレイヤMU1間で隣接するビートフレーム201とフレーム203の中間フレーム204は、アップレイヤMU1の一つ上のアップレイヤMU2を構成する。同様に、アップレイヤMU1とベースレイヤMB間で隣接するフレーム203とビートフレーム202の中間フレーム205は、アップレイヤMU1の一つ上のアップレイヤMU2を構成する。   FIG. 5 is a conceptual diagram for explaining skeleton motion data having a fine-level hierarchical structure according to the present embodiment. In FIG. 5, the base layer MB is composed of beat frames at the beat time of the skeleton motion data. The upper layer MU1 above the base layer MB is composed of intermediate frames between adjacent beat frames. For example, an intermediate frame 203 between adjacent beat frames 201 and 202 belongs to the upper layer MU1. Intermediate frames between adjacent frames between layers sequentially constitute an upper layer. For example, the intermediate frame 204 between the beat frame 201 and the frame 203 adjacent between the base layer MB and the up layer MU1 constitutes the up layer MU2 that is one above the up layer MU1. Similarly, the frame 203 adjacent to the up layer MU1 and the base layer MB and the intermediate frame 205 of the beat frame 202 constitute an up layer MU2 that is one above the up layer MU1.

動きデータ作成部12は、スケーラビリティ化処理によって、ベースレイヤのデータとレイヤ間の差分データを作成する。ベースレイヤのデータは、全ビートフレームのデータである。ベースレイヤのデータは{IB,PB}となる。但し、IBはビートフレームの識別子(ID)であり、「IB={Ts,Ts+K,Ts+2K,・・・,Ts+iK,・・・,Ts+mK}」である。Tsは第1のビート時刻である、Kはビート間の間隔である。PBは、ビートフレームの全ての関節の角度データと体の位置データである。   The motion data creation unit 12 creates base layer data and difference data between layers through scalability processing. The base layer data is data of all beat frames. The base layer data is {IB, PB}. However, IB is an identifier (ID) of a beat frame and is “IB = {Ts, Ts + K, Ts + 2K,..., Ts + iK,..., Ts + mK}”. Ts is the first beat time, and K is the interval between beats. PB is angle data and body position data of all joints of the beat frame.

レイヤ間の差分データ「MU={IU,PU}」は次式で算出される。 Difference data between layers “MU l = {IU l , PU l }” is calculated by the following equation.

アップレイヤMU1のフレームは、ベースレイヤのデータ{IB,PB}と差分データMUとから作成できる。同様に、アップレイヤMU2のフレームは、ベースレイヤのデータ{IB,PB}と差分データMUと差分データMUとから作成できる。 Frame-up layer MU1 can create the base layer data {IB, PB} from the difference data MU 1 Tokyo. Similarly, it frames up layer MU2 can create the base layer data {IB, PB} from difference data MU 1 and the difference data MU 2 Prefecture.

説明を図1に戻す。記憶部13は、メッシュモデルデータ作成部11が作成した「精細レベルの階層構造を有するメッシュモデルデータ」と、動きデータ作成部12が作成した「精細レベルの階層構造を有するスケルトン動きデータ」とから構成されるコンテンツデータを記憶する。通信部14は、端末装置2に対して、記憶部13内のコンテンツデータを送信する。   Returning to FIG. The storage unit 13 includes the “mesh model data having a fine level hierarchical structure” created by the mesh model data creating unit 11 and the “skeleton motion data having a fine level hierarchical structure” created by the motion data creating unit 12. The configured content data is stored. The communication unit 14 transmits the content data in the storage unit 13 to the terminal device 2.

次に、図1に示す端末装置2について説明する。図1において、端末装置2は、端末能力推定部21と表示制御部22と表示部23と記憶部24と通信部25と操作部26を備える。端末能力推定部21は端末能力推定処理を行う。端末能力推定処理には、初期状態での推定処理と動的状態での推定処理がある。表示制御部22は表示制御処理を行う。表示部23は表示画面上に動画コンテンツを表示する。記憶部24はデータを記憶する。通信部25は通信ネットワーク3を介してコンテンツ作成装置1とデータを送受する。各部21、22、23、24、25、26はデータを送受できるように接続されている。   Next, the terminal device 2 shown in FIG. 1 will be described. In FIG. 1, the terminal device 2 includes a terminal capability estimation unit 21, a display control unit 22, a display unit 23, a storage unit 24, a communication unit 25, and an operation unit 26. The terminal capability estimation unit 21 performs terminal capability estimation processing. The terminal capability estimation process includes an estimation process in an initial state and an estimation process in a dynamic state. The display control unit 22 performs display control processing. The display unit 23 displays moving image content on the display screen. The storage unit 24 stores data. The communication unit 25 transmits / receives data to / from the content creation device 1 via the communication network 3. Each part 21, 22, 23, 24, 25, 26 is connected so that data can be transmitted and received.

通信部25は、コンテンツ作成装置1から受信したコンテンツデータを記憶部24に格納する。このコンテンツデータは、精細レベルの階層構造を有するメッシュモデルデータと、精細レベルの階層構造を有するスケルトン動きデータとから構成される。   The communication unit 25 stores content data received from the content creation device 1 in the storage unit 24. This content data is composed of mesh model data having a fine level hierarchical structure and skeleton motion data having a fine level hierarchical structure.

端末能力推定部21は、自端末装置2の情報処理能力を推定する。この情報処理能力の推定には、初期推定と動的推定がある。図6は、本実施形態に係る初期推定処理のフローチャートである。図6を参照して、端末能力推定部21の初期推定処理に係る動作を説明する。この図6の初期推定処理は、端末装置2が動画コンテンツの表示を行っていない時に実行される。   The terminal capability estimation unit 21 estimates the information processing capability of the terminal device 2 itself. The information processing capability is estimated by initial estimation and dynamic estimation. FIG. 6 is a flowchart of the initial estimation process according to the present embodiment. With reference to FIG. 6, the operation | movement which concerns on the initial stage estimation process of the terminal capability estimation part 21 is demonstrated. The initial estimation process of FIG. 6 is executed when the terminal device 2 is not displaying moving image content.

(ステップS11)
端末能力推定部21は、記憶部24内のコンテンツデータを用いて、メッシュモデルデータとスケルトン動きデータとのパージング時間を測定する。パージング時間は、メッシュモデルデータとスケルトン動きデータを対応付ける処理に要する時間である。該パージング時間は主にCPU能力と相関している。パージング時間の測定方法としては、例えば、メッシュモデルデータ中のメッシュモデルMとスケルトン動きデータ中の第1ビートフレームを対応付ける処理を行い、この処理に要する時間を測定する。その対応付けの内容は、メッシュモデルMの頂点、ポリゴンおよびテクスチャの入力と、第1ビートフレームの骨の入力と、その骨とポリゴンの対応付けである。
(Step S11)
The terminal capability estimation unit 21 uses the content data in the storage unit 24 to measure the parsing time between the mesh model data and the skeleton motion data. The parsing time is a time required for the process of associating the mesh model data with the skeleton motion data. The purging time is mainly correlated with the CPU capacity. As a method for measuring the purging time, for example, a process of associating the mesh model M 0 in the mesh model data with the first beat frame in the skeleton motion data is performed, and the time required for this process is measured. The contents of the correspondence is vertices of the mesh model M 0, and the input of the polygon and texture, and the input of the bone of the first beat frame, a correspondence of the bones and polygons.

なお、上記パージング時間は、骨の動き(角度)応じてポリゴンを移動させる演算と、ポリゴンとテクスチャの表示時間とが比例することを想定している。   The purging time is assumed to be proportional to the calculation time for moving the polygon according to the bone movement (angle) and the display time of the polygon and the texture.

(ステップS12)
端末能力推定部21は、ステップS11で測定したパージング時間を所定の閾値と比較する。閾値はTH1とTH2の2つある(TH1<TH2)。なお、閾値TH1,TH2の値は、ポリゴン数に応じて変更する。これは、ポリゴン数が多いほど、パージング時間が長くなるからである。
(Step S12)
The terminal capability estimation unit 21 compares the purging time measured in step S11 with a predetermined threshold value. There are two threshold values TH1 and TH2 (TH1 <TH2). Note that the values of the thresholds TH1 and TH2 are changed according to the number of polygons. This is because the greater the number of polygons, the longer the purging time.

(ステップS13)
端末能力推定部21は、ステップS12の比較結果に基づいて、自端末装置2の情報処理能力を判断する。パージング時間がTH1以下の場合は、情報処理能力が高いと判断する。パージング時間がTH1以上かつTH2未満の場合は、情報処理能力が中であると判断する。パージング時間がTH2以上の場合は、情報処理能力が低いと判断する。端末能力推定部21は、自端末装置2の情報処理能力の推定結果「高または中または低」を記憶部24に格納する。
(Step S13)
The terminal capability estimation unit 21 determines the information processing capability of the terminal device 2 based on the comparison result of step S12. If the purging time is less than TH1, it is determined that the information processing capability is high. If the purging time is greater than or equal to TH1 and less than TH2, it is determined that the information processing capability is medium. If the purging time is greater than or equal to TH2, it is determined that the information processing capability is low. The terminal capability estimation unit 21 stores the information processing capability estimation result “high, medium, or low” of the terminal device 2 in the storage unit 24.

図7は、本実施形態に係る動的推定処理のフローチャートである。図7を参照して、端末能力推定部21の動的推定処理に係る動作を説明する。この図7の動的推定処理は、端末装置2が動画コンテンツの表示を行っている時に実行される。   FIG. 7 is a flowchart of the dynamic estimation process according to the present embodiment. With reference to FIG. 7, the operation | movement which concerns on the dynamic estimation process of the terminal capability estimation part 21 is demonstrated. The dynamic estimation process of FIG. 7 is executed when the terminal device 2 is displaying moving image content.

(ステップS21)
端末能力推定部21は、表示部23が表示画面上に表示している表示フレーム数を測定する。
(Step S21)
The terminal capability estimation unit 21 measures the number of display frames that the display unit 23 displays on the display screen.

(ステップS22)
端末能力推定部21は、動的推定タイミングであるかを判断する。動的推定タイミングは所定の周期で発生する。この所定の周期は、例えば、動画コンテンツの1フレーム間隔である。
(Step S22)
The terminal capability estimation unit 21 determines whether it is dynamic estimation timing. The dynamic estimation timing occurs at a predetermined cycle. This predetermined period is, for example, one frame interval of the moving image content.

(ステップS23)
端末能力推定部21は、動的推定タイミングになると、測定した表示フレーム数を用いて平均フレームレートを算出する。平均フレームレートは、一定期間の表示フレーム数を用いて算出してもよく、又は、表示開示時刻からの表示フレーム数の総数を用いて算出してもよい。
(Step S23)
The terminal capability estimation unit 21 calculates the average frame rate using the measured number of display frames at the dynamic estimation timing. The average frame rate may be calculated using the number of display frames in a certain period, or may be calculated using the total number of display frames from the display disclosure time.

(ステップS24)
端末能力推定部21は、ステップS23で算出した平均フレームレートを所定の閾値FTHと比較する。
(Step S24)
The terminal capability estimation unit 21 compares the average frame rate calculated in step S23 with a predetermined threshold FTH.

(ステップS25)
端末能力推定部21は、ステップS24の比較結果に基づいて、記憶部24に格納されている自端末装置2の情報処理能力を更新する。平均フレームレートがFTH未満の場合は、情報処理能力を一段階低くする。平均フレームレートがFTH超過の場合は、情報処理能力を一段階高くする。平均フレームレートがFTHと同じである場合は、情報処理能力を変えない。
(Step S25)
The terminal capability estimation unit 21 updates the information processing capability of the terminal device 2 stored in the storage unit 24 based on the comparison result in step S24. If the average frame rate is less than FTH, the information processing capability is lowered by one step. If the average frame rate exceeds FTH, the information processing capability is increased by one step. When the average frame rate is the same as FTH, the information processing capability is not changed.

説明を図1に戻す。表示制御部22は、端末能力推定部21によって推定された情報処理能力に基づいて、表示部23による動画コンテンツの表示に使用するメッシュモデルデータ又はスケルトン動きデータの階層を判断する。端末能力推定部21によって推定された情報処理能力は、記憶部24に格納されている。表示制御部22は、記憶部24に格納されている情報処理能力に基づいて、表示部23に対し、メッシュモデルデータのどの階層を用い、スケルトン動きデータのどの階層を用いるのかを指示する。   Returning to FIG. Based on the information processing capability estimated by the terminal capability estimation unit 21, the display control unit 22 determines the hierarchy of mesh model data or skeleton motion data used for displaying moving image content by the display unit 23. The information processing capability estimated by the terminal capability estimation unit 21 is stored in the storage unit 24. The display control unit 22 instructs the display unit 23 which layer of the mesh model data is used and which layer of the skeleton motion data is used based on the information processing capability stored in the storage unit 24.

表示部23が動画コンテンツの表示を行っている時には、記憶部24に格納されている情報処理能力は、端末能力推定部21の動的推定処理によって更新される。このため、表示制御部22は、定期的、又は、記憶部24に格納されている情報処理能力が更新された時に、記憶部24に格納されている情報処理能力に基づいて、表示部23に対し、メッシュモデルデータのどの階層を用い、スケルトン動きデータのどの階層を用いるのかを指示する。   When the display unit 23 is displaying moving image content, the information processing capability stored in the storage unit 24 is updated by the dynamic estimation process of the terminal capability estimation unit 21. For this reason, the display control unit 22 changes the display unit 23 based on the information processing capability stored in the storage unit 24 periodically or when the information processing capability stored in the storage unit 24 is updated. On the other hand, it indicates which layer of the mesh model data is used and which layer of the skeleton motion data is used.

図8は、端末装置の情報処理能力の推定結果と、動画コンテンツの表示に使用するメッシュモデルデータおよびスケルトン動きデータの階層との対応関係の例である。この例では、ユーザ要求による動画コンテンツの表示の内容に応じて、該表示に使用するメッシュモデルデータおよびスケルトン動きデータの階層の対応関係も示している。   FIG. 8 is an example of a correspondence relationship between the estimation result of the information processing capability of the terminal device and the hierarchy of mesh model data and skeleton motion data used for displaying moving image content. In this example, the correspondence relationship between the mesh model data and the skeleton motion data used for the display is also shown in accordance with the display content of the moving image content according to the user request.

図8において、端末装置2の情報処理能力の推定結果が高である場合には、メッシュモデルデータおよびスケルトン動きデータの両方とも全階層を使用する。この場合には、ユーザ要求による動画コンテンツの表示の内容は関係ない。   In FIG. 8, when the estimation result of the information processing capability of the terminal device 2 is high, both the mesh model data and the skeleton motion data use the entire hierarchy. In this case, the display content of the moving image content according to the user request is not relevant.

端末装置2の情報処理能力の推定結果が中である場合には、ユーザ要求による動画コンテンツの表示の内容に応じて、使用する階層を変える。ユーザ要求による動画コンテンツの表示の内容が動画コンテンツの全部表示である場合は、メッシュモデルデータおよびスケルトン動きデータの両方とも、ベースレイヤとベースレイヤの一つ上のアップレイヤのみを使用する。これは、端末装置2の情報処理能力の推定結果があまり高くないので、動画コンテンツの表示に使用するデータ量を少なくして精細レベルを落とす代わりに、動画コンテンツの表示の円滑さは維持する。一方、ユーザ要求による動画コンテンツの表示の内容が動画コンテンツの一部表示である場合は、メッシュモデルデータおよびスケルトン動きデータの両方とも全階層を使用する。これは、端末装置2の情報処理能力の推定結果があまり高くないが、動画コンテンツの一部表示であるので、全階層を使用してもデータ量は少なくなることから、一部表示による拡大表示に適するように精細レベルを維持する。   When the estimation result of the information processing capability of the terminal device 2 is medium, the layer to be used is changed according to the display content of the moving image content according to the user request. When the display content of the moving image content according to the user request is the entire display of the moving image content, both the mesh model data and the skeleton motion data use only the base layer and the upper layer one above the base layer. This is because the estimation result of the information processing capability of the terminal device 2 is not so high, so that the smoothness of the display of the moving image content is maintained instead of reducing the definition level by reducing the amount of data used for displaying the moving image content. On the other hand, when the content of the moving image content displayed by the user request is a partial display of the moving image content, both the mesh model data and the skeleton motion data use the entire hierarchy. This is because the estimation result of the information processing capability of the terminal device 2 is not so high, but since it is a partial display of moving image content, the amount of data is reduced even if the entire hierarchy is used. Maintain a fine level to suit.

端末装置2の情報処理能力の推定結果が低である場合には、ユーザ要求による動画コンテンツの表示の内容に応じて、使用する階層を変える。ユーザ要求による動画コンテンツの表示の内容が動画コンテンツの全部表示である場合は、メッシュモデルデータおよびスケルトン動きデータの両方とも、ベースレイヤのみを使用する。これは、端末装置2の情報処理能力の推定結果が低いので、動画コンテンツの表示に使用するデータ量をできるだけ少なくして、動画コンテンツの表示の円滑さを維持する。ユーザ要求による動画コンテンツの表示の内容が動画コンテンツの一部表示である場合は、メッシュモデルデータおよびスケルトン動きデータの両方とも、ベースレイヤとベースレイヤの一つ上のアップレイヤのみを使用する。これは、端末装置2の情報処理能力の推定結果が低いので、動画コンテンツの表示に使用するデータ量をできるだけ少なくしたいが、一部表示による拡大表示に適するようにある程度精細レベルを維持するためである。   When the estimation result of the information processing capability of the terminal device 2 is low, the layer to be used is changed according to the content of the moving image content displayed by the user request. When the display content of the moving image content according to the user request is the entire display of the moving image content, only the base layer is used for both the mesh model data and the skeleton motion data. Since the estimation result of the information processing capability of the terminal device 2 is low, the amount of data used for displaying the moving image content is reduced as much as possible to maintain smooth display of the moving image content. When the display content of the moving image content according to the user request is a partial display of the moving image content, both the mesh model data and the skeleton motion data use only the base layer and the upper layer that is one above the base layer. This is because the estimation result of the information processing capability of the terminal device 2 is low, so it is desirable to reduce the amount of data used for displaying moving image content as much as possible, but to maintain a fine level to some extent so as to be suitable for enlarged display by partial display. is there.

説明を図1に戻す。表示部23は、表示制御部22から指示されたメッシュモデルデータの階層およびスケルトン動きデータの階層を用いて、表示画面上に動画コンテンツを表示させる。なお、動画コンテンツは、例えば、所定のキャラクターアニメーションである。   Returning to FIG. The display unit 23 displays the moving image content on the display screen using the mesh model data layer and the skeleton motion data layer specified by the display control unit 22. Note that the moving image content is, for example, a predetermined character animation.

上述した実施形態によれば、端末装置2における要求(性能的要求、又はユーザ要求による表示内容)に応じた動画コンテンツの表示を円滑に行うことに寄与できる。また、端末装置2の情報処理能力の動的推定結果に基づいて動画コンテンツ表示に使用する階層を決めることにより、端末装置2における処理のオーバーヘッドによる情報処理能力の低下時にも、該情報処理能力に応じた階層を使用して動画コンテンツの表示を円滑に行うことができる。端末装置2における処理のオーバーヘッドとしては、例えば、端末装置2におけるマルチタスク処理や、ユーザによる動画コンテンツ表示の拡大または縮小の操作によるものが挙げられる。   According to the above-described embodiment, it is possible to contribute to smooth display of moving image content according to a request (performance request or display content by a user request) in the terminal device 2. Further, by determining the hierarchy to be used for moving image content display based on the dynamic estimation result of the information processing capability of the terminal device 2, the information processing capability can be reduced even when the information processing capability is reduced due to processing overhead in the terminal device 2. The moving image content can be smoothly displayed using the corresponding hierarchy. Examples of the processing overhead in the terminal device 2 include multitask processing in the terminal device 2 and an operation of enlargement or reduction of the moving image content display by the user.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。   As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.

例えば、上述した実施形態では、端末装置の情報処理能力の初期推定にパージング時間を利用したが、これに限定されない。例えば、初期推定値として事前に端末装置の情報処理能力表を作成して記憶部に保持しておいてもよい。該情報処理能力表としては、例えば、端末装置のメーカー別または種類別に情報処理能力表を作成する。また、端末装置における動画コンテンツの表示履歴などの情報処理履歴を記録しておき、該履歴を利用して端末装置の情報処理能力を学習した結果を事前に端末装置の情報処理能力表に登録してもよい。   For example, in the above-described embodiment, the purging time is used for the initial estimation of the information processing capability of the terminal device, but the present invention is not limited to this. For example, an information processing capability table of the terminal device may be created in advance as the initial estimated value and stored in the storage unit. As the information processing capability table, for example, an information processing capability table is created for each manufacturer or type of terminal device. In addition, the information processing history such as the display history of the moving image content in the terminal device is recorded, and the result of learning the information processing capability of the terminal device using the history is registered in the information processing capability table of the terminal device in advance. May be.

また、上述した実施形態では、表示部は、精細レベルの階層構造を有するメッシュモデルデータおよびスケルトン動きデータを用いて動画コンテンツの表示を行ったが、これに限定されない。例えば、表示部は、精細レベルの階層構造を有するメッシュモデルデータ又はスケルトン動きデータを用いて、動画コンテンツの表示を行うものであってもよい。これにより、本発明は、例えば、メッシュモデルデータだけに対応可能な端末装置に対しても適用できる。   In the above-described embodiment, the display unit displays moving image content using mesh model data and skeleton motion data having a fine-level hierarchical structure. However, the present invention is not limited to this. For example, the display unit may display moving image content using mesh model data or skeleton motion data having a hierarchical structure of a fine level. Thereby, this invention is applicable also to the terminal device which can respond | correspond only to mesh model data, for example.

また、上述した端末装置2またはコンテンツ作成装置1を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。   Further, a program for realizing the terminal device 2 or the content creation device 1 described above is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Also good. Here, the “computer system” may include an OS and hardware such as peripheral devices.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   “Computer-readable recording medium” refers to a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a DVD (Digital Versatile Disk), and a built-in computer system. A storage device such as a hard disk.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

1…コンテンツ作成装置、2…端末装置、11…メッシュモデルデータ作成部、12…動きデータ作成部、13,24…記憶部、14,25…通信部、21…端末能力推定部、22…表示制御部、23…表示部、26…操作部 DESCRIPTION OF SYMBOLS 1 ... Content creation apparatus, 2 ... Terminal device, 11 ... Mesh model data creation part, 12 ... Motion data creation part, 13, 24 ... Storage part, 14, 25 ... Communication part, 21 ... Terminal capability estimation part, 22 ... Display Control unit, 23 ... display unit, 26 ... operation unit

Claims (11)

精細レベルの階層構造を有するメッシュモデルデータ又はスケルトン動きデータを有するコンテンツデータを用いて動画コンテンツの表示を行う表示部と、
自端末装置の情報処理能力を推定する端末能力推定部と、
前記推定された情報処理能力に基づいて、前記表示部による前記動画コンテンツの表示に使用する前記メッシュモデルデータ又は前記スケルトン動きデータの階層を判断する表示制御部と、
を備えたことを特徴とする端末装置。
A display unit for displaying moving image content using mesh model data having a hierarchical structure of fine levels or content data having skeleton motion data;
A terminal capability estimation unit that estimates the information processing capability of the terminal device;
A display control unit for determining a hierarchy of the mesh model data or the skeleton motion data used for displaying the moving image content by the display unit based on the estimated information processing capability;
A terminal device comprising:
前記端末能力推定部は、自端末装置の情報処理能力の初期推定値を基に、自端末装置の情報処理能力の動的推定により自端末装置の情報処理能力の推定値を更新することを特徴とする請求項1に記載の端末装置。   The terminal capability estimation unit updates the estimated value of the information processing capability of the terminal device by dynamic estimation of the information processing capability of the terminal device based on the initial estimated value of the information processing capability of the terminal device. The terminal device according to claim 1. 前記端末能力推定部は、前記メッシュモデルデータと前記スケルトン動きデータとのパージング時間を測定し、該パージング時間に基づいて自端末装置の情報処理能力の初期推定値を判断することを特徴とする請求項1または2に記載の端末装置。   The terminal capability estimation unit measures a parsing time between the mesh model data and the skeleton motion data, and determines an initial estimated value of information processing capability of the terminal device based on the parsing time. Item 3. The terminal device according to Item 1 or 2. 前記端末能力推定部は、
自端末装置の情報処理能力の初期推定値として、事前に作成された自端末装置の情報処理能力表を有し、
自端末装置における動画コンテンツの情報処理履歴を記録し、該情報処理履歴を利用して自端末装置の情報処理能力を学習した結果を前記情報処理能力表に登録する、
ことを特徴とする請求項1または2に記載の端末装置。
The terminal capability estimation unit
As an initial estimate of the information processing capability of the own terminal device, it has an information processing capability table of the own terminal device created in advance,
Record the information processing history of the video content in the terminal device, and register the result of learning the information processing capability of the terminal device using the information processing history in the information processing capability table;
The terminal device according to claim 1, wherein:
前記端末能力推定部は、前記表示部による前記動画コンテンツの表示フレームレートを測定し、該表示フレームレートに基づいて自端末装置の情報処理能力の推定値を更新することを特徴とする請求項2から4のいずれか1項に記載の端末装置。   3. The terminal capability estimation unit measures a display frame rate of the moving image content by the display unit, and updates an estimated value of information processing capability of the terminal device based on the display frame rate. 5. The terminal device according to any one of items 1 to 4. 前記表示制御部は、前記動画コンテンツの表示の内容に応じて、該表示に使用する前記メッシュモデルデータ又は前記スケルトン動きデータの階層を判断することを特徴とする請求項1から5のいずれか1項に記載の端末装置。   The said display control part judges the hierarchy of the said mesh model data or the said skeleton motion data used for this display according to the display content of the said moving image content, The any one of Claim 1 to 5 characterized by the above-mentioned. The terminal device according to item. コンテンツデータを構成するメッシュモデルデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するメッシュモデルデータを作成するメッシュモデルデータ作成部と、
コンテンツデータを構成するスケルトン動きデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するスケルトン動きデータを作成する動きデータ作成部と、
前記精細レベルの階層構造を有するメッシュモデルデータと前記精細レベルの階層構造を有するスケルトン動きデータとを有するコンテンツデータを端末装置へ送信する通信部と、
を備えたことを特徴とするコンテンツ作成装置。
A mesh model data creation unit that performs scalability processing on the mesh model data constituting the content data and creates mesh model data having a hierarchical structure of fine levels;
A motion data creation unit that performs scalability processing on the skeleton motion data constituting the content data, and creates skeleton motion data having a fine-level hierarchical structure;
A communication unit for transmitting content data having mesh model data having the fine level hierarchical structure and skeleton motion data having the fine level hierarchical structure to a terminal device;
A content creation apparatus comprising:
前記動きデータ作成部は、
スケルトン動きデータを構成するビートフレームをベースレイヤとし、隣接するビートフレーム間の中間フレームをベースレイヤの一つ上のレイヤとし、レイヤ間で隣接するフレーム間の中間フレームを順次、上のレイヤとし、前記精細レベルの階層構造を有するスケルトン動きデータとして、ベースレイヤのデータとレイヤ間の差分データを作成することを特徴とする請求項7に記載のコンテンツ作成装置。
The movement data creation unit
The beat frame constituting the skeleton motion data is set as a base layer, the intermediate frame between adjacent beat frames is set as one layer above the base layer, the intermediate frame between adjacent frames between layers is sequentially set as the upper layer, 8. The content creation apparatus according to claim 7, wherein base layer data and difference data between layers are created as the skeleton motion data having a fine-level hierarchical structure.
請求項1から6のいずれか1項に記載の端末装置と、請求項7又は8に記載のコンテンツ作成装置と、を備え、前記端末装置は前記コンテンツ作成装置からコンテンツデータを受信して動画コンテンツの表示を行う、
ことを特徴とするコンテンツ表示システム。
A terminal device according to any one of claims 1 to 6 and a content creation device according to claim 7 or 8, wherein the terminal device receives content data from the content creation device and receives moving image content. Display,
A content display system characterized by that.
精細レベルの階層構造を有するメッシュモデルデータ又はスケルトン動きデータを有するコンテンツデータを用いて動画コンテンツの表示を行う表示ステップと、
自端末装置の情報処理能力を推定する端末能力推定ステップと、
前記推定された情報処理能力に基づいて、前記表示ステップによる前記動画コンテンツの表示に使用する前記メッシュモデルデータ又は前記スケルトン動きデータの階層を判断する表示制御ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
A display step of displaying moving image content using mesh model data having a hierarchical structure of fine levels or content data having skeleton motion data;
A terminal capability estimation step for estimating the information processing capability of the terminal device;
A display control step of determining a hierarchy of the mesh model data or the skeleton motion data used for displaying the moving image content by the display step based on the estimated information processing capability;
A computer program for causing a computer to execute.
コンテンツデータを構成するメッシュモデルデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するメッシュモデルデータを作成するメッシュモデルデータ作成ステップと、
コンテンツデータを構成するスケルトン動きデータに対してスケーラビリティ化処理を行い、精細レベルの階層構造を有するスケルトン動きデータを作成する動きデータ作成ステップと、
前記精細レベルの階層構造を有するメッシュモデルデータと前記精細レベルの階層構造を有するスケルトン動きデータとを有するコンテンツデータを端末装置へ送信する通信ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
Mesh model data creation step for performing scalability processing on mesh model data constituting the content data and creating mesh model data having a hierarchical structure of a fine level;
A motion data creation step of performing scalability processing on the skeleton motion data constituting the content data and creating skeleton motion data having a hierarchical structure of a fine level;
A communication step of transmitting content data having mesh model data having the fine level hierarchical structure and skeleton motion data having the fine level hierarchical structure to a terminal device;
A computer program for causing a computer to execute.
JP2012236767A 2012-10-26 2012-10-26 Terminal device, content creation device, content display system, and computer program Pending JP2014086012A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012236767A JP2014086012A (en) 2012-10-26 2012-10-26 Terminal device, content creation device, content display system, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012236767A JP2014086012A (en) 2012-10-26 2012-10-26 Terminal device, content creation device, content display system, and computer program

Publications (1)

Publication Number Publication Date
JP2014086012A true JP2014086012A (en) 2014-05-12

Family

ID=50788978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012236767A Pending JP2014086012A (en) 2012-10-26 2012-10-26 Terminal device, content creation device, content display system, and computer program

Country Status (1)

Country Link
JP (1) JP2014086012A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101562658B1 (en) * 2015-03-05 2015-10-29 한창엽 3d object modeling method and recording medium having computer program recorded using the same
JP6433559B1 (en) * 2017-09-19 2018-12-05 キヤノン株式会社 Providing device, providing method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101562658B1 (en) * 2015-03-05 2015-10-29 한창엽 3d object modeling method and recording medium having computer program recorded using the same
WO2016140427A1 (en) * 2015-03-05 2016-09-09 한창엽 Three-dimensional object modeling method and medium in which computer program using same is recorded
JP6433559B1 (en) * 2017-09-19 2018-12-05 キヤノン株式会社 Providing device, providing method, and program
CN109525831A (en) * 2017-09-19 2019-03-26 佳能株式会社 Device, providing method and computer readable storage medium are provided
JP2019054488A (en) * 2017-09-19 2019-04-04 キヤノン株式会社 Providing apparatus, providing method, and program
US10757388B2 (en) 2017-09-19 2020-08-25 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US11196973B2 (en) 2017-09-19 2021-12-07 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US11750786B2 (en) 2017-09-19 2023-09-05 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image

Similar Documents

Publication Publication Date Title
JP6314217B2 (en) Transition management of adaptive display rate for various video playback scenarios
US11909984B2 (en) Video encoding and decoding for cloud gaming
US11290758B2 (en) Method and apparatus of point-cloud streaming
US20180199041A1 (en) Altering streaming video encoding based on user attention
CN103562862A (en) Global composition system
US8888592B1 (en) Voice overlay
EP3311565B1 (en) Low latency application streaming using temporal frame transformation
US11321816B2 (en) Systems and methods for frame time smoothing based on modified animation advancement and use of post render queues
US20100073379A1 (en) Method and system for rendering real-time sprites
JP6867501B2 (en) Predicted bitrate selection for 360 video streaming
US20100231582A1 (en) Method and system for distributing animation sequences of 3d objects
JP2014086012A (en) Terminal device, content creation device, content display system, and computer program
US20190310818A1 (en) Selective execution of warping for graphics processing
CN111064981A (en) System and method for video streaming
KR102617850B1 (en) Frame refresh for variable rate refresh displays
US20190289277A1 (en) Systems and methods for procedural rendering of cinematic virtual reality content
WO2023013114A1 (en) Information processing device, information processing method, and program
WO2023002687A1 (en) Information processing device and information processing method
Stamm Assessing Image Quality Impact of View Bypass in Cloud Rendering
JP2016024760A (en) Display control device, display terminal, and display control program
JP2023525335A (en) Level change in game streaming system
WO2011143965A1 (en) Method and system for displaying contact status
JP2012129587A (en) Apparatus, method and program for information processing
JP2011070278A (en) Remote operation system, server device, client device, control method and control program
JP2010266808A (en) Video display, video display method, video display program, and recording medium