JP2021002327A - Computer program, information processing method and information processing system - Google Patents

Computer program, information processing method and information processing system Download PDF

Info

Publication number
JP2021002327A
JP2021002327A JP2020072537A JP2020072537A JP2021002327A JP 2021002327 A JP2021002327 A JP 2021002327A JP 2020072537 A JP2020072537 A JP 2020072537A JP 2020072537 A JP2020072537 A JP 2020072537A JP 2021002327 A JP2021002327 A JP 2021002327A
Authority
JP
Japan
Prior art keywords
information
avatar
function
avatar information
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020072537A
Other languages
Japanese (ja)
Other versions
JP7220173B2 (en
Inventor
宗一郎 高桑
Soichiro Takakuwa
宗一郎 高桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2020072537A priority Critical patent/JP7220173B2/en
Publication of JP2021002327A publication Critical patent/JP2021002327A/en
Priority to JP2023011553A priority patent/JP2023058540A/en
Application granted granted Critical
Publication of JP7220173B2 publication Critical patent/JP7220173B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an information processing system, an information processing method and a computer program to allow smooth cooperation among systems requiring different data contents in video distribution.SOLUTION: A computer program for distributing a video including an animation of a character object generated on the basis of motion of a distributing user causes one or more computer processors to implement: an acquisition function of acquiring first avatar information including first part information regarding a first part of the character; an identification function of identifying second part information regarding a second part of the character not included in the first avatar information, on the basis of the first part information acquired by the acquisition function; and a generation function of generating second avatar information on the basis of the first part information acquired by the acquisition function and the second part information identified by the identification function.SELECTED DRAWING: Figure 6

Description

本発明は、コンピュータプログラム、情報処理方法および情報処理システムに関する。 The present invention relates to computer programs, information processing methods and information processing systems.

従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特許文献1および非特許文献1に開示されている。 Conventionally, there has been known a video distribution system that generates an animation of a character object based on the movement of a distribution user and delivers a video including the animation of the character object live. Such a moving image distribution system is disclosed in, for example, Patent Document 1 and Non-Patent Document 1.

また、最近では、異なる動画配信プラットフォームにおいても共通の3Dデータを用いてキャラクタオブジェクトを使用可能するための、特定のファイルフォーマットが提供され始めている(非特許文献2)。 In addition, recently, a specific file format has begun to be provided so that a character object can be used using common 3D data even in different video distribution platforms (Non-Patent Document 2).

特開2015−184689号公報JP 2015-184689

長谷川 雄介,ヴァーチャルアイドル新時代の幕開けPROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74−79Yusuke Hasegawa, Dawn of a new era of virtual idols PROJECT MariA, CG WORLD, Japan, Bone Digital Co., Ltd., November 10, 2017, Volume 231 and pp. 74-79 “VRM 3D Humanoid Avatar format for VR”、一般社団法人 VRMコンソーシアム、[令和1年5月20日検索]、インターネット<https://vrm.dev/>"VRM 3D Humanoid Avatar format for VR", General Incorporated Association VRM Consortium, [Search on May 20, 1st year of Reiwa], Internet <https://vrm.dev/>

しかしながら、異なる動画配信プラットフォーム間で、上述した特定のファイルフォーマットで作成された共通の3Dデータを使用可能ではあったとしても、求められるデータの内容が異なれば、キャラクタオブジェクトを生成するための情報が不足する可能性がある。 However, even if common 3D data created in the above-mentioned specific file format can be used between different video distribution platforms, if the required data contents are different, the information for generating the character object will be available. There is a possibility of shortage.

その場合、3Dデータの不足部分を新たに作成するという作業が必要となるため、配信者の他の動画配信プラットフォームでも配信しようという意欲が削がれてしまうという問題がある。 In that case, since it is necessary to newly create the missing part of the 3D data, there is a problem that the distributor's motivation to distribute the video distribution platform is discouraged.

そのため、本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる情報処理システム、情報処理方法およびコンピュータプログラムを提供することである。 Therefore, an object of the present disclosure is to provide technical improvements that solve or alleviate at least some of the problems of the prior art described above. One of the more specific purposes of the present disclosure is to provide an information processing system, an information processing method, and a computer program capable of smoothly linking systems that require different data contents in video distribution. is there.

本発明のコンピュータプログラムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能とを実現させることを特徴とする。 The computer program of the present invention is a computer program for distributing a moving image including an animation of a character object generated based on the movement of a distribution user, and relates to one or more computer processors with respect to a first part of the character. Regarding the acquisition function for acquiring the first avatar information including the first part information and the second part of the character not included in the first avatar information based on the first part information acquired by the acquisition function. Generation that generates the second avatar information based on the specific function that specifies the second part information, the first part information acquired by the acquisition function, and the second part information specified by the specific function. It is characterized by realizing a function.

特定機能は、第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することができる。 The specific function extracts one or more second part information associated with the first part information, and is based on the user's selection information for the extracted one or more second part information. Two part information can be specified.

取得機能は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
特定機能は、一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を含む第二の部位情報を特定することができる。
The acquisition function acquires the first avatar information including the first part information associated with one or more attached object information.
The specific function can specify the second part information including the one or more wearing object information associated with the second part based on the one or more wearing object information.

第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報とすることができる。 The first avatar information may be information for generating at least an avatar in which the face operates based on the motion information of the face of the actor acquired by the facial capture function provided in the predetermined information processing terminal. it can.

第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報とすることができる。 The second avatar information can be information for generating an avatar in which the whole body operates based on the motion information of the whole body of the actor acquired by the motion capture function provided in the predetermined information processing device.

本発明のコンピュータプログラムは、一又は複数のコンピュータに、さらに、キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得する種類取得機能を実現させ、種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、生成機能が第二のアバタ情報を生成することができる。 The computer program of the present invention realizes a type acquisition function for acquiring the type of avatar information required when a character appears in a program on one or more computers, and the type acquired by the type acquisition function can be obtained. When it is the second type of avatar information, the generation function can generate the second avatar information.

本発明のコンピュータプログラムは、一又は複数のコンピュータに、さらに、第二のアバタ情報が既に生成されているか否かを判断する判断機能を実現させ、判断機能による判断の結果、第二のアバタ情報が未だ生成されていない場合であって、種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、生成機能が第二のアバタ情報を生成することができる。 The computer program of the present invention further realizes a determination function for determining whether or not the second avatar information has already been generated on one or more computers, and as a result of the determination by the determination function, the second avatar information. Is not yet generated, and the generation function can generate the second avatar information when the type acquired by the type acquisition function is the type of the second avatar information.

特定機能は、取得機能により取得された第一の部位情報と対になる第二の部位情報を特定することができる。 The specific function can specify the second part information paired with the first part information acquired by the acquisition function.

本発明の情報処理方法は、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、取得ステップにおいて取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定ステップと、取得ステップにおいて取得された第一の部位情報、および、特定ステップにおいて特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成ステップとを実行させることを特徴とする。 The information processing method of the present invention is an information processing method for distributing a moving image including an animation of a character object generated based on a movement of a distribution user, and is a first information processing method for a character to one or a plurality of computer processors. The acquisition step of acquiring the first avatar information including the first part information about the part, and the second of the characters not included in the first avatar information based on the first part information acquired in the acquisition step. A second avatar information is generated based on the specific step for specifying the second part information regarding the part, the first part information acquired in the acquisition step, and the second part information specified in the specific step. It is characterized by executing a generation step to be performed.

本発明の情報処理システムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、一又は複数のコンピュータプロセッサは、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得部と、取得部が取得した第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定部と、取得部が取得し第一の部位情報、および、特定部が特定し第二の部位情報に基づいて、第二のアバタ情報を生成する生成部とを備えることを特徴とする。 The information processing system of the present invention is an information processing system that distributes a moving image including an animation of a character object generated based on a movement of a distribution user, and includes one or a plurality of computer processors, and one or a plurality of computer processors. Is included in the first avatar information based on the acquisition unit that acquires the first avatar information including the first part information regarding the first part of the character and the first part information acquired by the acquisition unit. Based on the specific part that specifies the second part information about the second part of the non-character, the first part information that the acquisition part acquires, and the second part information that the specific part specifies and the second part information It is characterized by including a generation unit that generates avatar information.

本発明によれば、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。本発明によれば、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the present invention, it is possible to provide technical improvements that solve or alleviate at least a part of the problems of the prior art described above. According to the present invention, it is possible to smoothly cooperate between systems that require different data contents in video distribution.

本発明の情報処理システムの一例を示すシステム構成図である。It is a system block diagram which shows an example of the information processing system of this invention. 本発明の情報処理システムが連携可能な情報処理システムの一例を示すシステム構成図である。It is a system block diagram which shows an example of the information processing system which can cooperate with the information processing system of this invention. モバイル配信の配信画面のイメージを示した概念図である。It is a conceptual diagram which showed the image of the distribution screen of mobile distribution. スタジオ配信の配信画面のイメージを示した概念図である。It is a conceptual diagram which showed the image of the distribution screen of a studio distribution. 本発明の実施形態にかかる情報処理装置の機能構成を示す構成図である。It is a block diagram which shows the functional structure of the information processing apparatus which concerns on embodiment of this invention. キャラクタの上半身に対応付けられる装着オブジェクトのイメージを示した概念図である。It is a conceptual diagram which showed the image of the wearing object associated with the upper body of a character. キャラクタの下半身に対応付けられる装着オブジェクトのイメージを示した概念図である。It is a conceptual diagram which showed the image of the wearing object associated with the lower body of a character. 装着オブジェクトとコーディネートポイントのデータテーブルの一例を示したものである。It shows an example of the data table of the wearing object and the coordination point. 装着オブジェクトの優先度のデータテーブルを示したものである。It shows the data table of the priority of the attached object. 本発明の他の実施形態にかかる情報処理装置の機能構成を示す構成図である。It is a block diagram which shows the functional structure of the information processing apparatus which concerns on other embodiment of this invention. 本発明の実施形態にかかる情報処理装置のハードウェア構成の一例を示す構成図である。It is a block diagram which shows an example of the hardware structure of the information processing apparatus which concerns on embodiment of this invention. 本発明の実施形態にかかる情報処理方法のフローの一例を示すフロー図である。It is a flow figure which shows an example of the flow of the information processing method which concerns on embodiment of this invention. 本発明の実施形態にかかるコンピュータプログラムの機能構成を実現するための回路の一例を示す回路構成図である。It is a circuit block diagram which shows an example of the circuit for realizing the functional structure of the computer program which concerns on embodiment of this invention.

初めに、本発明の情報処理システムの概要について図面を参照しながら説明する。 First, the outline of the information processing system of the present invention will be described with reference to the drawings.

本発明の実施形態に係る情報処理システムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備える。 The information processing system according to the embodiment of the present invention is an information processing system that distributes a moving image including an animation of a character object generated based on a movement of a distribution user, and includes one or a plurality of computer processors.

<システム構成>
図1に一例として示されるように、情報処理システム100は、1以上の視聴ユーザ端末200、および、これら視聴ユーザ端末200とネットワーク300を介して接続される、動画の配信スタジオ等に配置された情報処理装置(サポートコンピュータ)400を含むことができる。
<System configuration>
As shown as an example in FIG. 1, the information processing system 100 is arranged in one or more viewing user terminals 200, a moving image distribution studio or the like connected to these viewing user terminals 200 via a network 300. An information processing device (support computer) 400 can be included.

また、当該情報処理装置400は、インターネットを介してサーバ装置500(図示せず)と接続され、後述する情報処理装置400で行われるべき処理の一部を当該サーバ装置500で行うものとしてもよい。 Further, the information processing device 400 may be connected to the server device 500 (not shown) via the Internet, and a part of the processing to be performed by the information processing device 400 described later may be performed by the server device 500. ..

本明細書において、かかる情報処理システム100による配信を、スタジオ配信と呼ぶものとする。 In the present specification, the distribution by the information processing system 100 is referred to as studio distribution.

スタジオ配信において、配信ユーザ(アクター)の全身の動きは、配信ユーザに取り付けられたマーカをスタジオに備え付けられたカメラで撮影し、既知のモーションキャプチャ技術を用いてリアルタイムでキャラクタに反映させるものとする。 In studio distribution, the movement of the entire body of the distribution user (actor) shall be captured by the camera installed in the studio with the marker attached to the distribution user, and reflected in the character in real time using known motion capture technology. ..

また、本発明の情報処理システム100は、図2に一例として示される別の情報処理システム10と連携することができる。図2に示される情報処理システム10は、配信ユーザ端末20、1以上の視聴ユーザ端末30、および、これら配信ユーザ端末20および視聴ユーザ端末30とネットワーク40を介して接続される情報処理装置(サーバ装置)50を含むことができる。 Further, the information processing system 100 of the present invention can cooperate with another information processing system 10 shown as an example in FIG. The information processing system 10 shown in FIG. 2 is a distribution user terminal 20, one or more viewing user terminals 30, and an information processing device (server) connected to the distribution user terminals 20 and the viewing user terminals 30 via a network 40. Device) 50 can be included.

上記の例において、配信ユーザ端末20はスマートフォン等の情報処理端末とすることができる。本明細書において、かかる情報処理システム10による配信を、モバイル配信と呼ぶものとする。 In the above example, the distribution user terminal 20 can be an information processing terminal such as a smartphone. In the present specification, the distribution by the information processing system 10 is referred to as mobile distribution.

モバイル配信において、配信ユーザの顔の動きは、配信ユーザの顔を配信ユーザの情報処理端末が備えるカメラで撮影し、既知のフェイストラッキング技術を用いてリアルタイムでキャラクタの顔に反映させるものとする。 In mobile distribution, the movement of the distribution user's face is captured by a camera provided in the distribution user's information processing terminal and reflected on the character's face in real time using a known face tracking technology.

上記情報処理システム100および情報処理システム10により生成される動画は、一例として、一の動画配信プラットフォームから、視聴ユーザへ配信することができる。 The moving images generated by the information processing system 100 and the information processing system 10 can be distributed to viewing users from one moving image distribution platform as an example.

ここで、一例として、一般の配信ユーザは、上記動画配信プラットフォームにおいて、情報処理システム10によるモバイル配信を行うことのみが許可されているものとする。図3に示すように、モバイル配信において配信ユーザのキャラクタは上半身のみが表示され、下半身は表示されない。そのため、必要とされるキャラクタの3Dデータは上半身のデータだけである。 Here, as an example, it is assumed that a general distribution user is only permitted to perform mobile distribution by the information processing system 10 on the video distribution platform. As shown in FIG. 3, in mobile distribution, only the upper body of the character of the distribution user is displayed, and the lower body is not displayed. Therefore, the required 3D data of the character is only the upper body data.

なお、ここでいう上半身とは少なくとも脚部を含まないという意味であり、図3に示されるように、腰部や尻部が含まれていてもよい。 The upper body here means that at least the legs are not included, and as shown in FIG. 3, the waist and hips may be included.

一方、公式の配信ユーザは、上記動画配信プラットフォームにおいて、情報処理システム100によるスタジオ配信を行うことが許可されているものとする。ここでいう公式の配信ユーザとは、動画配信プラットフォームの運営者が定める公式番組に出演するキャラクタのアクターを意味するものとする。 On the other hand, it is assumed that the official distribution user is permitted to perform studio distribution by the information processing system 100 on the video distribution platform. The official distribution user referred to here means an actor of a character who appears in an official program defined by the operator of the video distribution platform.

図4に示すように、スタジオ配信において配信ユーザのキャラクタは全身が表示される。そのため、必要とされるキャラクタの3Dデータは全身のデータである。 As shown in FIG. 4, the whole body of the character of the distribution user is displayed in the studio distribution. Therefore, the required 3D data of the character is whole body data.

なお、本実施形態においては、モバイル配信とスタジオ配信とが共通の動画配信プラットフォームにおいて実現し、これら配信間の連携について説明を行うが、本発明は、別々の動画配信プラットフォームにおける配信間の連携についても適用が可能である。かかる場合において、動画の配信形式(例えば、モバイル配信かスタジオ配信か)については何ら限定されない。 In the present embodiment, mobile distribution and studio distribution are realized on a common video distribution platform, and cooperation between these distributions will be described. However, the present invention relates to cooperation between distributions on different video distribution platforms. Is also applicable. In such a case, the distribution format of the moving image (for example, mobile distribution or studio distribution) is not limited in any way.

ここで、上記動画配信プラットフォームにおいて、一般の配信ユーザがスタジオ配信を行う場合がある。 Here, in the above-mentioned video distribution platform, a general distribution user may perform studio distribution.

一例として、動画配信プラットフォームの運営者は、一般の配信ユーザに対して、「公式番組デビューイベント」を開催することができる。イベントの内容については説明を省略するが、例えば、視聴ユーザからもらったギフトをイベントスコアに換算して順位を競うイベントとすることができる。そして、この「公式番組デビューイベント」で勝ち抜いたランキング上位3名の一般の配信ユーザのキャラクタは、公式番組に出演する権利(すなわち、スタジオ配信を行う権利)を獲得するものとする。なお、この権利を獲得する配信ユーザの数は3名に限られるものではない。 As an example, the operator of the video distribution platform can hold an "official program debut event" for general distribution users. Although the description of the content of the event is omitted, for example, the gift received from the viewing user can be converted into an event score to compete for the ranking. Then, the characters of the top three general distribution users who won the "official program debut event" shall acquire the right to appear in the official program (that is, the right to perform studio distribution). The number of distribution users who acquire this right is not limited to three.

本実施形態における情報処理システム100では、配信ユーザのイベント成績をデータとして保持し、その上位者についてフラグ付けを行うものとする。そして、公式番組出演に際して必要となる、フラグ付けされた上位者のキャラクタの全身の3Dデータ(後述する第二のアバタ情報)を生成するものとする。 In the information processing system 100 of the present embodiment, the event results of the distribution user are held as data, and the higher-ranking person is flagged. Then, it is assumed that the 3D data (second avatar information described later) of the whole body of the flagged superior character, which is necessary for appearing in the official program, is generated.

通常、一般の配信ユーザは、スタジオ配信のためのキャラクタの全身の3Dデータが用意されていない。一般の配信ユーザは、予め用意されたキャラクタのパーツ(体型、肌色、髪型等)や装着アイテム(洋服、アクセサリ等)を自由に組み合わせて自身のオリジナルキャラクタの上半身の3Dデータを生成し、これを使用してモバイル配信を行っており、このような多種多様なオリジナルキャラクタの全身の3Dデータを予め用意しておくことは膨大な作業が必要となり現実的ではないためである。 Generally, a general distribution user does not prepare 3D data of the whole body of a character for studio distribution. A general distribution user can freely combine pre-prepared character parts (body shape, skin color, hairstyle, etc.) and wearing items (clothes, accessories, etc.) to generate 3D data of the upper body of his or her original character, and generate this. This is because mobile distribution is performed by using it, and it is not realistic to prepare 3D data of the whole body of such a wide variety of original characters in advance because a huge amount of work is required.

そこで、本発明における上記一又は複数のコンピュータプロセッサは、図5に示すように、取得部410と、特定部420と、生成部430とを備える。 Therefore, as shown in FIG. 5, the one or more computer processors in the present invention include an acquisition unit 410, a specific unit 420, and a generation unit 430.

取得部410は、第一のアバタ情報を取得する。 The acquisition unit 410 acquires the first avatar information.

第一のアバタ情報は、キャラクタの第一の部位に関する第一の部位情報を含むものであって、一例として、モバイル配信で求められる内容の3Dデータとする。 The first avatar information includes the first part information regarding the first part of the character, and as an example, it is 3D data of the contents required for mobile distribution.

キャラクタは、複数の部位で構成されるものとする。キャラクタは、上半身および下半身という2つの部位で構成されてもよいし、頭部、首部、胸部、肩部、腕部、胴部、脚部等のより細かな部位で構成されるものとしてもよい。 The character shall be composed of a plurality of parts. The character may be composed of two parts, an upper body and a lower body, or may be composed of finer parts such as a head, a neck, a chest, a shoulder, an arm, a torso, and a leg. ..

そして、第一の部位は、上記部位の少なくとも一つの部位とする。また、第一の部位情報は、第一の部位の性別情報、色情報および/またはサイズ情報等を含むものとする。また、第一の部位情報は、第一の部位に関連付けられた装着オブジェクトの情報を含んでもよい。第一の部位に関連付けられた装着オブ得ジェクトとは、洋服、アクセサリおよび/または小物等のアイテムとすることができる。 The first site is at least one of the above sites. Further, the first part information shall include gender information, color information and / or size information of the first part. Further, the first site information may include information on the wearing object associated with the first site. The wearing object associated with the first site can be an item such as clothes, accessories and / or accessories.

特定部420は、取得部410により取得された第一の部位情報に基づいて、第二の部位情報を特定する。一例として、第一の部位情報に含まれる性別情報、色情報および/またはサイズ情報に基づいて、同一の性別情報、色情報および/またはサイズ情報を含む第二の部位情報を特定する。第二の部位情報の特定の方法のバリエーションについては後述する。 The specific unit 420 identifies the second part information based on the first part information acquired by the acquisition unit 410. As an example, the second part information including the same gender information, color information and / or size information is specified based on the gender information, color information and / or size information included in the first part information. A variation of the second method for specifying the site information will be described later.

第二の部位情報は、第一のアバタ情報に含まれないキャラクタの第二の部位に関するものである。また、第二の部位情報は、第二の部位の性別情報、色情報および/またはサイズ情報等を含むものとする。なお、詳細は後述するが、第二の部位情報は、第二の部位に関連付けられた装着オブジェクトの情報を含んでもよい。第二の部位に関連付けられた装着オブジェクトとは、洋服、アクセサリおよび/または小物等のアイテムとすることができる。 The second part information relates to the second part of the character that is not included in the first avatar information. Further, the second part information shall include gender information, color information and / or size information of the second part. Although the details will be described later, the second part information may include the information of the wearing object associated with the second part. The wearing object associated with the second part can be an item such as clothes, accessories and / or accessories.

一例として、第一の部位が上半身である場合には、第二の部位は下半身である。 As an example, if the first part is the upper body, the second part is the lower body.

そして、生成部430は、取得部410により取得された第一の部位情報、および、特定部420により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する。 Then, the generation unit 430 generates the second avatar information based on the first part information acquired by the acquisition unit 410 and the second part information specified by the specific unit 420.

一例として、第二のアバタ情報は、上半身に関する情報である第一の部位情報、および、下半身に関する第二の部位情報に基づいて生成されるキャラクタの全身の3Dデータである。そして、一例として、この全身の3Dデータはスタジオ配信で求められる内容の3Dデータである。 As an example, the second avatar information is the 3D data of the whole body of the character generated based on the first part information which is the information about the upper body and the second part information about the lower body. And, as an example, the 3D data of the whole body is the 3D data of the contents required for studio distribution.

以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the above configuration, the second avatar information can be automatically generated from the first avatar information. As a result, it is possible to smoothly cooperate between systems that require different data contents in video distribution.

例えば、上述したようなイベントにおいて、一般の配信ユーザ用のモバイル配信用のキャラクタの上半身の3Dデータから、スタジオ配信用のキャラクタの全身の3Dデータを容易に生成することができるため、配信ユーザおよび/または運営者の作業負担を軽減することができる。 For example, in an event as described above, since the 3D data of the entire body of the character for studio distribution can be easily generated from the 3D data of the upper body of the character for mobile distribution for general distribution users, the distribution user and / Or the work load of the operator can be reduced.

また、上述したように、第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報とすることができる。 Further, as described above, the first avatar information generates at least an avatar in which the face operates based on the motion information of the face of the actor acquired by the facial capture function provided in the predetermined information processing terminal. It can be information for.

同様に、第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報とすることができる。 Similarly, the second avatar information may be information for generating an avatar in which the whole body operates based on the motion information of the whole body of the actor acquired by the motion capture function provided in the predetermined information processing device. it can.

また、取得部410は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得する。 In addition, the acquisition unit 410 acquires the first avatar information including the first site information associated with one or more attached object information.

図6に示すように、第一のアバタ情報により表示されるキャラクタは、通常は裸ではなく洋服を着用した状態で表示される。第一のアバタ情報が含むのは第一の部位情報に関連付けられた装着オブジェクト情報であるので、第一の部位が上半身である場合には、少なくともトップスの情報を含む。 As shown in FIG. 6, the character displayed by the first avatar information is usually displayed in a state of wearing clothes rather than naked. Since the first avatar information includes the wearing object information associated with the first part information, when the first part is the upper body, at least the tops information is included.

また、第一のアバタ情報は、装着オブジェクト情報として、トップスであるTシャツ、ジャケット、頭部に装着されるカチューシャ、帽子、眼鏡、イヤリング、あるいは、腕部に装着されるブレスレット、時計、指に装着される指輪などを含んでもよい。 In addition, the first avatar information can be used as wearing object information for tops such as T-shirts, jackets, headwear, hats, glasses, earrings, or bracelets, watches, and fingers worn on the arms. It may include a ring to be worn.

そして、特定部420は、一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を含む第二の部位情報を特定することができる。 Then, the specific unit 420 can specify the second part information including the one or more wearing object information associated with the second part based on the one or more wearing object information.

図7に示すように、第二のアバタ情報により表示されるキャラクタは、通常は裸ではなく洋服を着用した状態で表示される。それ故に、上半身と下半身の装着オブジェクトのコーディネートが重要となる。 As shown in FIG. 7, the character displayed by the second avatar information is usually displayed in a state of wearing clothes rather than naked. Therefore, it is important to coordinate the wearing objects of the upper and lower body.

一例として、あるトップスと対になるボトムスとを対応付けたコーディネート情報を記憶しておき、この情報を用いて、第一の部位に関連付けられる一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を決定することができる。 As an example, the coordination information associated with a certain top and the paired bottoms is stored, and using this information, the second part is based on the information of one or more attached objects associated with the first part. It is possible to determine one or more wearing object information associated with.

すなわち、コーディネート情報は、装着オブジェクトと、当該装着オブジェクトとコーディネート可能な他の装着オブジェクトと対応付けて管理するものである。なお、この対応付けは一対一の関係であってもでもよいし、一対複数、複数対複数の関係であってもよい。 That is, the coordination information is managed in association with the wearing object and other wearing objects that can be coordinated with the wearing object. In addition, this correspondence may be a one-to-one relationship, a one-to-many relationship, or a plurality-to-many relationship.

対応付けが一対一である場合には、特定部420は、取得部410により取得された第一の部位情報と対になる第二の部位情報を特定することができる。 When the correspondence is one-to-one, the specific unit 420 can specify the second part information that is paired with the first part information acquired by the acquisition unit 410.

これは、トップスとボトムスがセパレートされないワンピース、浴衣、水着、サロペットの洋服、トップスとボトムスが上下セットである制服やスーツなどの場合に有効な特定方法である。 This is an effective identification method for dresses, yukatas, swimwear, salopette clothes, and uniforms and suits in which tops and bottoms are set up and down, where tops and bottoms are not separated.

また、対応付けが一対複数または複数対複数の場合には、特定部420は、取得部410により取得された第一の部位情報と対応付けられた第二の部位情報を特定することができる。 Further, when the correspondence is one-to-many or multiple-to-many, the specific unit 420 can specify the second part information associated with the first part information acquired by the acquisition unit 410.

例えば、トップスAにはボトムスa,ボトムスb,ボトムスc,ボトムスdが対応付けられる。このとき、これら複数のボトムスにはトップスAとのコーディネートポイントが定められていてもよい。図8は、本発明の情報処理システム100が備える記憶部または外部の記憶装置が備える装着オブジェクトとコーディネートポイントのデータテーブルを示したものである。 For example, tops A are associated with bottoms a, bottoms b, bottoms c, and bottoms d. At this time, coordination points with the tops A may be defined for these plurality of bottoms. FIG. 8 shows a data table of mounting objects and coordination points included in the storage unit or the external storage device included in the information processing system 100 of the present invention.

このように、一の装着オブジェクトに複数の装着オブジェクトが対応付けられる場合には、コーディネートポイントにより優先度を定め、最上位の装着オブジェクトが決定され、この装着オブジェクトが関連付けられた第二の部位情報が特定されるものとしてもよい。最上位の装着オブジェクトが複数ある場合には、ランダムで一の装着オブジェクトが決定されるものとしてもよい。 In this way, when a plurality of mounted objects are associated with one mounted object, the priority is determined by the coordination point, the highest mounted object is determined, and the second part information associated with this mounted object is determined. May be specified. When there are a plurality of top-level mounted objects, one mounted object may be randomly determined.

また、対応付けが一対複数または複数対複数の場合には、特定部420は、第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することができる。 Further, when the correspondence is one-to-many or multiple-to-many, the specific unit 420 extracts one or more second part information associated with the first part information, and the extracted one or more second part information. The first and second part information can be specified based on the user's selection information for the second part information.

例えば、図8の例では、複数のボトムスのそれぞれが関連付けられた第二の部情報の全てが情報処理端末の表示画面に表示され、表示された中からユーザが一の第二の部位情報を選択するものであってもよい。 For example, in the example of FIG. 8, all of the second part information associated with each of the plurality of bottoms is displayed on the display screen of the information processing terminal, and the user selects one second part information from the displayed information. It may be the one of choice.

ここでいうユーザは、アクターである配信ユーザまたは運営者とすることができる。 The user referred to here can be a distribution user or an operator who is an actor.

これにより、ユーザは複数提示されたボトムスの中から好みのボトムスを装着した下半身を選ぶことができるようになり、キャラクタのコーディネートの自由度を高めることができる。 As a result, the user can select the lower body with the desired bottoms from the plurality of presented bottoms, and the degree of freedom of character coordination can be increased.

また、第一の部位情報に複数の装着オブジェクトが関連付けられている場合には、装着オブジェクトの予め定められた優先度に基づいて、第二の部位情報を特定することができる。図9は、本発明の情報処理システム100が備える記憶部または外部の記憶装置が備える、装着オブジェクトの優先度のデータテーブルを示したものである。 Further, when a plurality of mounted objects are associated with the first site information, the second site information can be specified based on a predetermined priority of the mounted objects. FIG. 9 shows a data table of priority of attached objects provided in a storage unit included in the information processing system 100 of the present invention or an external storage device.

図9の例では、複数の装着オブジェクトの中で最も優先度の高いトップスに対応付けられたボトムスが関連付けられた第二の部位情報が特定される。この優先度は、装着オブジェクトのキャラクタのコーディネートに与える印象の度合いに基づいて定められることができる。 In the example of FIG. 9, the second part information associated with the bottoms associated with the tops having the highest priority among the plurality of mounted objects is specified. This priority can be determined based on the degree of impression given to the coordination of the character of the wearing object.

また、本発明の情報処理システム100は、図10に示されるように、さらに、種類取得部440を備えることができる。 Further, as shown in FIG. 10, the information processing system 100 of the present invention may further include a type acquisition unit 440.

種類取得部440は、キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得するものである。 The type acquisition unit 440 acquires the type of avatar information required when the character appears in the program.

アバタ情報の種類とは、アバタ情報のデータ形式の種類などとすることができる。データ形式は、VRアプリケーション向けの人型3Dアバタ(3Dモデル)データを扱うためのファイルフォーマットであるVRMと呼ばれるファイルフォーマットの形式とすることができる。 The type of avatar information can be the type of data format of avatar information or the like. The data format can be a file format called VRM, which is a file format for handling humanoid 3D avatar (3D model) data for VR applications.

そして、種類取得部440により取得された種類が第二のアバタ情報の種類である場合に、生成部430が第二のアバタ情報を生成することができる。 Then, when the type acquired by the type acquisition unit 440 is the type of the second avatar information, the generation unit 430 can generate the second avatar information.

上記では、第一のアバタ情報の種類のうち、データ形式の種類は同一であるものとして説明を行った。すなわち、第二のアバタ情報は、第一のアバタ情報に不足している情報を生成するだけで生成されるものである。そのため、種類取得部440は、要求されるアバタ情報の種類が、本発明により生成可能な第二のアバタ情報の種類(データ形式)であることを確認し、第二のアバタ情報を生成することができる。 In the above, among the first types of avatar information, the types of data formats have been described as being the same. That is, the second avatar information is generated only by generating the information lacking in the first avatar information. Therefore, the type acquisition unit 440 confirms that the type of avatar information required is the type (data format) of the second avatar information that can be generated by the present invention, and generates the second avatar information. Can be done.

また、本発明の情報処理システム100は、さらに、判断部450を備えることができる。 In addition, the information processing system 100 of the present invention may further include a determination unit 450.

判断部450は、第二のアバタ情報が既に生成されているか否かを判断するものである。 The determination unit 450 determines whether or not the second avatar information has already been generated.

そして、判断部450による判断の結果、第二のアバタ情報が未だ生成されていない場合であって、種類取得部440により取得された種類が第二のアバタ情報の種類である場合に、生成部430が第二のアバタ情報を生成することができる。 Then, as a result of the determination by the determination unit 450, when the second avatar information has not been generated yet and the type acquired by the type acquisition unit 440 is the type of the second avatar information, the generation unit The 430 can generate a second avatar information.

以上、記載した実施形態によれば、一例としてVRMを利用して、モバイル配信で利用しているアバタ(上半身のみ)に基づいて、スタジオ配信用の全身アバタを自動的に生成することで、ユーザの手間をかけずスムーズにスタジオ配信(例えば公式番組)へ対応することができる。 According to the above-described embodiment, by using VRM as an example, a user is automatically generated a whole-body avatar for studio distribution based on the avatar (upper body only) used for mobile distribution. It is possible to smoothly respond to studio distribution (for example, official programs) without the hassle of.

例えば、上半身のアバタデータからその他のパーツのアバタ情報を自動的に決定したり、上半身のアバタデータにマッチする他のパーツのアバタ情報の候補をプレイヤーに提示したりしても良い。これにより、スタジオ配信とモバイル配信の両方に対応しているVtuberアプリケーションへの活用が期待される。 For example, the avatar information of other parts may be automatically determined from the avatar data of the upper body, or the avatar information candidates of other parts that match the avatar data of the upper body may be presented to the player. As a result, it is expected to be used for Vtuber applications that support both studio distribution and mobile distribution.

<ハードウェア構成>
ここで、図11を用いて、情報処理システム100に含まれる情報処理装置400のハードウェア構成について説明する。情報処理装置400は、プロセッサ401と、メモリ402と、ストレージ403と、入出力インタフェース(入出力I/F)404と、通信インタフェース(通信I/F)405とを含む。各構成要素は、バスBを介して相互に接続される。
<Hardware configuration>
Here, the hardware configuration of the information processing apparatus 400 included in the information processing system 100 will be described with reference to FIG. The information processing device 400 includes a processor 401, a memory 402, a storage 403, an input / output interface (input / output I / F) 404, and a communication interface (communication I / F) 405. The components are connected to each other via bus B.

情報処理装置400は、プロセッサ401と、メモリ402と、ストレージ403と、入出力I/F404と、通信I/F405との協働により、本実施形態に記載される機能、方法を実現することができる。 The information processing device 400 can realize the functions and methods described in the present embodiment by the cooperation of the processor 401, the memory 402, the storage 403, the input / output I / F 404, and the communication I / F 405. it can.

プロセッサ401は、ストレージ403に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び/又は、方法を実行する。プロセッサ401は、例えば、中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を含み、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、1又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。 The processor 401 executes a function and / or a method realized by a code or an instruction contained in a program stored in the storage 403. The processor 401 is, for example, a central processing unit (CPU), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a microprocessor (microprocessor), a processor core (processor core), a multiprocessor (multiprocessor), an ASIC (Application-). Each implementation includes a specific integrated circuit), FPGA (Field Programmable Gate Array), etc., and is implemented by a logic circuit (hardware) or a dedicated circuit formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)), etc. Each process disclosed in the form may be realized. Further, these circuits may be realized by one or a plurality of integrated circuits, and a plurality of processes shown in each embodiment may be realized by one integrated circuit. Further, the LSI may be referred to as a VLSI, a super LSI, an ultra LSI, or the like depending on the degree of integration.

メモリ402は、ストレージ403からロードしたプログラムを一時的に記憶し、プロセッサ401に対して作業領域を提供する。メモリ402には、プロセッサ401がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ402は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む。 The memory 402 temporarily stores the program loaded from the storage 403 and provides a work area for the processor 401. Various data generated while the processor 401 is executing the program are also temporarily stored in the memory 402. The memory 402 includes, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.

ストレージ403は、プログラムを記憶する。ストレージ403は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等を含む。 The storage 403 stores the program. The storage 403 includes, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, and the like.

通信I/F405は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク600を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F405は、ネットワーク600を介して、他の情報処理装置との通信を実行する。通信I/F405は、各種データをプロセッサ401からの指示に従って、他の情報処理装置に送信する。また、通信I/F405は、他の情報処理装置から送信された各種データを受信し、プロセッサ401に伝達する。 The communication I / F 405 is implemented as hardware such as a network adapter, communication software, and a combination thereof, and transmits / receives various data via the network 600. The communication may be executed by wire or wirelessly, and any communication protocol may be used as long as mutual communication can be executed. The communication I / F 405 executes communication with another information processing device via the network 600. The communication I / F 405 transmits various data to another information processing device according to an instruction from the processor 401. Further, the communication I / F 405 receives various data transmitted from other information processing devices and transmits them to the processor 401.

入出力I/F404は、情報処理装置400に対する各種操作を入力する入力装置、及び、情報処理装置400で処理された処理結果を出力する出力装置を含む。入出力I/F404は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。 The input / output I / F 404 includes an input device for inputting various operations to the information processing device 400 and an output device for outputting the processing result processed by the information processing device 400. The input / output I / F 404 may be integrated with the input device and the output device, or may be separated into the input device and the output device.

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ401に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ(画像を介した操作入力)、マイク(音声による操作入力)を含む。 The input device is realized by any one or a combination of all kinds of devices capable of receiving an input from a user and transmitting information related to the input to the processor 401. The input device includes, for example, a hardware key such as a touch panel, a touch display, and a keyboard, a pointing device such as a mouse, a camera (operation input via an image), and a microphone (operation input by voice).

出力装置は、プロセッサ401で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。なお、視聴ユーザ端末200も特筆すべき場合を除き、図11と同様のハードウェア構成で構成されることができる。 The output device outputs the processing result processed by the processor 401. The output device includes, for example, a touch panel, a speaker, and the like. The viewing user terminal 200 can also be configured with the same hardware configuration as in FIG. 11, except when notable.

続いて、本発明の実施形態に係る情報処理方法の一例について説明する。 Subsequently, an example of the information processing method according to the embodiment of the present invention will be described.

本発明の情報処理方法は、図12に示されるように、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、取得ステップS110と、特定ステップS120と、生成ステップS130とを実行させる。 As shown in FIG. 12, the information processing method of the present invention is one or more information processing methods in an information processing system that distributes a moving image including an animation of a character object generated based on a movement of a distribution user. Is caused to execute the acquisition step S110, the specific step S120, and the generation step S130.

取得ステップS110は、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する。取得ステップS110は、上述した取得部410により実行されることができる。 The acquisition step S110 acquires the first avatar information including the first part information regarding the first part of the character. The acquisition step S110 can be executed by the acquisition unit 410 described above.

特定ステップS120は、取得ステップにおいて取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する。特定ステップS120は、上述した特定部420により実行されることができる。 The specific step S120 specifies the second part information regarding the second part of the character that is not included in the first avatar information, based on the first part information acquired in the acquisition step. The specific step S120 can be executed by the specific unit 420 described above.

生成ステップS130は、取得ステップにおいて取得された第一の部位情報、および、特定ステップにおいて特定された第二の部位情報に基づいて、第二のアバタ情報を生成する。生成ステップS130は、上述した生成部430により実行されることができる。 The generation step S130 generates the second avatar information based on the first part information acquired in the acquisition step and the second part information specified in the specific step. The generation step S130 can be executed by the generation unit 430 described above.

以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the above configuration, the second avatar information can be automatically generated from the first avatar information. As a result, it is possible to smoothly cooperate between systems that require different data contents in video distribution.

最後に、本発明のコンピュータプログラムについて説明を行う。 Finally, the computer program of the present invention will be described.

本発明のコンピュータプログラムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、取得機能と、特定機能と、生成機能とを実現させる。 The computer program of the present invention is a computer program for distributing a moving image including an animation of a character object generated based on a movement of a distribution user, and has an acquisition function and a specific function to one or more computer processors. , Realize the generation function.

取得機能は、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する。 The acquisition function acquires the first avatar information including the first part information regarding the first part of the character.

特定機能は、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する。 The specific function specifies the second part information regarding the second part of the character that is not included in the first avatar information, based on the first part information acquired by the acquisition function.

生成機能は、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報 を生成する。 The generation function generates the second avatar information based on the first part information acquired by the acquisition function and the second part information specified by the specific function.

上記取得機能、特定機能および生成機能は、図13に示す取得回路1410、特定回路1420および生成回路1430により実現されることができる。取得回路1410、特定回路1420および生成回路1430は、それぞれ上述した取得部410、特定部420および生成部430により実現されるものとする。各部の詳細については上述したとおりである。 The acquisition function, the specific function, and the generation function can be realized by the acquisition circuit 1410, the specific circuit 1420, and the generation circuit 1430 shown in FIG. It is assumed that the acquisition circuit 1410, the specific circuit 1420, and the generation circuit 1430 are realized by the acquisition unit 410, the specific unit 420, and the generation unit 430 described above, respectively. Details of each part are as described above.

以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the above configuration, the second avatar information can be automatically generated from the first avatar information. As a result, it is possible to smoothly cooperate between systems that require different data contents in video distribution.

また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のCPUによって当該プログラムを読み出して実行させることによって実現可能である。 Further, in order to function as the server device or terminal device according to the above-described embodiment, an information processing device such as a computer or a mobile phone can be preferably used. Such an information processing device stores a program describing processing contents that realize each function of the server device or the terminal device according to the embodiment in the storage unit of the information processing device, and the CPU of the information processing device stores the program. This can be achieved by reading and executing.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

また、実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラムとして、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
[付記]
以下に、本願の原出願の出願当初の請求項を付記する。
[1]配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、
前記取得機能により取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、
前記取得機能により取得された前記第一の部位情報、および、前記特定機能により特定された前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能と
を実現させる、コンピュータプログラム。
[2]前記特定機能は、前記第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することを特徴とする上記[1]に記載のコンピュータプログラム。
[3]前記取得機能は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
前記特定機能は、前記一以上の装着オブジェクト情報に基づいて、前記第二の部位に関連付けられる一以上の装着オブジェクト情報を含む前記第二の部位情報を特定することを特徴とする上記[1]または[2]に記載のコンピュータプログラム。
[4]前記第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報であることを特徴とする上記[1]から[3]のいずれか一に記載のコンピュータプログラム。
[5]前記第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報であることを特徴とする上記[1]から[4]のいずれか一に記載のコンピュータプログラム。
[6]一又は複数のコンピュータに、さらに、
前記キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得する種類取得機能
を実現させ、
前記種類取得機能により取得された種類が前記第二のアバタ情報の種類である場合に、前記生成機能が前記第二のアバタ情報を生成することを特徴とする上記[1]から[5]のいずれか一項に記載のコンピュータプログラム。
[7]一又は複数のコンピュータに、さらに、
前記第二のアバタ情報が既に生成されているか否かを判断する判断機能
を実現させ、
前記判断機能による判断の結果、前記第二のアバタ情報が未だ生成されていない場合であって、前記種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、前記生成機能が前記第二のアバタ情報を生成することを特徴とする上記[6]に記載のコンピュータプログラム。
[8]前記特定機能は、前記取得機能により取得された前記第一の部位情報と対になる前記第二の部位情報を特定することを特徴とする上記[1]から[7]のいずれか一に記載のコンピュータプログラム。
[9]配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定ステップと、
前記取得ステップにおいて取得された前記第一の部位情報、および、前記特定ステップにおいて特定された前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成ステップと
を実行させる、情報処理方法。
[10]配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得部と、
前記取得部が取得した前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定部と、
前記取得部が取得し前記第一の部位情報、および、前記特定部が特定し前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成部と
を備える情報処理システム。
Further, the method described in the embodiment includes, for example, a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, MO, etc.), as a program that can be executed by a computer (computer). It can be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed by a communication medium. The program stored on the medium side also includes a setting program for configuring the software means (including not only the execution program but also the table and the data structure) to be executed by the computer in the computer. A computer that realizes this device reads a program recorded on a recording medium, constructs software means by a setting program in some cases, and executes the above-mentioned processing by controlling the operation by the software means. The recording medium referred to in the present specification is not limited to distribution, and includes a storage medium such as a magnetic disk or a semiconductor memory provided in a device connected inside a computer or via a network. The storage unit may function as, for example, a main storage device, an auxiliary storage device, or a cache memory.
[Additional Notes]
The claims of the original application of the present application at the time of filing are added below.
[1] Distribution A computer program for distributing a moving image including an animation of a character object generated based on a user's movement, to one or more computer processors.
The acquisition function to acquire the first avatar information including the first part information about the first part of the character,
Based on the first part information acquired by the acquisition function, a specific function for specifying the second part information regarding the second part of the character not included in the first avatar information, and
A computer program that realizes the first part information acquired by the acquisition function and the generation function of generating the second avatar information based on the second part information specified by the specific function. ..
[2] The specific function extracts one or more second part information associated with the first part information, and is based on the user's selection information for the extracted one or more second part information. The computer program according to the above [1], characterized in that the information of the first and second parts is specified.
[3] The acquisition function acquires the first avatar information including the first part information associated with one or more attached object information.
The specific function is characterized in that the second part information including one or more wearing object information associated with the second part is specified based on the one or more wearing object information [1]. Or the computer program described in [2].
[4] The first avatar information is information for generating at least an avatar in which the face operates based on the motion information of the face of the actor acquired by the facial capture function provided in the predetermined information processing terminal. The computer program according to any one of the above [1] to [3].
[5] The second avatar information is information for generating an avatar in which the whole body operates based on the motion information of the whole body of the actor acquired by the motion capture function provided in the predetermined information processing device. The computer program according to any one of the above [1] to [4].
[6] For one or more computers,
A type acquisition function for acquiring the type of avatar information required when the character appears in a program is realized.
The above [1] to [5], wherein the generation function generates the second avatar information when the type acquired by the type acquisition function is the type of the second avatar information. The computer program described in any one section.
[7] For one or more computers,
A judgment function for determining whether or not the second avatar information has already been generated is realized.
As a result of the determination by the determination function, when the second avatar information has not been generated yet and the type acquired by the type acquisition function is the type of the second avatar information, the generation function The computer program according to the above [6], wherein the avatar information is generated.
[8] Any of the above [1] to [7], wherein the specific function specifies the second part information paired with the first part information acquired by the acquisition function. The computer program described in 1.
[9] Distribution An information processing method for distributing a moving image including an animation of a character object generated based on a user's movement, which is applied to one or more computer processors.
The acquisition step of acquiring the first avatar information including the first part information about the first part of the character,
Based on the first part information acquired in the acquisition step, a specific step for specifying the second part information regarding the second part of the character not included in the first avatar information, and a specific step.
Information processing for executing the first part information acquired in the acquisition step and the generation step for generating the second avatar information based on the second part information specified in the specific step. Method.
[10] Distribution An information processing system that distributes a moving image including an animation of a character object generated based on a user's movement, and includes one or more computer processors.
The one or more computer processors
An acquisition unit that acquires the first avatar information including the first part information regarding the first part of the character,
Based on the first part information acquired by the acquisition unit, a specific part that specifies the second part information regarding the second part of the character that is not included in the first avatar information, and a specific part.
An information processing system including a first part information acquired by the acquisition unit and a generation unit specified by the specific unit and generating a second avatar information based on the second part information.

100 情報処理システム
200 視聴ユーザ端末
300 ネットワーク
400 情報処理装置
410 取得部
420 特定部
430 生成部
440 種類取得部
450 判断部


100 Information processing system 200 Viewing user terminal 300 Network 400 Information processing device 410 Acquisition unit 420 Specific unit 430 Generation unit 440 Type acquisition unit 450 Judgment unit


Claims (10)

キャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
第一の配信形式において要求されるキャラクタのデータである第一のアバタ情報を取得する取得機能と、
前記取得機能により取得された前記第一のアバタ情報に基づいて、第二の配信形式において要求される第二のアバタ情報を生成するのに必要な要求情報を特定する特定機能と、
前記取得機能により取得された前記第一のアバタ情報、および、前記特定機能により特定された前記要求情報に基づいて、前記第二のアバタ情報を生成する生成機能と
を実現させる、コンピュータプログラム。
A computer program for delivering video containing animations of character objects to one or more computer processors.
The acquisition function to acquire the first avatar information, which is the character data required in the first distribution format,
A specific function for specifying the required information necessary for generating the second avatar information required in the second distribution format based on the first avatar information acquired by the acquisition function, and
A computer program that realizes the first avatar information acquired by the acquisition function and a generation function that generates the second avatar information based on the request information specified by the specific function.
前記第一の配信形式はモバイル配信の形式であり、
前記第二の配信形式はスタジオ配信の形式であることを特徴とする請求項1に記載のコンピュータプログラム。
The first delivery format is a mobile delivery format.
The computer program according to claim 1, wherein the second distribution format is a studio distribution format.
前記第一の配信形式は、第一の動画配信プラットフォームにおける配信形式であり、
前記第二の配信形式は、前記第一の動画配信プラットフォームとは異なり、かつ、当該第一の動画配信プラットフォームと連携可能な第二の動画配信プラットフォームにおける配信形式であることを特徴とする請求項1または2に記載のコンピュータプログラム。
The first distribution format is a distribution format in the first video distribution platform.
A claim that the second distribution format is different from the first video distribution platform and is a distribution format in a second video distribution platform that can cooperate with the first video distribution platform. The computer program according to 1 or 2.
前記要求情報は、前記第一のアバタ情報から前記第二のアバタ情報を生成するために必要な追加の情報であり、前記第二のアバタ情報は、前記第一のアバタ情報よりも情報量が多いことを特徴とする請求項1、2または3に記載のコンピュータプログラム。 The request information is additional information necessary for generating the second avatar information from the first avatar information, and the second avatar information has a larger amount of information than the first avatar information. The computer program according to claim 1, 2 or 3, characterized in that there are many. 前記取得機能は、一以上の装着オブジェクト情報を含む第一のアバタ情報を取得し、
前記特定機能は、前記一以上の装着オブジェクト情報に基づいて、一以上の装着オブジェクト情報を含む前記要求情報を特定することを特徴とする請求項1、から4のいずれか一項に記載のコンピュータプログラム。
The acquisition function acquires the first avatar information including one or more attached object information, and obtains the first avatar information.
The computer according to any one of claims 1 to 4, wherein the specific function specifies the required information including the one or more attached object information based on the one or more attached object information. program.
前記一又は複数のコンピュータプロセッサに、さらに、
前記キャラクタオブジェクトの生成に要求されるアバタ情報の種類を取得する種類取得機能と、
前記種類取得機能により取得された種類のアバタ情報が既に生成されているか否かを確認する確認機能と、
を実現させ、
前記特定機能は、前記確認機能による判断の結果、前記アバタ情報が未だ生成されていない場合に、前記取得機能により取得された前記第一のアバタ情報に基づいて、前記要求情報を特定し、
前記生成機能は、前記取得機能により取得された前記第一のアバタ情報、および、前記特定機能により特定された前記要求情報に基づいて、前記種類取得機能により取得された種類と同種の前記第二のアバタ情報を生成する請求項1から5のいずれか一項に記載のコンピュータプログラム。
To the one or more computer processors,
A type acquisition function for acquiring the type of avatar information required for generating the character object, and
A confirmation function for confirming whether or not the type of avatar information acquired by the type acquisition function has already been generated, and
Realized,
The specific function identifies the request information based on the first avatar information acquired by the acquisition function when the avatar information has not yet been generated as a result of the determination by the confirmation function.
The generation function is the same type as the second type acquired by the type acquisition function based on the first avatar information acquired by the acquisition function and the request information specified by the specific function. The computer program according to any one of claims 1 to 5, which generates avatar information of the above.
前記第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報であることを特徴とする請求項1から6のいずれか一項に記載のコンピュータプログラム。 The first avatar information is information for generating at least an avatar in which the face operates based on the motion information of the face of the actor acquired by the facial capture function provided in the predetermined information processing terminal. The computer program according to any one of claims 1 to 6, characterized in that. 前記第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報であることを特徴とする請求項1から7のいずれか一項に記載のコンピュータプログラム。 The second avatar information is characterized in that it is information for generating an avatar in which the whole body operates based on the motion information of the whole body of the actor acquired by the motion capture function provided in the predetermined information processing device. The computer program according to any one of claims 1 to 7. キャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、
第一の配信形式において要求されるキャラクタのデータである第一のアバタ情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記第一のアバタ情報に基づいて、第二の配信形式において要求される第二のアバタ情報を生成するのに必要な要求情報を特定する特定ステップと、
前記取得ステップにおいて取得された前記第一のアバタ情報、および、前記特定機能により特定された前記要求情報に基づいて、前記第二のアバタ情報を生成する生成ステップと
を実行させる、情報処理方法。
An information processing method for delivering video containing animations of character objects, to one or more computer processors.
The acquisition step of acquiring the first avatar information which is the character data required in the first distribution format, and
A specific step for specifying the required information necessary for generating the second avatar information required in the second distribution format based on the first avatar information acquired in the acquisition step, and
An information processing method for executing the first avatar information acquired in the acquisition step and the generation step for generating the second avatar information based on the request information specified by the specific function.
キャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、
第一の配信形式において要求されるキャラクタのデータである第一のアバタ情報を取得する取得部と、
前記取得部が取得した前記第一のアバタ情報に基づいて、第二の配信形式において要求される第二のアバタ情報を生成するのに必要な要求情報を特定する特定部と、
前記取得部が取得した前記第一のアバタ情報、および、前記特定部が特定した前記要求情報に基づいて、前記第二のアバタ情報を生成する生成部と
を備える、情報処理システム。
An information processing system that distributes moving images including animation of character objects, equipped with one or more computer processors.
The one or more computer processors
An acquisition unit that acquires the first avatar information, which is the character data required in the first distribution format,
A specific unit that specifies the required information necessary to generate the second avatar information required in the second distribution format based on the first avatar information acquired by the acquisition unit.
An information processing system including the first avatar information acquired by the acquisition unit and a generation unit that generates the second avatar information based on the request information specified by the specific unit.
JP2020072537A 2020-04-14 2020-04-14 Computer program, information processing method and information processing system Active JP7220173B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020072537A JP7220173B2 (en) 2020-04-14 2020-04-14 Computer program, information processing method and information processing system
JP2023011553A JP2023058540A (en) 2020-04-14 2023-01-30 Computer program, information processing method and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020072537A JP7220173B2 (en) 2020-04-14 2020-04-14 Computer program, information processing method and information processing system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019113999A Division JP6692481B1 (en) 2019-06-19 2019-06-19 Computer program, information processing method, and information processing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023011553A Division JP2023058540A (en) 2020-04-14 2023-01-30 Computer program, information processing method and information processing system

Publications (2)

Publication Number Publication Date
JP2021002327A true JP2021002327A (en) 2021-01-07
JP7220173B2 JP7220173B2 (en) 2023-02-09

Family

ID=73995271

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020072537A Active JP7220173B2 (en) 2020-04-14 2020-04-14 Computer program, information processing method and information processing system
JP2023011553A Pending JP2023058540A (en) 2020-04-14 2023-01-30 Computer program, information processing method and information processing system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023011553A Pending JP2023058540A (en) 2020-04-14 2023-01-30 Computer program, information processing method and information processing system

Country Status (1)

Country Link
JP (2) JP7220173B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537824A (en) * 2005-04-08 2008-09-25 エヌエイチエヌ コーポレーション AVATAR PROVIDING SYSTEM AND METHOD THEREOF VARIABLE EXPOSED SITE
JP2015184689A (en) * 2014-03-20 2015-10-22 株式会社Mugenup Moving image generation device and program
JP6491388B1 (en) * 2018-08-28 2019-03-27 グリー株式会社 Video distribution system, video distribution method, and video distribution program for live distribution of a video including animation of a character object generated based on the movement of a distribution user
JP6526898B1 (en) * 2018-11-20 2019-06-05 グリー株式会社 Video distribution system, video distribution method, and video distribution program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537824A (en) * 2005-04-08 2008-09-25 エヌエイチエヌ コーポレーション AVATAR PROVIDING SYSTEM AND METHOD THEREOF VARIABLE EXPOSED SITE
JP2015184689A (en) * 2014-03-20 2015-10-22 株式会社Mugenup Moving image generation device and program
JP6491388B1 (en) * 2018-08-28 2019-03-27 グリー株式会社 Video distribution system, video distribution method, and video distribution program for live distribution of a video including animation of a character object generated based on the movement of a distribution user
JP6526898B1 (en) * 2018-11-20 2019-06-05 グリー株式会社 Video distribution system, video distribution method, and video distribution program

Also Published As

Publication number Publication date
JP7220173B2 (en) 2023-02-09
JP2023058540A (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US11256901B2 (en) Image information processing method and apparatus, and computer storage medium
CN112598785B (en) Method, device and equipment for generating three-dimensional model of virtual image and storage medium
US11452941B2 (en) Emoji-based communications derived from facial features during game play
TW201911082A (en) Image processing method, device and storage medium
WO2020150686A1 (en) Systems and methods for face reenactment
US20140022238A1 (en) System for simulating user clothing on an avatar
WO2019154339A1 (en) Method and device for generating special effect program file package, method and device for generating special effect, and electronic device
US11750873B2 (en) Video distribution device, video distribution method, and video distribution process
CN110147737B (en) Method, apparatus, device and storage medium for generating video
TW202009682A (en) Interactive method and device based on augmented reality
JP6692481B1 (en) Computer program, information processing method, and information processing system
KR20190134030A (en) Method And Apparatus Creating for Avatar by using Multi-view Image Matching
JP6340313B2 (en) Modeling system, modeling program, and modeling method
CN113362263A (en) Method, apparatus, medium, and program product for changing the image of a virtual idol
CN114049468A (en) Display method, device, equipment and storage medium
JP7370525B2 (en) Video distribution system, video distribution method, and video distribution program
JP6907331B2 (en) Methods and systems for providing dynamic content for facial recognition cameras
JP2018151966A (en) Information processing apparatus and program
JP7220173B2 (en) Computer program, information processing method and information processing system
TWI332639B (en) Method for displaying expressional image
JP7314509B2 (en) Information processing device, information processing method and program
WO2023035725A1 (en) Virtual prop display method and apparatus
RU148909U1 (en) DEVICE FOR SELECTION OF GOODS SUITING THE USER&#39;S SIZES
JP2020077270A (en) Method for generating 3D object arranged in virtual reality space
JP6804781B1 (en) Information processing system, information processing method and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R150 Certificate of patent or registration of utility model

Ref document number: 7220173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150