JP2022138739A - Processing apparatus for animation generation and distribution, animation generation and distribution method, and animation generation and distribution program - Google Patents
Processing apparatus for animation generation and distribution, animation generation and distribution method, and animation generation and distribution program Download PDFInfo
- Publication number
- JP2022138739A JP2022138739A JP2021038796A JP2021038796A JP2022138739A JP 2022138739 A JP2022138739 A JP 2022138739A JP 2021038796 A JP2021038796 A JP 2021038796A JP 2021038796 A JP2021038796 A JP 2021038796A JP 2022138739 A JP2022138739 A JP 2022138739A
- Authority
- JP
- Japan
- Prior art keywords
- data
- moving image
- distribution
- generating
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 title claims description 170
- 238000000034 method Methods 0.000 title claims description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims description 70
- 238000004891 communication Methods 0.000 claims description 23
- 230000008921 facial expression Effects 0.000 claims description 16
- 238000007405 data analysis Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000008451 emotion Effects 0.000 claims description 5
- 241000282412 Homo Species 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 238000011161 development Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 238000012546 transfer Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010195 expression analysis Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Abstract
Description
本発明は、動画生成配信処理装置、動画生成配信方法、および動画生成配信プログラムに関し、特に、ユーザによって入力された情報等によって、動画を作成し、配信する装置等に関する。 The present invention relates to a moving image generation and distribution processing device, a moving image generation and distribution method, and a moving image generation and distribution program, and more particularly to a device for generating and distributing a moving image based on information input by a user.
従来、インターネットやテレビを介して提供される動画として、コンピュータグラフィックによって作成したものや、実画像に前記コンピュータグラフィックを合成して作成したものが見られる。 2. Description of the Related Art Conventionally, moving images provided via the Internet or television have been created using computer graphics or created by synthesizing actual images with the computer graphics.
上記先行技術は、ユーザの選択に応じて変化する動画を、容易に作成することが可能な動画作成システムを提供しているが、ユーザに求める選択操作が複雑な上、再生環境が限られ、動画を提供した際の感想などのフィードバックも取得できない。 The prior art described above provides a moving picture creation system that can easily create a moving picture that changes according to the user's selection. Feedback such as impressions when providing videos cannot be obtained.
本願発明は上記事情に鑑みてなされたものであり、ユーザの操作を極力減らし、再生環境を問わずに、顧客の詳細なフィードバックが得られるような装置を提供する。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and provides an apparatus that minimizes user operations and allows detailed customer feedback to be obtained regardless of the reproduction environment.
前記課題を解決するために、請求項１の発明は、動画を生成及び配信する動画生成配信装置であって、入力データを受信するデータ受信手段と、前記データ受信手段で受け取った前記入力データから生成された入力加工データを用いて動画データを生成する動画生成手段と、受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定手段と、受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信手段と、前記動画配信手段にて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成手段と、を備えることを特徴としている。
In order to solve the above-mentioned problems, the invention of
請求項２の発明は、動画を生成及び配信する動画生成配信装置であって、入力データを受信するデータ受信手段と、前記データ受信手段で受け取った前記入力データから生成された入力加工データを用いてＨＴＭＬファイルを生成するＨＴＭＬ生成手段と、受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定手段と、受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信手段と、前記動画配信手段にて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成手段と、を備えることを特徴としている。 According to a second aspect of the invention, there is provided a motion picture generation and distribution apparatus for generating and distributing a motion picture, which uses data receiving means for receiving input data and input processed data generated from the input data received by the data receiving means. branch data setting means for setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system; a moving image distribution means for distributing a moving image using the input data, the pre-stored data, and the data generated by the system; and a transmission source identification code generation means for generating the transmission source identification code.
請求項３の発明は、前記データ受信手段で受け取った前記入力データの展開を行うファイル展開手段と、前記ファイル展開手段で展開された展開データを解析するファイル解析手段と、前記ファイル解析手段で生成された展開解析データからテキスト抽出を行うテキスト抽出手段と、前記テキスト抽出手段で抽出したテキストデータから音声データを生成する音声合成手段と、を備えることを特徴としている。 According to a third aspect of the present invention, a file developing means for expanding the input data received by the data receiving means, a file analyzing means for analyzing the expanded data expanded by the file expanding means, and a file generated by the file analyzing means. text extracting means for extracting text from the developed analysis data; and speech synthesizing means for generating speech data from the text data extracted by the text extracting means.
請求項４の発明は、前記生成されたＨＴＭＬファイルはＨＴＭＬ５にて記述され、ＨＴＭＬ５で表現するイメージやリンク情報を動画として扱う、又は動画ファイルを埋め込み配信を行う、ことを特徴としている。 According to a fourth aspect of the present invention, the generated HTML file is described in HTML5, and images and link information expressed in HTML5 are handled as moving images, or the moving image files are embedded and distributed.
請求項５の発明は、前記ＨＴＭＬファイルを直接編集可能なＨＴＭＬ編集手段と、を備えることを特徴としている。
The invention of
請求項６の発明は、前記送信元識別符号生成手段は視聴者毎に生成され、送信元識別符号毎のデータを取得、データ解析を可能とするアクセスデータ分析手段と、を備えることを特徴としている。
The invention according to
請求項７の発明は、会議システムと連携する会議システム連携手段と、前記会議システム連携手段で連携した会議システムと通信を行う会議通信手段と、を備えることを特徴としている。 The invention according to claim 7 is characterized by comprising conference system cooperation means for cooperating with a conference system, and conference communication means for communicating with the conference system cooperated by the conference system cooperation means.
請求項８の発明は、表情、感情又は人間が発するデータを読み取る人感データ取得デバイスと、を備えることを特徴としている。
The invention of
請求項９の発明は、前記人感データ取得デバイスから読み取った人感データを認識する人感データ認識手段と、認識された前記人感データを解析する人感データ解析手段と、を備えることを特徴としている。 According to the ninth aspect of the present invention, there is provided human feeling data recognition means for recognizing human feeling data read from the human feeling data acquisition device, and human feeling data analyzing means for analyzing the recognized human feeling data. Characterized by
本発明によれば、ユーザの操作を極力減らすことが可能となるだけでなく、再生環境を問わず、様々なユーザから感想等のフィードバックを取得することが可能となる。 According to the present invention, not only can user operations be reduced as much as possible, but feedback such as impressions can be obtained from various users regardless of the reproduction environment.
以下、添付図面を参照しながら本発明の実施の形態について説明する。以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The following embodiments are examples for explaining the present invention, and are not intended to limit the present invention only to the embodiments. Also, the present invention can be modified in various ways without departing from the gist thereof. Furthermore, in each drawing, the same reference numerals are given to the same constituent elements as much as possible, and redundant explanations are omitted.
［１．動画生成配信システムＳの構成及び機能概要］
先ず、本実施形態に係る動画生成配信システムＳの構成及び機能概要について、図１を用いて説明する。図１は、本実施形態に係る動画生成配信システムＳの概要構成の一例を示す図である。
[1. Configuration and Function Overview of Moving Image Generation and Distribution System S]
First, the configuration and functional overview of a moving image generation and distribution system S according to this embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of a schematic configuration of a moving image generation/distribution system S according to this embodiment.
図１に示すように、動画生成配信システムＳは、システム管理者２等が管理する動画生成配信処理装置１０ （ 以下、処理装置１０と略す） 、システム管理者２等が管理するシステム管理者等端末２０、動画製作者３等が管理する動画製作者等端末３０、管理者を問わない動画生成外部処理装置４０ （ 以下、外部処理装置４０と略す）、動画の視聴者５等が操作する複数の視聴者等端末５０、及び自社又は他社の会議システム処理装置６０とは、ネットワークＮＷを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されている。
As shown in FIG. 1, a moving picture generation and distribution system S includes a moving picture generation and distribution processing device 10 (hereinafter abbreviated as processing device 10) managed by a
処理装置１０は、管理する者は特定しないが、例えば動画配信業者といったシステム管理者２等が管理する。処理装置１０の詳細は後述するが、サーバ装置等で構築され、内部の記憶部に動画製作者及び視聴者のデータベースや処理プログラム等を有しており、動画生成配信システムの中核となる装置である。
The
システム管理者等端末２０は管理する者は特定しないが、例えば特定のシステム管理者２等が保有、もしくは契約をしている通信機機能を有した汎用端末であり、パソコンであってもよく、タブレット等でも良い。
The person who manages the terminal 20, such as the system administrator, is not specified, but for example, it is a general-purpose terminal with a communication function that is owned by, or has a contract with, a
動画製作者等端末３０は動画製作者３等が管理、保有、もしくは契約をしている通信機機能を有した汎用端末であり、パソコンであってもよく、タブレット、もしくはスマートフォン等でも良い。内部にＷＥＢブラウザアプリケーションを有している、もしくは専用アプリケーションを有しており、それらを使って、ネットワークＮＷを介し、処理装置１０に接続を行って、プレゼンテーションファイルの転送を行い、動画生成指示を行う。
The moving
外部処理装置４０は、管理する者は特定しないが、例えば自動動画生成業者又は動画製作業者といった者が管理しても良いし、システム管理者２が管理しても良い。外部処理装置４０の詳細は後述するが、サーバ装置などで構築され、内部の記憶部に処理プログラム等を有しており、処理装置１０と並び動画生成配信システムの中核となる装置である。外部処理装置４０は処理装置１０と一体として、設置しないシステムを構築しても良い。
Although the person who manages the
視聴者等端末５０は、管理する者は特定しないが、例えば動画を視聴する視聴者５、つまり動画製作者の顧客又は製作者の社員等が動画を視聴するために保有、もしくは契約をしている通信機機能を有した汎用端末であり、スマートフォンであってもよく、タブレット、もしくはパソコン等でも良い。内部にＷＥＢブラウザアプリケーションを有している、もしくは専用アプリケーションを有しており、それらを使って、ネットワークＮＷを介し、処理装置１０に接続を行って、動画の視聴を行う。また視聴者等端末５０にはＷＥＢカメラ、脈拍計測計、体温計測計、ウェアラブルデバイスといった、人間の感情や体の変化を読み取る人感データ取得デバイス５１Ｄを接続しても良い。
Although the administrator of the
会議システム処理装置６０は、自社又は他社のＷＥＢ会会議システム処理装置である。具体的にはｚｏｏｍ（登録商標）、Ｔｅａｍｓ（登録商標）といった大手通信業者の会議システムでもよいし、処理装置１０と一体として自社の会議システムを用いても良い。会議システム処理装置６０はあってもなくても良い。
The conference
［２．処理装置１０の構成］
次に、図２を参照しながら、処理装置１０ の構成について説明する。
[2. Configuration of processing device 10]
Next, the configuration of the
図２は本実施形態に係る処理装置１０の概要構成の一例を示すブロック図である。図２に示すように処理装置１０は、通信制御部１０１と、入出力インターフェース部１０２と、処理部１０３と、及び記憶部１０４と、を備えている。
FIG. 2 is a block diagram showing an example of a schematic configuration of the
処理装置１０は複数のサーバ装置で構成されてもよい。例えば、リクエストに応じてＷＥＢページを送信するサーバ装置、及びデータベースを管理するサーバ装置等が、互いにＬＡＮ等で接続されてもよい。
The
通信制御部１０１は汎用の通信プロトコル制御部から構成され、ネットワークＮＷ、及び他端末に接続して、システム管理者２等が管理するシステム管理者等端末２０、動画製作者３等が管理する動画製作者等端末３０、外部処理装置４０及び視聴者５等が管理する視聴者等端末５０との通信状態を制御する。
The communication control unit 101 is composed of a general-purpose communication protocol control unit, is connected to the network NW and other terminals, and is connected to the
入出力インターフェース部１０２は、通信制御部１０１、処理部１０３及び記憶部１０４各部との間のインターフェース処理を行う。
The input/
処理部１０３は不図示であるが、記憶部１０４に格納されているプログラムをＣＰＵ等が実行することにより各手段の機能を実現することができる。以下、処理部１０３内の各手段の機能について説明する。
Although the
データ受信手段１１１は、動画製作者等端末３０から動画製作者３等が作成したプレゼンテーションファイル１４２、音楽・背景データ１４４及び指示等、並びに外部処理装置４０等が生成した音声・動画データ１４５（以下、データ１４２乃至１４５を入力データという）を受信する。ここでデータ受信手段１１１が受信する入力データはプレゼンテーションファイル１４２、アバターデータ１４３、音楽・背景データ１４４及び音声・動画データに限られず、あらゆるデータを指す。
The data receiving means 111 receives the
アバター設定手段１１２、音楽設定手段１１３及び背景設定手段１１４の機能については後述する実施例において説明する。データ選択手段１１５は入力データ、事前保管データ（システム管理者２等が登録した、記憶部１０４が事前に保管しているデータ、以下同じ）又は処理装置１０が自ら生成した等から音声・動画データ１４５等から使用するデータを選択する。具体的な選択方法は後述する実施例において説明する。
The functions of the avatar setting means 112, the music setting means 113, and the background setting means 114 will be explained in the embodiments described later. Data selection means 115 selects audio/video data from input data, pre-stored data (data stored in advance in
分岐データ設定手段１１６は入力データ１４２乃至１４５、事前保管データ、後述する入力加工データ、動画データ及びＨＴＭＬファイルから、次に配信するデータを分岐させる分岐データを設定する。例えば、視聴者５等が動画を視聴している途中で一旦視聴者５に回答又は選択させ、回答又は選択した内容によって再生させる動画を変化又はログを取得する分岐データを設定する。具体的な設定方法は後述する実施例において説明する。
The branch data setting means 116 sets branch data for branching data to be distributed next from the
ファイル展開手段１１７及びファイル解析手段１１８は動画製作者３等が作成したプレゼンテーションファイル１４２等の入力データのファイルに含まれる画像、テキストといったデータ毎に展開をし、解析を行う。ファイル展開手段１１７及びファイル解析手段１１８が扱うファイルはプレゼンテーションファイル１４２に限らず、様々なファイルを解析可能な機能を持たせても良い。
The file expansion means 117 and the file analysis means 118 expand and analyze each data such as images and texts included in the input data files such as the
データ送信手段１１９はファイル展開手段１１７及びファイル解析手段１１８が展開及び解析したデータ（以下、展開解析データという）をシステム管理者等端末２０、動画製作者等端末３０及び外部処理装置４０に送信する。展開解析データを受信したシステム管理者等端末２０及び動画製作者等端末３０は展開解析データを確認しながら、さらに動画作成に必要な展開解析データを修正することが可能となる。展開解析データを受け取った外部処理装置４０は受信した展開解析データを用いて音声合成処理及び動画作成処理を行う。
The data transmission means 119 transmits the data developed and analyzed by the file expansion means 117 and the file analysis means 118 (hereinafter referred to as expansion analysis data) to the
送信元識別符号生成手段１２０は処理装置１０自ら又は外部処理装置４０が生成した動画、例えばＨＴＭＬ５で表現するイメージやリンク情報を動画として扱った場合、当該動画を再生させる送信元識別符号であるＵＲＬ（Uniform Resource Locator）を生成する。同一動画であっても、視聴者５等毎のログ生成手段や分岐データを設定した場合は、視聴者５毎の送信元識別符号を生成しても良い。
The transmission source identification code generating means 120 treats a moving image generated by the
動画再生手段１２１は動画の再生を行い。動画配信手段１２２は入力データ、事前保管データ、後述する入力加工データ、生成された動画データ、生成されたＨＴＭＬファイル及び分岐データを使用して動画を視聴者５に配信する。例えば、動画再生手段１２１及び動画配信手段１２２は独自の動画データを再生手段及び配信手段を用いて行っても良いし、ＨＴＭＬ５で表現するイメージやリンク情報を動画として扱い、さらに動画ファイルを埋め込んで配信を行っても良いし、再生及び配信方法は問わない。
The moving picture reproducing means 121 reproduces moving pictures. The moving image distribution means 122 distributes the moving image to the
ＨＴＭＬ編集手段１２３は生成されたＨＴＭＬ５を動画製作者３が動画製作者等端末３０を用いて直接編集する。動画製作者３が動画又はＨＴＭＬを生成後にプレビューで誤りに気づいた場合、プレゼンテーションファイルを修正するだけでなく、生成されたＨＴＭＬをＨＴＭＬ編集手段１２３を用いて直接編集を行うことができる。ＨＴＭＬ編集手段１２３は動画製作者等端末３０に編集可能な環境を独自のエディタを用いて提供する。
The HTML editing means 123 directly edits the generated HTML5 by the moving
人感データ展開手段１２４は、視聴者等端末５０に視聴者５の表情を収録する人感データ取得デバイス５１Ｄ（例えばＷＥＢカメラ）が接続され、表情データを取得することができた場合に、データ受信手段１１１から受信した当該表情データを展開する。展開された当該表情データは、後述する外部処理装置４０内で表情の意味を解析しても良いし、処理装置１０内で解析しても良い。
Human feeling data expansion means 124 is connected to human feeling data acquisition device 51D (e.g., WEB camera) for recording facial expression of
アクセスデータ分析手段１２５は、送信元識別符号毎に視聴者等端末５０で視聴（配信）されたデータを分析する。配信時間、分岐データの分岐結果及び表情データ解析結果などから、視聴者等端末５０毎のデータを解析して、どの視聴者等端末５０がどの箇所に興味を持ったか解析することが可能となる。実際の解析手段は統計解析手段でクラスタリング又は主成分分析などを行う。
The access data analysis means 125 analyzes the data viewed (distributed) by the terminal 50 such as the viewer for each transmission source identification code. It is possible to analyze which
会議システム連携手段１２６は会議システム処理装置６０と連携を実現する。具体的にはあらかじめ各会議システム処理装置６０の接続ＵＲＬ等を有し、ネットワークＮＷを通じて会議室ＩＤと呼ばれる会議室固有の数値を取得しても良いし、会議システム連携手段１２６がローカルで生成しても良い。生成されたＩＤを用いて会議システム処理装置６０と接続を行う。
The conference system cooperation means 126 realizes cooperation with the conference
会議システム通信手段１２７は、会議システム連携手段１２６が取得又は生成したＩＤを用いて会議システム処理装置６０と通信を実現する。具体的にはあらかじめ各会議システム処理装置６０から送られてきた通信データを基にＷＥＢ会議を実現する。ＷＥＢブラウザ上で実現しても良いし、独自のアプリケーションでもよいし、実現できなくても良い。
The conference system communication means 127 implements communication with the conference
記憶部１０４は、例えばハードディスクドライブ及びＳＳＤ等により構成されている。この記憶部１０４には、入力データ及び事前保管データである製作者・視聴者データ１４１、プレゼンテーションファイル１４２、アバターデータ１４３、音楽・背景データ１４４及び音声・動画データ等のデータベースが構築されている。なお、記憶部１０４は、本発明における記憶手段及び入力及び事前保管データ記憶手段の一例である。
The
［３．外部処理装置４０の構成］
次に、図３を参照しながら、外部処理装置４０ の構成について説明する。
[3. Configuration of external processing device 40]
Next, the configuration of the
図３は本実施形態に係る外部処理装置４０の概要構成の一例を示すブロック図である。図３に示すように外部処理装置４０は、通信制御部４０１と、入出力インターフェース部４０２と、処理部４０３と、及び記憶部４０４と、を備えている。各部の機能は処理装置１０の１０１乃至１０４同様である。
FIG. 3 is a block diagram showing an example of a schematic configuration of the
外部処理装置４０は複数のサーバ装置で構成されてもよい。例えば、リクエストに応じてＷＥＢページを送信するサーバ装置、及びデータベースを管理するサーバ装置等が、互いにＬＡＮ等で接続されてもよいし、処理装置１０と一体化して扱っても良く、以下に記載する手段は処理装置１０で実現させても良い。
The
以下、処理部４０３内の各手段の機能について説明する。
データ受信手段４１１は、処理装置１０が生成した展開解析データを受信する。ここでデータ受信手段４１１が受信する入力データは展開解析データに限られず、単純なテキストデータ及び画像データ等、あらゆるデータを指す。
The function of each unit in the processing unit 403 will be described below.
The data receiving means 411 receives the deployment analysis data generated by the
ファイル展開手段４１２及びファイル解析手段４１３はデータ受信手段４１１で受信した展開解析データをさらに展開をし、解析を行う。ファイル展開手段４１２及びファイル解析手段４１３が扱うファイルは展開解析データに限らず、様々なファイルを解析可能な機能を持たせても良い。 The file development means 412 and the file analysis means 413 further develop and analyze the development analysis data received by the data reception means 411 . The files handled by the file expansion means 412 and the file analysis means 413 are not limited to expansion analysis data, and may be provided with a function capable of analyzing various files.
テキスト抽出手段４１４はデータ受信手段４１１で受信した展開解析データからテキスト抽出を行う。テキスト抽出手段４１４が扱うファイルは展開解析データに限らず、様々なファイルを抽出可能な機能を持たせても良い。 The text extracting means 414 extracts text from the expansion analysis data received by the data receiving means 411 . The files handled by the text extracting means 414 are not limited to expansion analysis data, and may be provided with a function capable of extracting various files.
音声合成手段４１５はテキスト抽出手段４１４で抽出したテキストデータ又はデータ受信手段４１１で受信した展開解析データからアバターに合わせた音声データを生成する。音声合成手段４１５により、プレゼンテーションファイル１４２等に記載されたテキストを、アバターが読み上げる音声データとして生成し、動画内に埋め込むことが可能となる。音声合成手段４１５が扱うファイルはテキストデータ及び展開解析データに限らず、様々なファイルから音声生成させる機能を持たせても良い。
The voice synthesizing means 415 generates voice data suitable for the avatar from the text data extracted by the text extracting means 414 or the expansion analysis data received by the data receiving means 411 . The voice synthesizing means 415 can generate the text described in the
動画生成手段４１６及びＨＴＭＬ生成手段４１７はファイル展開手段４１２及びファイル解析手段４１３で展開及び解析したデータ、並びに音声合成手段４１５で生成した音声データ（以下総じて、入力加工データという）から動画データ又はＨＴＭＬファイルを生成する。入力加工データは、処理装置１０が受信した入力データから処理装置１０内の各手段を通じて展開解析データを生成し、当該展開解析データを受信した外部処理装置４０等が各手段を用いて生成する。当該入力加工データからの動画データ又はＨＴＭＬファイル生成方法は既存の技術を利用しても良いし、独自の技術を利用しても良いし、方法は問わない。
Animation generation means 416 and HTML generation means 417 generate animation data or HTML from data developed and analyzed by file development means 412 and file analysis means 413 and audio data generated by audio synthesis means 415 (hereinafter generally referred to as input processed data). Generate files. The input processing data is generated by generating development analysis data from the input data received by the
データ転送手段４１８は動画生成手段４１６及びＨＴＭＬ生成手段４１７で生成した動画又はＨＴＭＬファイルを通信制御部４０１を介してネットワークＮＷ、及び他端末に接続し、処理装置１０に転送する。転送された動画又はＨＴＭＬファイルは処理装置１０から視聴者５等に配信され、視聴が可能となる。
The data transfer means 418 connects the moving picture or HTML file generated by the moving picture generating means 416 and the HTML generating means 417 to the network NW and other terminals via the
人感データ認識手段４１９は顔認識アルゴリズム等を備え、受信した人感データを取得して、その表情データといった人感データがどのような意味を持つか認識する。認識方法の一つである顔認識アルゴリズムは核非線形相互部分空間法でも良いし、摂動空間法を用いても良いし、方法は定めない。 The human feeling data recognition means 419 has a face recognition algorithm or the like, acquires the received human feeling data, and recognizes the meaning of the human feeling data such as facial expression data. The face recognition algorithm, which is one of the recognition methods, may be a nuclear nonlinear mutual subspace method or a perturbation space method, and the method is not specified.
人感データ解析手段４２０は人感データ認識手段４１９で認識した表情及び姿勢をとった際に視聴者５等がどのような行動を行ったか行動パターンデータを有しており、当該行動パターンデータから人感データに重み（行動結果分析データ）を付与する。付与されたデータは人感解析データとして、処理装置１０へ転送する。
The human feeling data analysis means 420 has action pattern data indicating how the
［４．処理装置１０及び外部処理装置４０による動画生成実施例］
次に本実施形態に係る動画製作者等端末３０を用いて、処理装置１０及び外部処理装置４０による、動画生成実施例について図４乃至及び図１１を参照しながら説明する。図４は、本実施形態に係る処理装置１０及び外部処理装置４０が動画生成する際における処理例を示すフローチャート図、図５は本実施形態に係る動画製作者等端末３０に表示されるログイン画面の一例、図６は本実施形態に係る動画製作者等端末３０に表示される動画生成初期画面の一例、図７は本実施形態に係る動画製作者等端末３０に表示されるプレゼンテーションファイル指定画面の一例、図８は本実施形態に係る動画製作者等端末３０に表示されるプレゼンテーションファイル指定画面にてプレゼンテーションファイルのアップロードを行っている一例、図９は本実施形態に係る動画製作者等端末３０に表示される動画生成初期画面にてプレゼンテーションファイルのアップロードを行っている状態の一例、図１０は本実施形態に係る動画製作者等端末３０に表示される動画生成初期画面にてプレゼンテーションファイルのアップロードが完了した状態の一例及び図１１は本実施形態に係る動画製作者等端末３０に表示される設定・編集画面の一例を示す図である。
[4. Example of video generation by processing
Next, an example of moving image generation by the
（ステップＳ１１）
動画製作者等端末３０は動画製作者３等の接続要求操作により、処理装置１０は動画製作者等端末３０へログインフォームデータを送信する。動画製作者等端末３０の表示部には、例えば図５のようなログイン画面が表示され入力待ち状態となる。動画製作者３等はシステム管理者２等から指定されたログインＩＤを入力ボックス３０１に、設定したパスワードを３０２に入力し、ログインボタン３０３を押下又はクリックをする。動画製作者等端末３０は処理装置１０へログイン入力データを送信する。
(Step S11)
The
（ステップＳ１２）
入力されたログインデータが正しい場合、処理装置１０は動画製作者等端末３０へ動画生成初期画面データを送信する。動画製作者等端末３０の表示部には、例えば図６のような動画生成初期画面が表示され入力待ち状態となる。
(Step S12)
If the input login data is correct, the
（ステップＳ１３）
動画製作者等端末３０にて動画製作者３等が新規作成ボタン３１４を押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へプレゼンテーションファイル指定画面データを送信する。動画製作者等端末３０の表示部には、例えば図７のようなプレゼンテーションファイル指定画面が表示され入力待ち状態となる。動画製作者等端末３０にて動画製作者３等はファイル選択ボタン３５１を押下又はクリック後、ＯＳのファイル指定方法によってプレゼンテーションファイルを選択しても良いし、ファイル名をテキストボックス３５２に直接入力してもよい。
(Step S13)
When the moving
（ステップＳ１４）
動画製作者等端末３０にて動画製作者３等がアップロードボタン３５３を押下又はクリックを行った場合、動画製作者等端末３０は処理装置１０へ指定された入力データとなるプレゼンテーションファイルを送信する。動画製作者等端末３０の表示部には、例えば図８のように、入力データとなるプレゼンテーションファイルがアップロードを行っている状態が表示される。動画製作者等端末３０の表示部は、図８に示す通り送信中アニメ３５４及び進捗を表すプログレスバー３５５を表示してもよい。
(Step S14)
When the moving
（ステップＳ１５）
処理装置１０がすべての入力データとなるプレゼンテーションファイルを受信した場合、例えば図９のような動画生成初期画面に戻っても良い。処理装置１０が自身で、又は外部処理装置４０で動画又はＨＴＭＬファイルを生成している間は、図９の生成中アニメ３１５を表示しても良い。処理装置１０又は外部処理装置４０はファイル展開手段１１７及びファイル解析手段１１８、又はファイル展開手段４１２及びファイル解析手段４１３にてプレゼンテーションファイルを解析し、入力加工データを生成後、動画生成手段４１６及びＨＴＭＬ生成手段４１７で動画又はＨＴＭＬを生成する。
(Step S15)
When the
（ステップＳ１６）
処理装置１０又は外部処理装置４０が動画又はＨＴＭＬファイルの生成が完了した際には、例えば図１０のような生成が完了したことを表す動画生成初期画面に戻っても良い。ログアウトボタン３１８を押下又はクリックした際は終了となるが、押下又はクリックしない際はステップＳ１２の操作待ち状態となる。
(Step S16)
When the
（ステップＳ１７）
動画製作者等端末３０にて動画製作者３等が編集ボタン３１６を押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へ設定・編集画面データを送信する。動画製作者等端末３０の表示部には、例えば図１１のような設定・編集画面が表示され入力待ち状態となる。動画の設定、編集の方法に関しては後述する。
(Step S17)
When the moving
（ステップＳ１８）
動画製作者等端末３０にて動画製作者３等が終了ボタン５０１を押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へ再度動画生成初期画面データを送信する。動画製作者等端末３０の表示部には、例えば図６のような動画生成初期画面が表示されステップＳ１２の操作待ち状態となる。
(Step S18)
When the moving
（ステップＳ１９）
動画製作者等端末３０にて動画製作者３等がプレビューボタン３１７を押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へプレビュー画面データを送信し、動画製作者３等はプレビューを見ることができる。
(Step S19)
When the moving
（ステップＳ２０）
プレビュー終了後、図示しないが動画製作者等端末３０にて動画製作者３等が終了ボタンを押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へ再度動画生成初期画面データを送信する。動画製作者等端末３０の表示部には、例えば図６のような動画生成初期画面が表示されステップＳ１２の操作待ち状態となる。
(Step S20)
After the preview is finished, when the moving
［５．処理装置１０による動画編集実施例］
次に本実施形態に係る動画製作者等端末３０を用いて、処理装置１０による、動画編集実施例について図１２乃至及び図１８を参照しながら説明する。図１２は本実施形態に係る処理装置１０が動画編集する際における処理例を示すフローチャート図、図１３は本実施形態に係る動画製作者等端末３０に表示される設定・編集画面のセリフ編集画面の一例を示す図、図１４は本実施形態に係る動画製作者等端末３０に表示される設定・編集画面のテロップ編集画面の一例を示す図、図１５は本実施形態に係る動画製作者等端末３０に表示される設定・編集画面の分岐データ設定編集画面の一例を示す図、図１６は本実施形態に係る動画製作者等端末３０に表示される設定・編集画面のＨＴＭＬ編集画面の一例を示す図及び図１８は本実施形態に係る動画製作者等端末３０に表示される設定画面の一例を示す図である。
[5. Example of video editing by processing device 10]
Next, an example of video editing by the
（ステップＳ３１）
動画製作者等端末３０はステップＳ１７に分岐した際に、処理装置１０は動画製作者等端末３０へログインフォームデータを送信する。動画製作者等端末３０の表示部には、例えば図１１のような設定・編集画面が表示され入力待ち状態となる。
(Step S31)
When the moving
（ステップＳ３２）
動画製作者等端末３０にて動画製作者３等が「セリフ」タブ５０２又は「テロップ」タブ５０３を押下又はクリックを行った場合、処理装置１０はファイル展開手段１１７及びファイル解析手段１１８にてプレゼンテーションファイルを解析し、テキストデータを抽出する。処理装置１０はプレゼンテーションファイルを受信したステップＳ１５段階でテキストデータを抽出しても良い。
(Step S32)
When the moving
（ステップＳ３３）
ステップＳ３２でテキストを抽出すると、処理装置１０は動画製作者等端末３０へセリフ及びテロップ編集画面データを送信する。動画製作者等端末３０の表示部には、例えば図１３及び図１４のように、セリフテキスト表示エリア５１１に解析抽出したセリフテキスト及びテロップテキストを表示してもよい。動画製作者等端末３０にて動画製作者３等は、シーン選択ボタン５０７でシーンを選択し、セリフ及びテロップを入力修正することが可能となる。
(Step S33)
After extracting the text in step S32, the
（ステップＳ３４）
動画製作者等端末３０にて動画製作者３等がテキストの編集が完了し、終了ボタン５０１を押下又はクリックした際は編集・設定が終了となるが、押下又はクリックしない際はステップＳ３１の操作待ち状態となる。
(Step S34)
When the moving
（ステップＳ３５）
動画製作者等端末３０にて動画製作者３等が「分岐」タブ５０３を押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へ分岐データ設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図１５のような設定・編集画面が表示され入力待ち状態となる。図１５のような画面の場合、動画製作者３等が分岐数を分岐数設定ボックス５１２で分岐データを設定する。設定された分岐数は動画製作者等端末３０から処理装置１０の分岐データ設定手段１１６によって分岐数が設置され、処理装置１０は動画製作者等端末３０へ、分岐ボタン５１６及び５１６がプレビュー画面５０６に表示データを送信する。
(Step S35)
When the moving
（ステップＳ３６）
処理装置１０の分岐データ設定手段１１６を用いて、動画製作者等端末３０のプレビュー画面５０６に表示された分岐ボタン５１６及び５１６はドラッグ等でボタンの位置や形を修正及び設定を行う。
(Step S36)
The branch buttons 516 and 516 displayed on the
（ステップＳ３７）
さらに処理装置１０の分岐データ設定手段１１６を用いて、シーン選択ボタン５０７及び５１４を用いて分岐シーンを設定し、設定ボタン５１７を押下又はクリックする。動画製作者等端末３０にて動画製作者３等が分岐データの設定を完了し、終了ボタン５０１を押下又はクリックした際は終了となるが、押下又はクリックしない際はステップＳ３１の操作待ち状態となる。
(Step S37)
Further, using the branch data setting means 116 of the
（ステップＳ３８）
動画製作者等端末３０にて動画製作者３等が「ＨＴＭＬ」タブ５０５を押下又はクリックを行った場合、処理装置１０はＨＴＭＬ編集手段１２３にてＨＴＭＬファイルを展開する。
(Step S38)
When the moving
（ステップＳ３９）
処理装置１０は動画製作者等端末３０へＨＴＭＬ編集画面データを送信する。動画製作者等端末３０の表示部には、例えば図１６のように、ＨＴＭＬ表示エリア５１９に展開したセリフテキスト及びテロップテキストを表示してもよい。動画製作者等端末３０にて動画製作者３等は、シーン選択ボタン５０７でシーンを選択し、ＨＴＭＬ文に知識がある動画製作者３等は、ＨＴＭＬ文を直接入力修正することが可能となる。
(Step S39)
The
（ステップＳ４０）
動画製作者等端末３０にて動画製作者３等がテキストの編集をすると、処理装置１０はＨＴＭＬ編集手段１２３にてＨＴＭＬファイルを再コンパイルする。終了ボタン５０１を押下又はクリックした際は終了となるが、押下又はクリックしない際はステップＳ３１の操作待ち状態となる。
(Step S40)
When the moving
（ステップＳ４１）
動画製作者等端末３０にて動画製作者３等が「会議Ｓ」タブ５２０を押下又はクリックを行った場合、処理装置１０はあらかじめ有している連携可能な会議システムを会議システム連携手段１２６にて展開する。
(Step S41)
When the moving
（ステップＳ４２）
処理装置１０は会議システム通信手段１２７を用いて会議システム処理装置６０に接続し、接続可能と応答のあった会議システム処理装置６０を動画製作者等端末３０へ送信する。動画製作者等端末３０の表示部には、例えば図１７のように、接続可能な会議システムを５２１乃至５２５のように表示してもよい。
(Step S42)
The
（ステップＳ４３）
動画製作者等端末３０にて動画製作者３等が各会議システムの設定ボタン５２６乃至５３０を押下すると会議システム通信手段１２７が会議システム処理装置６０と通信を行って会議室ＩＤを生成し、５２１乃至５２５のように接続ＵＲＬを表示する。このＵＲＬは選択しているシーン選択ボタン５０７中の選択動画から動画視聴中に直接商談が出るように設定が可能となる。終了ボタン５０１を押下又はクリックした際は終了となるが、押下又はクリックしない際はステップＳ３１の操作待ち状態となる。
(Step S43)
When the
（ステップＳ４４）
動画製作者等端末３０にて動画製作者３等が設定ボタン５０８を押下又はクリックを行った場合、処理装置１０は動画製作者等端末３０へ設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図１８のような設定画面が表示され入力待ち状態となる。動画の設定の方法に関しては後述する。
(Step S44)
When the moving
（ステップＳ４５）
設定が終了し設定登録した際は、動画製作者等端末３０にて動画製作者３等が登録ボタン６０１を押下又はクリックし、ステップＳ３４に遷移する。終了しない場合はステップＳ４４に戻る。
(Step S45)
When the setting is completed and the setting is registered, the moving
［６．処理装置１０による動画設定実施例］
次に本実施形態に係る動画製作者等端末３０を用いて、処理装置１０による、動画設定実施例について図１８乃至及び図２２を参照しながら説明する。図１８は本実施形態に係る動画製作者等端末３０に表示される設定画面の一例を示す図、図１９は本実施形態に係る処理装置１０が動画を設定する際における処理例を示すフローチャート図、図２０は本実施形態に係る動画製作者等端末３０に表示される設定画面のアバター設定画面の一例を示す図、図２１は本実施形態に係る動画製作者等端末３０に表示される設定画面の背景設定画面の一例を示す図、図２２は本実施形態に係る動画製作者等端末３０に表示される設定画面の音楽設定画面の一例を示す図である。
[6. Example of moving image setting by processing device 10]
Next, an example of moving image setting by the
（ステップＳ６１）
動画製作者等端末３０はステップＳ４４に分岐した際に、処理装置１０は動画製作者等端末３０へ設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図１８のような設定画面が表示されタブ選択待ち状態となる。
(Step S61)
When the moving
（ステップＳ６２）
動画製作者等端末３０にて動画製作者３等が「設定」タブ６０２を押下又はクリックを行った場合、動画の設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図１８のように、各種設定項目を表示してもよい。動画製作者等端末３０にて動画製作者３等は、タイトルボックス６０６で動画の名前を入力し、公開設定ボタン６０７で動画の公開又は非公開を設定しても良い。
(Step S62)
When the moving
（ステップＳ６３）
動画製作者等端末３０にて動画製作者３等が送信元識別符号生成欄６０８の生成ボタン６２１及び６２２等を押下又はクリックすると、送信元識別符号生成手段１２０にて視聴者毎に送信元識別符号（ＵＲＬ）が送信元識別符号欄６１１及び６１２等に生成される。さらに追加ボタン６０９を押下又はクリックすると、送信元識別符号欄及び送信元識別符号生成ボタンが追加される。この視聴者毎に送信元識別符号（ＵＲＬ）が生成により、異なる送信元識別記号をカテゴリー毎の視聴者５等に割り当てることが可能となる。視聴特性分析をより精密に行うことが可能となる。実際個別の動作設定は後述する図２６に示した分析画面で行っても良い。
(Step S63)
When the moving
（ステップＳ６４）
登録ボタン６０１を押下又はクリックした際は設定が終了となるが、押下又はクリックしない際はステップＳ６１の操作待ち状態となる。
(Step S64)
When the
（ステップＳ６５）
動画製作者等端末３０にて動画製作者３等が「アバター」タブ６０３を押下又はクリックを行った場合、動画の人物設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図２０のように、事前保管データである人物データ（以下アバター）のリスト６３１を表示してもよい。アバターリストに中から選択し、押下又はクリックすると、アバター選択枠６３２が表示され、当該アバターをアバター設定手段１１２にて設定する。
(Step S65)
When the moving
（ステップＳ６６）
処理装置１０は動画製作者等端末３０へ事前保管データである人物音声データ（以下音声データ）リスト６３３を表示してもよい。動画製作者等端末３０にて動画製作者３等が音声データリスト６３３の中からを押下又はクリックすると、動画製作者等端末３０は処理装置１０又は外部処理装置４０へ音声合成の指示をする。処理装置１０又は外部処理装置４０はセリフテキスト表示エリア５１１で設定したセリフを音声合成手段４１５を用いて、セリフから音声データを生成する。
(Step S66)
The
また同様に、処理装置１０は動画製作者等端末３０へ事前保管データである人物音声言語別データ（以下言語別データ）リスト６３４を表示してもよい。動画製作者等端末３０にて動画製作者３等が言語データリスト６３４の中からを押下又はクリックすると、動画製作者等端末３０は処理装置１０又は外部処理装置４０へ音声合成の指示をする。処理装置１０又は外部処理装置４０はセリフテキスト表示エリア５１１で設定したセリフを音声合成手段４１５を用いて、セリフから音声データを生成する。処理装置１０又は外部処理装置４０は入力されたセリフを他言語に自動翻訳をする、自動翻訳手段を設けても良い。
Similarly, the
（ステップＳ６７）
ステップＳ６６で生成された音声データを再生させるプレビューボタン６３５を設けても良い。プレビューボタン６３５を動画製作者等端末３０にて動画製作者３等が押下又はクリックすると、処理装置１０はデータ送信手段１１９を用いて動画製作者等端末３０へ生成した音声データを送信し、動画製作者等端末３０生成された音声データを再生する。この動作によって音声合成された音声データを動画製作者等端末３０にて動画製作者３等が確認、チェックすることが可能となる。その後ステップＳ６４に遷移する。
(Step S67)
A
（ステップＳ６８）
動画製作者等端末３０にて動画製作者３等が「背景」タブ６０４を押下又はクリックを行った場合、動画の背景設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図２１のように、事前保管データである背景データのリスト６４１を表示してもよい。背景リストに中から選択し、押下又はクリックすると、背景選択枠６４２が表示され、当該背景を背景設定手段１１４にて動画の背景設定をする。その後ステップＳ６４に遷移する。
(Step S68)
When the moving
（ステップＳ６９）
動画製作者等端末３０にて動画製作者３等が「音楽」タブ６０５を押下又はクリックを行った場合、動画の音楽設定画面データを送信する。動画製作者等端末３０の表示部には、例えば図２２のように、事前保管データである音楽データのリスト６５１を表示してもよい。音楽リストに中からチェックボックス６５３選択し、押下又はクリックすると音楽設定手段１１３にて動画の音楽を設定する。
(Step S69)
When the moving
（ステップＳ７０）
ステップＳ６９で選択した音楽データを再生させるプレビューボタン６５４を設けても良い。プレビューボタン６５４を動画製作者等端末３０にて動画製作者３等が押下又はクリックすると、処理装置１０はデータ送信手段１１９を用いて動画製作者等端末３０へ選択した音楽データを送信し、動画製作者等端末３０生成された音楽データを再生する。この動作によって音楽データを動画製作者等端末３０にて動画製作者３等が確認、チェックすることが可能となる。その後ステップＳ６４に遷移する。
(Step S70)
A preview button 654 for reproducing the music data selected in step S69 may be provided. When the preview button 654 is pressed or clicked by the
［７．処理装置１０及び視聴者等端末５０による動画視聴実施例］
次に本実施形態に係る視聴者等端末５０を用いて、処理装置１０による、動画視聴実施例について図２３を参照しながら説明する。図２３は本実施形態に係る処理装置１０が動画を配信し、視聴者等端末５０にて動画を視聴する際における処理例を示すフローチャート図である。
[7. Example of video viewing by processing
Next, an example of video viewing by the
（ステップＳ８１）
視聴者５等は付与された送信元識別符号を使用して、視聴者等端末５０を通して、動画の視聴要求を処理装置１０に動画視聴請求を行う。
(Step S81)
The
（ステップＳ８２）
視聴者等端末５０にカメラデバイスといった表情、感情又は人間が発するデータを読み取る人感データ取得デバイス５１Ｄがあるか否かの判定を行う。当該人感データ取得デバイス５１ＤはＷＥＢカメラでも良いし、興奮度を図る脈拍計測計でもよいし、あらゆる人感データ取得デバイスでよく、特に定めない。
(Step S82)
It is determined whether or not the terminal 50 of the viewer or the like has a human feeling data acquisition device 51D, such as a camera device, for reading facial expressions, emotions, or data emitted by humans. The human sensing data acquisition device 51D may be a WEB camera, a pulse meter for measuring the degree of excitement, or any human sensing data acquisition device, and is not particularly defined.
（ステップＳ８３）
視聴者等端末５０にカメラデバイス等、表情や感情を読み取る人感データ取得デバイス５１Ｄがあった場合は、視聴者５等に当該人感データ取得デバイス５１Ｄを使用して良いか、視聴者等端末５０を通して確認を行う。
(Step S83)
If the viewer's
（ステップＳ８４）
視聴者５等から当該人感データ取得デバイス５１Ｄを使用して良い、との意志が視聴者等端末５０を通して受信した場合、処理装置１０は動画再生手段１２１及び動画配信手段１２２を用いて動画配信をスタートするとともに、当該人感データ取得デバイス５１Ｄから視聴者等端末５０が受信した人感データ等をデータ受信手段１１１を用いて受信を行う。
(Step S84)
When the viewer's 5 or the like indicates that the human sensor data acquisition device 51D may be used, the
（ステップＳ８５）
処理装置１０は受信した人感データ等を処理装置１０自ら又は転送した人感データを外部処理装置４０が人感データ認識手段４１９及び人感データ解析手段４２０等で表情解析等を行う。解析の一つである表情解析は、一般化学習ベクトル量子化手法により、顔検出技術及び多点特徴点検出法による特徴点検出技術によって顔の表情を読み取り、解析を行う。動画再生時にどのような行動パターンであったか、行動結果分析データをロギングし、ステップＳ８７へ飛ぶ。
(Step S85)
The
（ステップＳ８６）
ステップＳ８２にて、視聴者５等から当該人感データ取得デバイス５１Ｄを使用しない又は当該人感データ取得デバイス５１Ｄが無い、との判断が視聴者等端末５０を通して受信した場合、処理装置１０は動画再生手段１２１及び動画配信手段１２２を用いて動画配信をスタートする。
(Step S86)
In step S82, when it is received from the
（ステップＳ８７）
処理装置１０は配信を続けながら、視聴時間、分岐データ、外部リンククリック及びその他データを取得する。
(Step S87)
The
（ステップＳ８８）
視聴者５等は視聴者等端末５０を通して、視聴を止める操作を行ったか、又は動画の配信実態が終了したか、判定を行う。終了した場合、処理装置１０は商談システム判断ステップＳ８９へ移行し、終了しない場合はステップＳ８７に戻る。
(Step S88)
The
（ステップＳ８９）
動画を終了した際には最後の動画、動画を中断した際には当該中断した動画に商談システムの会議ＩＤが割り当てられていた場合は、処理装置１０は視聴者等端末５０を通して、視聴者５等に商談を希望するかメッセージを表示する。商談を希望する場合は商談ステップＳ９０へ、会議ＩＤが設定されておらず商談が設定されていない場合、又は商談を希望しない場合は終了する。
(Step S89)
If the conference ID of the business negotiation system is assigned to the last moving image when the moving image ends, and to the interrupted moving image when the moving image is interrupted, the
（ステップＳ９０）
商談を希望した際には処理装置１０は会議システム連携手段１２６を使って会議システムと連携をし、会議システム通信手段１２７を使って商談をスタートする。同時に動画視聴ステップは終了する。
(Step S90)
When a business negotiation is desired, the
［８．処理装置１０、システム管理者等端末２０及び動画製作者等端末３０による動画解析実施例］
次に本実施形態に係るシステム管理者等端末２０及び動画製作者等端末３０を用いて、処理装置１０による、動画解析実施例について図２４乃至図２８を参照しながら説明する。図２４は本実施形態に係るシステム管理者等端末２０及び動画製作者等端末３０が処理装置１０に動画解析指示を行い、処理装置１０は動画視聴データを解析後、システム管理者等端末２０及び動画製作者等端末３０へ解析結果表示指示をする処理例を示すフローチャート図、図２５は本実施形態に係るシステム管理者等端末２０及び動画製作者等端末３０に表示される動画解析初期画面の一例を示す図、図２６は本実施形態に係るシステム管理者等端末２０及び動画製作者等端末３０に表示される動画解析個別画面の一例を示す図、図２７は本実施形態に係るシステム管理者等端末２０及び動画製作者等端末３０に表示される動画解析個別詳細画面の一例を示す図及び図２８は本実施形態に係るシステム管理者等端末２０及び動画製作者等端末３０に表示される動画解析全体詳細画面の一例を示す図である。
[8. Example of video analysis by processing
Next, an example of video analysis by the
（ステップＳ１０１）
システム管理者２等及び動画製作者３等は、システム管理者等端末２０及び動画製作者等端末３０を通じて処理装置１０へ動画解析要求を行う。システム管理者等端末２０及び動画製作者等端末３０の表示部には、例えば図２５のような動画解析初期画面が表示され操作待ち状態となる。
(Step S101)
The
（ステップＳ１０２）
図２５に示す動画解析初期画面上には簡単動画毎に動画欄８１２及び８１３を設け、動画のサムネイル表示欄８１４、公開有無欄８１６、ＴＯＴＡＬアクセス解析表示欄８１７、当日アクセス解析表示欄８１８にて簡易的なアクセス解析結果を表示して良い。システム管理者２等及び動画製作者３等は操作欄８１５に設けられている個別解析ボタン８１９又は動画解析ボタン８２０を選択して、押下又はクリックを行う。
(Step S102)
On the video analysis initial screen shown in FIG. 25,
（ステップＳ１０３）
ステップＳ１０２でシステム管理者２等及び動画製作者３等が操作欄８１５に設けられている個別解析ボタン８１９を押下又はクリックを行った場合は、システム管理者等端末２０及び動画製作者等端末３０を通じて処理装置１０へ個別動画解析要求を行い、処理装置１０はアクセスデータ分析手段１２５等を用いてアクセスデータを解析する。システム管理者等端末２０及び動画製作者等端末３０の表示部には、例えば図２６のような動画解析個別画面が表示される。
図２６は例示であるが、簡易的に動画アクセス有無欄８３６、最終到達欄８３７及び外部クリック欄８３８を設けて、動画へのアクセスの有無、動画が最後まで再生された可能されたか否か、及び外部リンクへクリックした回数等を表示しても良い。
また、この動画個別解析画面で送信元識別符号であるＵＲＬ表示欄８３３及びアクセス者表示欄８３５で直接編集をできるようにしても良い。また言語設定欄８３４に設けられた言語設定ボタン８４０を押下又はクリックする事で再生される言語を変更できるようにしても良い。
(Step S103)
In step S102, when the
Although FIG. 26 is an example, a video access presence/absence column 836, a final arrival column 837, and an external click column 838 are simply provided to indicate whether or not the video has been accessed, whether the video has been played to the end, And the number of clicks to external links may be displayed.
In addition, direct editing may be enabled in the
（ステップＳ１０４）
システム管理者２等及び動画製作者３等が解析欄８３９に設けられている詳細解析ボタン８４１を押下又はクリックを行った場合は、システム管理者等端末２０及び動画製作者等端末３０を通じて処理装置１０へ個別動画詳細解析要求を行い、処理装置１０はアクセスデータ分析手段１２５等を用いてアクセスデータを解析する。
(Step S104)
When the
（ステップＳ１０５）
Ｓ１０４の解析により、システム管理者等端末２０及び動画製作者等端末３０の表示部には、例えば図２７のような動画解析個別詳細画面が表示される。
図２７は例示であるが、動画解析グラフ欄８５５、表情解析グラフ８５６、在席解析グラフ８５７及びアクセス回数表示グラフ８５８を設けて、動画を見た視聴者５等の行動結果分析データから、興味度、興奮度、離席率及びアクセス回数を表示しても良い。
印刷をする機能を設けて良いし、デジタルデータとして保存する機能を設けても良い。戻るボタン８５９を押下及びクリックをすると、解析画面は終了する。
(Step S105)
As a result of the analysis in S104, for example, a moving image analysis individual detailed screen such as that shown in FIG.
Although FIG. 27 is an example, a video
A function of printing may be provided, and a function of saving as digital data may be provided. Pressing and clicking the
（ステップ１０６）
ステップＳ１０２でシステム管理者２等及び動画製作者３等が操作欄８１５に設けられている動画解析ボタン８２０を押下又はクリックを行った場合は、システム管理者等端末２０及び動画製作者等端末３０を通じて処理装置１０へ個別動画解析要求を行い、処理装置１０はアクセスデータ分析手段１２５等を用いてアクセスデータを解析する。
(Step 106)
In step S102, when the
（ステップ１０７）
システム管理者等端末２０及び動画製作者等端末３０の表示部には、例えば図２８のような動画解析全体詳細画面が表示される。
図２８は例示であるが、動画解析グラフ欄８７５、属性１グラフ８７６、属性２グラフ８７７及び属性グラフ８７８を設けて、動画を見た視聴者５等らの行動結果分析データから、アクセス回数、性別属性及び完全再生率を表示しても良い。
印刷をする機能を設けて良いし、デジタルデータとして保存する機能を設けても良い。戻るボタン８７９を押下及びクリックをすると、解析画面は終了する。
(Step 107)
On the display units of the system administrator's terminal 20 and the moving picture creator's
Although FIG. 28 is an example, a video
A function of printing may be provided, and a function of saving as digital data may be provided. Pressing and clicking the
Ｓ 動画生成配信システム
１０ 動画生成配信処理装置
１０１ 通信制御部
１０２ 入出力インターフェース部
１０３ 処理部
１０４ 記憶部
１１１ データ受信手段
１１２ アバター設定手段
１１３ 音楽設定手段
１１４ 背景設定手段
１１５ データ選択手段
１１６ 分岐データ設定手段
１１７ ファイル展開手段
１１８ ファイル解析手段
１１９ データ送信手段
１２０ 送信元識別符号生成手段
１２１ 動画再生手段
１２２ 動画配信手段
１２３ ＨＴＭＬ編集手段
１２４ 人感データ展開手段
１２５ アクセスデータ分析手段
１２６ 会議システム連携手段
１２７ 会議システム通信手段
１４１ 製作者・視聴者データ
１４２ プレゼンテーションファイル
１４３ アバターデータ
１４４ 音楽・背景データ
１４５ 音声・動画データ
２ システム管理者
２０ システム管理者等端末
３ 動画製作者
３０ 動画製作者等端末
４０ 動画生成外部処理装置
４０１ 通信制御部
４０２ 入出力インターフェース部
４０３ 処理部
４０４ 記憶部
４１１ データ受信手段
４１２ ファイル展開手段
４１３ ファイル解析手段
４１４ テキスト抽出手段
４１５ 音声合成手段
４１６ 動画生成手段
４１７ ＨＴＭＬ生成手段
４１８ データ転送手段
４１９ 人感データ認識手段
４２０ 人感データ解析手段
５ 視聴者
５０ 視聴者等端末
５１Ｄ 人感データ取得デバイス
６０ 会議システム処理装置
S Moving image generation/
Claims (13)
入力データを受信するデータ受信手段と、
前記データ受信手段で受け取った前記入力データから生成された入力加工データを用いて動画データを生成する動画生成手段と、
受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定手段と、
受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信手段と、
前記動画配信手段にて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成手段と、
を備えることを特徴とする動画生成配信装置。 A moving image generation and distribution device for generating and distributing moving images,
data receiving means for receiving input data;
a moving image generating means for generating moving image data using input processed data generated from the input data received by the data receiving means;
branch data setting means for setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system;
video distribution means for distributing a video using the received input data, the pre-stored data, and data generated by the system;
source identification code generating means for generating a source identification code that enables the moving image distribution means to provide moving image distribution;
A video generation and distribution device characterized by comprising:
入力データを受信するデータ受信手段と、
前記データ受信手段で受け取った前記入力データから生成された入力加工データを用いてＨＴＭＬファイルを生成するＨＴＭＬ生成手段と、
受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定手段と、
受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信手段と、
前記動画配信手段にて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成手段と、
を備えることを特徴とする動画生成配信装置。 A moving image generation and distribution device for generating and distributing moving images,
data receiving means for receiving input data;
HTML generating means for generating an HTML file using input processing data generated from the input data received by the data receiving means;
branch data setting means for setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system;
video distribution means for distributing a video using the received input data, the pre-stored data, and data generated by the system;
source identification code generating means for generating a source identification code that enables the moving image distribution means to provide moving image distribution;
A video generation and distribution device characterized by comprising:
前記ファイル展開手段で展開された展開データを解析するファイル解析手段と、
前記ファイル解析手段で生成された展開解析データからテキスト抽出を行うテキスト抽出手段と、
前記テキスト抽出手段で抽出したテキストデータから音声データを生成する音声合成手段と、
を備えることを特徴とする請求項１又は請求項２に記載の動画生成配信装置。 a file expansion means for expanding the input data received by the data reception means;
a file analysis means for analyzing the expanded data expanded by the file expansion means;
text extraction means for extracting text from the expansion analysis data generated by the file analysis means;
a speech synthesizing means for generating speech data from the text data extracted by the text extracting means;
3. The moving image generating and distributing apparatus according to claim 1, further comprising:
ことを特徴とする請求項２及び請求項３に記載の動画生成配信装置。 The generated HTML file is described in HTML5, and images and link information expressed in HTML5 are treated as moving images, or embedded and distributed with moving image files.
4. The moving image generating and distributing apparatus according to claim 2, wherein:
を備えることを特徴とする請求項２乃至請求項４に記載の動画生成配信装置。 HTML editing means capable of directly editing the HTML file;
5. The moving image generating and distributing apparatus according to claim 2, further comprising:
送信元識別符号毎のデータを取得、データ解析を可能とするアクセスデータ分析手段と、
を備えることを特徴とする請求項１乃至請求項５に記載の動画生成配信装置。 The transmission source identification code generation means is generated for each viewer,
access data analysis means for obtaining data for each source identification code and enabling data analysis;
6. The moving image generating and distributing apparatus according to claim 1, further comprising:
前記会議システム連携手段で連携した会議システムと通信を行う会議通信手段と、
を備えることを特徴とする請求項１乃至請求項６に記載の動画生成配信装置。 a conference system cooperation means that cooperates with the conference system;
a conference communication means for communicating with the conference system linked by the conference system cooperation means;
7. The moving image generating and distributing apparatus according to claim 1, further comprising:
を備えることを特徴とする請求項１乃至請求項７に記載の動画生成配信装置。 a human data acquisition device that reads facial expressions, emotions, or data emitted by humans;
8. The moving image generating and distributing apparatus according to claim 1, further comprising:
認識された前記人感データを解析する人感データ解析手段と、
を備えることを特徴とする請求項８に記載の動画生成配信装置。 Human feeling data recognition means for recognizing human feeling data read from the human feeling data acquisition device;
human feeling data analysis means for analyzing the recognized human feeling data;
The moving image generation and distribution device according to claim 8, characterized by comprising:
入力データを受信するデータ受信ステップと、
前記データ受信ステップで受け取った前記入力データから生成された入力加工データを用いて動画データを生成する動画生成ステップと、
受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定ステップと、
受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信ステップと、
前記動画配信ステップにて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成ステップと、
を備えることを特徴とする動画生成配信方法。 A moving image generation and distribution method for generating and distributing a moving image,
a data receiving step for receiving input data;
a video generating step of generating video data using input processed data generated from the input data received in the data receiving step;
a branch data setting step of setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system;
a video distribution step of distributing a video using the received input data, the pre-stored data, and data generated by the system;
a transmission source identification code generation step for generating a transmission source identification code that enables video distribution to be provided in the moving image distribution step;
A moving image generation and distribution method characterized by comprising:
入力データを受信するデータ受信ステップと、
前記データ受信ステップで受け取った前記入力データから生成された入力加工データを用いてＨＴＭＬファイルを生成するＨＴＭＬ生成ステップと、
受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定ステップと、
受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信ステップと、
前記動画配信ステップにて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成ステップと、
を備えることを特徴とする動画生成配信方法。 A moving image generation and distribution method for generating and distributing a moving image,
a data receiving step for receiving input data;
an HTML generation step of generating an HTML file using input processed data generated from the input data received in the data reception step;
a branch data setting step of setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system;
a video distribution step of distributing a video using the received input data, the pre-stored data, and data generated by the system;
a transmission source identification code generation step for generating a transmission source identification code that enables video distribution to be provided in the moving image distribution step;
A moving image generation and distribution method characterized by comprising:
入力データを受信するデータ受信手段、
前記データ受信手段で受け取った前記入力データから生成された入力加工データを用いて動画データを生成する動画生成手段、
受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定手段、
受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信手段、
前記動画配信手段にて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成手段、
として機能させることを特徴とする動画生成配信プログラム。 data receiving means for receiving input data;
A moving image generating means for generating moving image data using input processed data generated from the input data received by the data receiving means;
branch data setting means for setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system;
video distribution means for distributing videos using the received input data, the pre-stored data, and data generated by the system;
transmission source identification code generation means for generating a transmission source identification code that enables video distribution to be provided by the video distribution means;
A moving image generation and distribution program characterized by functioning as a
入力データを受信するデータ受信手段、
前記データ受信手段で受け取った前記入力データから生成された入力加工データを用いてＨＴＭＬファイルを生成するＨＴＭＬ生成手段、
受信した前記入力データ、事前保管データ及び当該システムで生成されたデータから、次に配信するデータを分岐させる分岐データを設定する分岐データ設定手段、
受信した前記入力データ、前記事前保管データ及び当該システムで生成されたデータを使用して動画を配信する動画配信手段、
前記動画配信手段にて動画配信を提供可能とする送信元識別符号を生成する送信元識別符号生成手段、
として機能させることを特徴とする動画生成配信プログラム。
data receiving means for receiving input data;
HTML generation means for generating an HTML file using input processing data generated from the input data received by the data reception means;
branch data setting means for setting branch data for branching data to be distributed next from the received input data, pre-stored data, and data generated by the system;
video distribution means for distributing videos using the received input data, the pre-stored data, and data generated by the system;
transmission source identification code generation means for generating a transmission source identification code that enables video distribution to be provided by the video distribution means;
A moving image generation and distribution program characterized by functioning as a
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021038796A JP7372020B2 (en) | 2021-03-10 | 2021-03-10 | Video generation and distribution processing device, video generation and distribution method, and video generation and distribution program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021038796A JP7372020B2 (en) | 2021-03-10 | 2021-03-10 | Video generation and distribution processing device, video generation and distribution method, and video generation and distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022138739A true JP2022138739A (en) | 2022-09-26 |
| JP7372020B2 JP7372020B2 (en) | 2023-10-31 |
Family
ID=83400199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021038796A Active JP7372020B2 (en) | 2021-03-10 | 2021-03-10 | Video generation and distribution processing device, video generation and distribution method, and video generation and distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7372020B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030018974A1 (en) * | 2001-07-18 | 2003-01-23 | Fujitsu Limited | Image delivery system, image delivery method, and recording medium in which image delivery program is recorded |
| WO2003027860A1 (en) * | 2001-09-19 | 2003-04-03 | Ntt Advertising, Inc. | Content delivery system for delivering content changing on time axis, content delivery server, log collection server, content relay server, user terminal, content viewing/listening state grasping method, recommendation method, and content providing method |
| JP2004265067A (en) * | 2003-02-28 | 2004-09-24 | National Institute Of Information & Communication Technology | Content distribution system |
| JP2005062420A (en) * | 2003-08-11 | 2005-03-10 | Nec Corp | System, method, and program for content generation |
| JP2014215859A (en) * | 2013-04-26 | 2014-11-17 | ソニー株式会社 | Reception device, information processing method in reception device, transmission device, information processing device, and information processing method |
| JP2016127513A (en) * | 2015-01-07 | 2016-07-11 | 株式会社クリエ・ジャパン | Moving image generation server, moving image generation program, moving image generation method, and moving image generation system |
-
2021
- 2021-03-10 JP JP2021038796A patent/JP7372020B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030018974A1 (en) * | 2001-07-18 | 2003-01-23 | Fujitsu Limited | Image delivery system, image delivery method, and recording medium in which image delivery program is recorded |
| WO2003027860A1 (en) * | 2001-09-19 | 2003-04-03 | Ntt Advertising, Inc. | Content delivery system for delivering content changing on time axis, content delivery server, log collection server, content relay server, user terminal, content viewing/listening state grasping method, recommendation method, and content providing method |
| JP2004265067A (en) * | 2003-02-28 | 2004-09-24 | National Institute Of Information & Communication Technology | Content distribution system |
| JP2005062420A (en) * | 2003-08-11 | 2005-03-10 | Nec Corp | System, method, and program for content generation |
| JP2014215859A (en) * | 2013-04-26 | 2014-11-17 | ソニー株式会社 | Reception device, information processing method in reception device, transmission device, information processing device, and information processing method |
| JP2016127513A (en) * | 2015-01-07 | 2016-07-11 | 株式会社クリエ・ジャパン | Moving image generation server, moving image generation program, moving image generation method, and moving image generation system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7372020B2 (en) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6861454B2 (en) | Storyboard instruction video production from shared and personalized assets | |
| US11818496B2 (en) | Remotely accessed virtual recording room | |
| KR100826959B1 (en) | Method and system for making a picture image | |
| JP2008293219A (en) | Content management system, information processor in content management system, link information generation system in information processor, link information generation program in information processor, and recording medium with link information generation program recorded thereon | |
| US20190199763A1 (en) | Systems and methods for previewing content | |
| Li et al. | Introduction to multimedia | |
| JP7372020B2 (en) | Video generation and distribution processing device, video generation and distribution method, and video generation and distribution program | |
| JP2004266578A (en) | Moving image editing method and apparatus | |
| KR20090000761A (en) | Method and apparatus for authoring web pages | |
| KR20070103951A (en) | Method and apparatus for authoring web pages | |
| JP2006237682A (en) | Moving image distribution system, management server capable of recording moving image data, and moving image data recording program | |
| KR102615377B1 (en) | Method of providing a service to experience broadcasting | |
| CN111221452B (en) | Scheme explanation control method | |
| KR101951032B1 (en) | System for providing the interactive media and method thereof | |
| KR101607084B1 (en) | Apparatus for providing smart tv movie using still image and the method thereof | |
| KR20230043647A (en) | Method and apparatus for providing a platform for sign language subtitles video | |
| CN117407611A (en) | Portal wall-mounting method, portal wall-mounting device and computer storage medium | |
| JP2004128710A (en) | Moving image searching method, and apparatus and program thereof | |
| Wittner | HTML5 in the Norwegian Higher Education Institutions | |
| KR20140142410A (en) | Method for sharing multimedia file | |
| KR20140142411A (en) | System for sharing multimedia file |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231018 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7372020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |