JP2020188346A - Video distribution system - Google Patents

Video distribution system Download PDF

Info

Publication number
JP2020188346A
JP2020188346A JP2019091008A JP2019091008A JP2020188346A JP 2020188346 A JP2020188346 A JP 2020188346A JP 2019091008 A JP2019091008 A JP 2019091008A JP 2019091008 A JP2019091008 A JP 2019091008A JP 2020188346 A JP2020188346 A JP 2020188346A
Authority
JP
Japan
Prior art keywords
viewer
group
video
reaction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019091008A
Other languages
Japanese (ja)
Other versions
JP7289219B2 (en
Inventor
淳 熊野
Jun Kumano
淳 熊野
祐大 佐藤
Yudai Sato
祐大 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anchor Inc
Original Assignee
Anchor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anchor Inc filed Critical Anchor Inc
Priority to JP2019091008A priority Critical patent/JP7289219B2/en
Priority to US17/419,646 priority patent/US11843809B2/en
Priority to PCT/JP2019/051327 priority patent/WO2020138375A1/en
Priority to KR1020217023924A priority patent/KR20210107831A/en
Priority to CN201980093300.XA priority patent/CN113518979A/en
Publication of JP2020188346A publication Critical patent/JP2020188346A/en
Application granted granted Critical
Publication of JP7289219B2 publication Critical patent/JP7289219B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To make it possible to deliver a video that match the reaction of a viewer.SOLUTION: A video distribution system includes a material library that stores material data for generating videos, a video distribution unit that sends videos on the basis of the material data, a reaction acquisition unit that acquires reaction information indicating the reaction from a viewer of the video during reproduction of the video, an action processing unit that operates on the material data according to the reaction information, and a group setting unit that divides viewers into two or more groups according to the reaction information, and after the viewers are divided into groups, the action processing unit performs a different operation depending on the group to which the viewer belong.SELECTED DRAWING: Figure 1

Description

本発明は、動画配信システムに関する。 The present invention relates to a moving image distribution system.

動画の配信システムが普及している。動画の配信は、受動的に連続した動画が再生されるストリーミング方式と、能働的に意図した動画を再生させるオンデマンド方式とがある。オンデマンド方式では、再生する順番などをユーザに設定させることが行われている(例えば特許文献1参照)。 Video distribution systems are widespread. There are two types of video distribution: a streaming method in which continuous videos are passively played, and an on-demand method in which the intended videos are played efficiently. In the on-demand method, the user is allowed to set the playback order and the like (see, for example, Patent Document 1).

特許第5350728号明細書Japanese Patent No. 5350728

しかしながら、ストリーミング方式での動画配信において、ライブ映像の場合には視聴者の反応を見ながらライブの展開を変更することは可能であるが、記録済みの動画を利用する場合には、動画の展開は決定的であり視聴者の反応に応じた展開での動画を配信することは困難である。 However, in video distribution by streaming method, it is possible to change the live development while watching the reaction of the viewer in the case of live video, but when using the recorded video, the video development Is decisive and it is difficult to deliver a video that is developed according to the reaction of the viewer.

本発明は、このような背景を鑑みてなされたものであり、視聴者の反応に合わせた動画を配信することのできる技術を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of distributing a moving image according to a reaction of a viewer.

上記課題を解決するための本発明の主たる発明は、動画配信システムであって、動画を生成するための素材データを記憶する素材ライブラリと、前記素材データに基づいて前記動画を送出する動画配信部と、前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、を備えることとする。 The main invention of the present invention for solving the above problems is a video distribution system, which is a material library for storing material data for generating a moving image and a moving image distribution unit for transmitting the moving image based on the material data. A reaction acquisition unit that acquires reaction information indicating a reaction from a viewer of the moving image during playback of the moving image, and an action processing unit that performs an operation on the material data according to the reaction information. And.

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。 Other problems disclosed in the present application and solutions thereof will be clarified in the columns and drawings of the embodiments of the invention.

本発明によれば、視聴者の反応に合わせた動画を配信することができる。 According to the present invention, it is possible to deliver a moving image according to the reaction of the viewer.

本実施形態の動画配信システムの全体構成例を示す図である。It is a figure which shows the whole configuration example of the moving image distribution system of this embodiment. 配信者装置3のハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of a distributor apparatus 3. 配信者装置3のソフトウェア構成例を示す図である。It is a figure which shows the software configuration example of a distributor apparatus 3. 素材ライブラリ331の構造例を示す図である。It is a figure which shows the structural example of the material library 331. アクション記憶部333の構成例を示す図である。It is a figure which shows the structural example of the action storage part 333. イベント記憶部334の構成例を示す図である。It is a figure which shows the configuration example of the event storage unit 334. グループ条件記憶部335の構成例を示す図である。It is a figure which shows the structural example of the group condition storage part 335. グループ記憶部336の構成例を示す図である。It is a figure which shows the structural example of the group storage part 336. 本実施形態の動画配信システムにより実行される処理の流れを説明する図である。It is a figure explaining the flow of the process executed by the moving image distribution system of this embodiment. 本実施形態に係る視聴者のグループ分け処理の流れを説明する図である。It is a figure explaining the flow of the grouping process of the viewer which concerns on this embodiment. 本実施形態の動画配信システムにおける配信動画の視聴画面の一例を示す図である。It is a figure which shows an example of the viewing screen of the distribution moving image in the moving image distribution system of this embodiment.

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による動画配信システムは、以下のような構成を備える。 The contents of the embodiments of the present invention will be described in a list. The moving image distribution system according to the embodiment of the present invention has the following configurations.

[項目1]
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、
前記反応情報に応じて、前記視聴者を2つ以上のグループに分けるグループ設定部と、
を備え、
前記アクション処理部は、前記視聴者が前記グループに分けられた後は、前記視聴者が所属する前記グループに応じて異なる前記操作を行うこと、
を特徴とする動画配信システム。
[項目2]
項目1に記載の動画配信システムであって、
取得した前記反応情報に対応する前記視聴者を示す情報と、前記視聴者が所属する前記グループとを対応付けて格納するグループ記憶部をさらに備えること、
を特徴とする動画配信システム。
[項目3]
項目1または2に記載の動画配信システムであって、
前記視聴者を特定する情報に対応付けて、前記視聴者からの前記反応を示す情報を管理する反応履歴記憶部をさらに備え、
前記動画にはキャラクターが描画されており、前記動画はじゃんけんに関するものであり、
前記反応は、前記視聴者から出される前記じゃんけんの手であり、
前記グループ設定部は、前記キャラクターに勝った第1グループと、負けた第2グループとに前記視聴者を分類し、
前記アクション処理部は、前記第1グループに所属する前記視聴者からの前記反応情報のみに応じて、前記操作を行うこと、
を特徴とする動画配信システム。
[項目4]
項目3に記載の動画配信システムであって、
前記アクション処理部は、前記第1グループに所属する前記視聴者の数が所定数以下となった場合に、前記じゃんけんを終了する映像を出力するための前記素材データに対する前記操作を行うこと、
を特徴とする動画配信システム。
[項目5]
項目4に記載の動画配信システムであって、
前記じゃんけんを終了する映像が再生された場合に、前記第1グループに所属する前記視聴者に対して報奨を賦与する報奨処理部をさらに備えること、
を特徴とする動画配信システム。
[Item 1]
A material library that stores material data for generating videos,
A video distribution unit that sends out the video based on the material data,
A reaction acquisition unit that acquires reaction information indicating a reaction from a viewer of the moving image during playback of the moving image, and a reaction acquisition unit.
An action processing unit that performs an operation on the material data according to the reaction information,
A group setting unit that divides the viewer into two or more groups according to the reaction information,
With
After the viewer is divided into the groups, the action processing unit performs the operation differently according to the group to which the viewer belongs.
A video distribution system featuring.
[Item 2]
The video distribution system described in item 1
Further, a group storage unit for storing the information indicating the viewer corresponding to the acquired reaction information and the group to which the viewer belongs is provided.
A video distribution system featuring.
[Item 3]
The video distribution system according to item 1 or 2.
A reaction history storage unit that manages information indicating the reaction from the viewer in association with the information that identifies the viewer is further provided.
Characters are drawn in the video, and the video is about rock-paper-scissors.
The reaction is the hand of the rock-paper-scissors issued by the viewer.
The group setting unit classifies the viewers into a first group that wins the character and a second group that loses the character.
The action processing unit performs the operation only in response to the reaction information from the viewer belonging to the first group.
A video distribution system featuring.
[Item 4]
The video distribution system described in item 3
The action processing unit performs the operation on the material data for outputting the video for ending the rock-paper-scissors when the number of the viewers belonging to the first group becomes a predetermined number or less.
A video distribution system featuring.
[Item 5]
The video distribution system according to item 4.
Further provided with a reward processing unit that rewards the viewers belonging to the first group when the video for ending the rock-paper-scissors is played.
A video distribution system featuring.

以下、本発明の一実施形態に係る動画配信システムについて説明する。本実施形態の動画配信システムは、ストリーミング配信される動画を各種のイベントに応じて動的に変化させるものである。 Hereinafter, a moving image distribution system according to an embodiment of the present invention will be described. The video distribution system of the present embodiment dynamically changes the video to be streamed in response to various events.

イベントには、視聴者により機器が操作されたこと、視聴者から音声や文字が入力されたこと、視聴者が撮影されたこと、撮影された画像から解析した視聴者の姿勢や視線、ジェスチャーなどが取得されたこと、視聴者の身体反応を測定した測定データが取得されたことなど、視聴者に関して取得される情報(以下、ユーザイベント情報という。)が含まれる。また、イベントには、閲覧している視聴者の数、天気、時刻、天気、動画中でオブジェクトが接触したことなどのシステム側で取得できる情報(以下、システムイベント情報という。)も含めることができる。 At the event, the device was operated by the viewer, voice and characters were input by the viewer, the viewer was photographed, the viewer's posture, line of sight, gesture, etc. analyzed from the captured image, etc. Information acquired about the viewer (hereinafter referred to as user event information) is included, such as the acquisition of the data and the measurement data obtained by measuring the physical reaction of the viewer. In addition, the event may include information that can be acquired on the system side (hereinafter referred to as system event information) such as the number of viewers viewing, weather, time, weather, and contact of an object in the video. it can.

配信される動画は、3Dモデルや動画データ、音声データなどの素材データに基づいて生成される。各素材データには、イベントに応じたアクションを設定することができる。 The delivered moving image is generated based on material data such as a 3D model, moving image data, and audio data. Actions can be set for each material data according to the event.

アクションは、素材データに対する操作であり、3Dモデルにより表現されるオブジェクトの出現、移動および消滅、アニメーション動作の開始および終了、動画の再生および停止、音声の再生および停止、素材データの変更(置換え)などを含めることができる。本実施形態では、配信される動画は、アクションの結果として出力される映像または画像を合成して作成されるものとする。 Actions are operations on material data, such as appearance, movement and disappearance of objects represented by 3D models, start and end of animation operations, play and stop of video, play and stop of audio, and change (replacement) of material data. Etc. can be included. In the present embodiment, the delivered moving image is created by synthesizing the video or image output as a result of the action.

本実施形態の動画配信システムでは、イベントに応じてアクションを起動することにより、動的に配信動画を変化させることができる。以下、詳細について説明する。 In the video distribution system of the present embodiment, the distributed video can be dynamically changed by invoking an action in response to an event. The details will be described below.

図1は、本実施形態の動画配信システムの全体構成例を示す図である。本実施形態の動画配信システムは、配信者装置3を含んで構成され、配信者装置3は、ストリーミングサーバ2と通信可能に接続され、ストリーミングサーバ2は視聴者端末1と通信可能に接続される。視聴者端末1は多数が接続されていてよい。配信者装置3は、動画の送信を行う、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。配信者装置3は、たとえば、動画の配信を行いたいと考えている一般ユーザが操作する家庭用のコンピュータであってよい。配信者装置3からは、動画データがストリーミング方式によりストリーミングサーバ2に送出される。ストリーミングサーバ2は、配信者装置3から受け取った動画データを視聴者端末1に配信する、たとえばワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより提供される仮想コンピュータなどのコンピュータである。ストリーミングサーバ2は、1つまたは複数の視聴者端末1に対して同時に動画データを配信することができる。視聴者端末1は視聴者が操作する、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。視聴者は視聴者端末1を操作してストリーミングサーバ2にアクセスし、視聴者端末1はストリーミングサーバ2から送出されてくる動画データを受信して再生することができる。また、視聴者端末1は、視聴者を撮影したり、視聴者の音声を録音したり、視聴者からコメントの入力を受け付けたりと、各種イベント情報の収集を行うことができる。1人または複数人の視聴者からのイベントはストリーミングサーバ2において収集され、配信者装置3は、たとえば、ストリーミングサーバ2が提供するAPI(Application Programming Interface)を呼び出すことにより、視聴者からのイベントを取得することができる。 FIG. 1 is a diagram showing an overall configuration example of the moving image distribution system of the present embodiment. The video distribution system of the present embodiment is configured to include the distributor device 3, the distributor device 3 is communicably connected to the streaming server 2, and the streaming server 2 is communicably connected to the viewer terminal 1. .. A large number of viewer terminals 1 may be connected. The distributor device 3 is a computer such as a personal computer, a tablet computer, or a smartphone that transmits a moving image. The distributor device 3 may be, for example, a home computer operated by a general user who wants to distribute a moving image. The moving image data is transmitted from the distributor device 3 to the streaming server 2 by a streaming method. The streaming server 2 is a computer such as a workstation, a personal computer, or a virtual computer provided by cloud computing, which distributes the moving image data received from the distributor device 3 to the viewer terminal 1. The streaming server 2 can simultaneously deliver video data to one or more viewer terminals 1. The viewer terminal 1 is a computer operated by the viewer, such as a personal computer, a tablet computer, or a smartphone. The viewer operates the viewer terminal 1 to access the streaming server 2, and the viewer terminal 1 can receive and play back the moving image data sent from the streaming server 2. In addition, the viewer terminal 1 can collect various event information, such as photographing the viewer, recording the voice of the viewer, and accepting the input of a comment from the viewer. Events from one or more viewers are collected by the streaming server 2, and the distributor device 3 collects events from the viewers by calling, for example, an API (Application Programming Interface) provided by the streaming server 2. Can be obtained.

なお、以下の説明において、ストリーミングにより配信されてリニアに再生される動画全体のことを特に「配信動画」という。配信動画は、カメラやマイクによりキャプチャした画像および音声を、リアルタイムに動画データにエンコードして送出する形式とすることもできるが、本実施形態では、配信動画は、素材データを組み合わせて合成したビデオデータとして生成することを想定している。 In the following description, the entire moving image that is distributed by streaming and played linearly is particularly referred to as "delivered moving image". The delivered video may be in a format in which the image and sound captured by the camera or microphone are encoded into video data in real time and transmitted, but in the present embodiment, the delivered video is a video synthesized by combining material data. It is supposed to be generated as data.

本実施形態の動画配信システムでは、一例として、擬似的なじゃんけんを行うことを想定する。本実施形態では、配信動画にはキャラクターが登場し、じゃんけんは、当該キャラクターと多数の視聴者との間で行われる。じゃんけんの最終的な勝者には報奨が与えられる。報奨は、たとえば、ポイントや商品券、電子マネー、仮想通貨、著作物の使用権、ゲームサービス等におけるアイテムの利用権など、任意のものとすることができる。 In the video distribution system of the present embodiment, it is assumed that pseudo-rock-paper-scissors is performed as an example. In the present embodiment, a character appears in the distribution video, and rock-paper-scissors is performed between the character and a large number of viewers. The final winner of rock-paper-scissors will be rewarded. The reward can be arbitrary, for example, points, gift certificates, electronic money, virtual currency, the right to use copyrighted works, the right to use items in game services, and the like.

図2は、配信者装置3のハードウェア構成例を示す図である。配信者装置3は、CPU301、メモリ302、記憶装置303、通信インタフェース304、入力装置305、出力装置306を備える。記憶装置303は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース304は、通信ネットワーク30に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置305は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置306は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。 FIG. 2 is a diagram showing a hardware configuration example of the distributor device 3. The distributor device 3 includes a CPU 301, a memory 302, a storage device 303, a communication interface 304, an input device 305, and an output device 306. The storage device 303 stores various data and programs, such as a hard disk drive, a solid state drive, and a flash memory. The communication interface 304 is an interface for connecting to the communication network 30, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, and a wireless communication device for performing wireless communication. , USB (Universal Serial Bus) connector for serial communication, RS232C connector, etc. The input device 305 is, for example, a keyboard, a mouse, a touch panel, a button, a microphone, or the like for inputting data. The output device 306 is, for example, a display, a printer, a speaker, or the like that outputs data.

図3は、配信者装置3のソフトウェア構成例を示す図である。同図に示すように、配信者装置3は、動画配信部311、イベント取得部312、アクション処理部313、グループ設定部314、集計出力部315、および報奨処理部316の各処理部と、素材ライブラリ331、アクション記憶部333、イベント記憶部334、グループ条件記憶部335、およびグループ記憶部336の各記憶部とを備える。 FIG. 3 is a diagram showing a software configuration example of the distributor device 3. As shown in the figure, the distributor device 3 includes each processing unit of the video distribution unit 311, the event acquisition unit 312, the action processing unit 313, the group setting unit 314, the aggregation output unit 315, and the reward processing unit 316, and the material. Each storage unit includes a library 331, an action storage unit 333, an event storage unit 334, a group condition storage unit 335, and a group storage unit 336.

なお、上記各処理部は、配信者装置3が備えるCPU301が、記憶装置303に記憶されているプログラムをメモリ302に読み出して実行することにより実現され、上記各記憶部は、配信者装置3が備えるメモリ302および記憶装置303の少なくともいずれかが提供する記憶領域の一部として実現される。 Each of the above processing units is realized by the CPU 301 included in the distributor device 3 reading the program stored in the storage device 303 into the memory 302 and executing the above-mentioned each storage unit. It is realized as a part of the storage area provided by at least one of the provided memory 302 and the storage device 303.

素材ライブラリ331は、動画に組み入れることのできる各種のデータ(素材データ)を記憶する。素材データは、たとえば、3Dモデル、静止画像、動画像、音声データ、MIDIデータ、文字データなどである。図4は、素材ライブラリ331の構造例を示す図である。同図に示すように、素材ライブラリ331は、素材データを特定するための情報(素材ID)に対応付けて、各種の素材データを記憶する。本実施形態では、キャラクターが多数の視聴者との間でじゃんけんを行うことを想定しており、キャラクターが、じゃんけんの進め方、ルール、勝者に対する報奨などについて説明をするシーンを描画するための素材、視聴者がじゃんけんの手を出すタイミングを指示するシーンを描画するための素材、じゃんけんの結果を示すシーンを描画するための素材、じゃんけんを継続することを宣言するシーンを描画するための素材、じゃんけんを終了することを宣言するシーンを描画するための素材などの素材データが素材ライブラリ331に登録されているものとする。 The material library 331 stores various data (material data) that can be incorporated into the moving image. The material data is, for example, a 3D model, a still image, a moving image, audio data, MIDI data, character data, or the like. FIG. 4 is a diagram showing a structural example of the material library 331. As shown in the figure, the material library 331 stores various material data in association with information (material ID) for specifying the material data. In this embodiment, it is assumed that the character plays rock-paper-scissors with a large number of viewers, and the material for drawing a scene in which the character explains how to proceed with rock-paper-scissors, rules, rewards for the winner, etc. Material for drawing a scene that instructs the viewer when to put out the rock-paper-scissors, material for drawing a scene that shows the result of rock-paper-scissors, material for drawing a scene that declares to continue rock-paper-scissors, rock-paper-scissors It is assumed that the material data such as the material for drawing the scene that declares the end of is registered in the material library 331.

アクション記憶部333は、素材データに対する操作(アクション)に関する情報(以下、アクション情報という。)を記憶する。図5は、アクション記憶部333に記憶されるアクション情報の一例を示す図である。同図に示すように、アクション情報には、アクションを示すアクションID、判定期間、グループ、条件、およびアクションを含む。 The action storage unit 333 stores information (hereinafter, referred to as action information) related to an operation (action) on the material data. FIG. 5 is a diagram showing an example of action information stored in the action storage unit 333. As shown in the figure, the action information includes an action ID indicating an action, a determination period, a group, a condition, and an action.

判定期間は、イベントが条件を満たすかどうかの判定を行う期間を示す情報である。判定期間は、たとえば、現時点から5分前までなどと相対的に指定してもよいし、12月25日00:00から00:10までというように絶対的に指定してもよい。また、アクションの指定および当該アクションが実行された時間(たとえば、アクション開始から10秒、アクション終了まで10秒など)としてもよい。判定期間の長さは、たとえば、1秒、1分、1時間、1日など、任意の時間とすることができる。 The determination period is information indicating a period for determining whether or not the event satisfies the condition. The determination period may be relatively specified, for example, from the present time to 5 minutes before, or may be absolutely specified, such as from 00:00 to 00:10 on December 25th. Further, the action may be specified and the time during which the action is executed (for example, 10 seconds from the start of the action, 10 seconds from the end of the action, etc.) may be set. The length of the determination period can be any time, for example, 1 second, 1 minute, 1 hour, 1 day.

グループは、視聴者が所属するグループを示す。アクション情報にグループが設定されている場合には、設定されているグループに所属する視聴者に関するイベント情報のみについては、後述する条件が満たされるかどうかが判断される。たとえば、配信動画中のキャラクターと視聴者との間でじゃんけんを行う場合、2回目以降の試行については、勝者グループに所属している視聴者からのユーザイベントであることを条件として追加することができる。なお、グループを省略して、後述する条件の中に、視聴者が特定のグループに所属していることを条件として指定するようにすることもできる。 The group indicates the group to which the viewer belongs. When a group is set in the action information, it is determined whether or not the conditions described later are satisfied only for the event information related to the viewers belonging to the set group. For example, when playing rock-paper-scissors between a character in a streamed video and a viewer, the second and subsequent trials may be added on condition that it is a user event from a viewer who belongs to the winner group. it can. It is also possible to omit the group and specify that the viewer belongs to a specific group in the conditions described later.

条件は、イベントに対するものであり、たとえば、イベントの有無であってもよいし、複数の視聴者からのイベントに関する集計値が閾値を超えたか否かであってもよい。 The condition is for an event, and may be, for example, the presence or absence of an event, or whether or not the aggregated value for the event from a plurality of viewers exceeds the threshold value.

ユーザイベント情報に対しては、たとえば、視聴者が配信動画の再生中に所定のキーを押下したか否か、動画上の所定エリアをクリックまたはタップしたか否か、動画上の所定エリアをクリックまたはタップした視聴者の人数が閾値を超えたか否かなどを条件とすることができる。配信動画の生成に用いられた素材データに基づいて、配信動画中に表示されているオブジェクトがクリックまたはタップされたか否か、当該オブジェクトをクリックまたはタップした視聴者の人数が閾値を超えたか否かを条件とすることもできる。 For user event information, for example, whether or not the viewer pressed a predetermined key during playback of the delivered video, whether or not the predetermined area on the video was clicked or tapped, and whether or not the predetermined area on the video was clicked. Alternatively, it can be a condition that the number of viewers tapped exceeds the threshold value. Whether the object displayed in the streamed video was clicked or tapped, and whether the number of viewers who clicked or tapped the object exceeded the threshold, based on the material data used to generate the streamed video. Can also be a condition.

また、視聴者端末1において視聴者から所定の文字(キーワード)の入力があったか否か、たとえば、配信動画に対して投稿されるコメントに所定のキーワードが含まれていたか否か、キーワードを入力した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。また、コメントを投稿した視聴者の地域ごとに集計したコメントまたは視聴者の数、たとえば、動画中で金額に対する意見を質問したことに対して視聴者が投稿した金額の集計値(平均値、中央値、最大値、最小値など)、コメントを構文解析することにより判断される視聴者の喜怒哀楽に基づく哀しんでいる視聴者の数などが所定の閾値を超えること、所定のキーワードを含むコメントが一度も投稿されなかったこと、などを条件とすることもできる。 In addition, whether or not a predetermined character (keyword) has been input by the viewer on the viewer terminal 1, for example, whether or not a predetermined keyword is included in the comment posted to the distributed video, the keyword has been input. It is also possible to make a condition such as whether or not the number of viewers exceeds the threshold value. Also, the number of comments or viewers aggregated by region of the viewers who posted comments, for example, the aggregated value of the amount posted by the viewer in response to asking an opinion on the amount in the video (average value, median) Value, maximum value, minimum value, etc.), the number of sorrowful viewers based on the emotions of the viewers judged by parsing the comment, etc. exceeds a predetermined threshold, and comments containing a predetermined keyword Can also be conditioned on the fact that was never posted.

また、音声認識を実行することにより、視聴者または視聴者の雰囲気に、たとえば、特定の言葉の発声が行われたか否か、拍手や口笛、足踏みなどが発音されていたか否かなどのように、特定の発音があったか否か、このような特定の発音があった視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、音声認識の処理は視聴者端末1が行い、認識結果をストリーミングサーバ2または配信者装置3に送信するようにしてもよいし、視聴者端末1からはキャプチャーされた音声データがストリーミングサーバ2を介してまたは直接配信者装置3に送信され、配信者装置3において音声認識処理を行うようにしてもよい。 In addition, by performing voice recognition, for example, whether or not a specific word is uttered, whether or not applause, whistling, stepping, etc. are pronounced in the viewer or the viewer's atmosphere, etc. It is also possible to make conditions such as whether or not there is a specific pronunciation, and whether or not the number of viewers who have such a specific pronunciation exceeds the threshold value. In this case, the voice recognition process may be performed by the viewer terminal 1 and the recognition result may be transmitted to the streaming server 2 or the distributor device 3, or the voice data captured from the viewer terminal 1 may be transmitted to the streaming server. It may be transmitted to the distributor device 3 via 2 or directly, and the voice recognition process may be performed in the distributor device 3.

また、視聴者が視聴者端末1において自撮り画像または視聴者の雰囲気を撮影したか否か、こうした画像がストリーミングサーバ2に投稿されたか否か、画像を投稿した視聴者の人数が閾値を超えたか否かを条件とすることもできる。また、画像解析により、所定のものを撮影した画像(たとえば、視聴者の周りにある特定の看板やフライヤーが撮影された画像)が投稿されたか否か、そのような画像を投稿した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。さらに、画像解析により、視聴者の姿勢や視線、ジェスチャーなどを認識し、視聴者が所定の姿勢や視線、ジェスチャーをしたか否か、所定の姿勢や視線、ジェスチャーをした視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、画像解析処理は、視聴者端末1が行い、解析結果をストリーミングサーバ2または配信者装置3に送信するようにしてもよいし、視聴者端末1からは撮影された画像データがストリーミングサーバ2を介してまたは直接配信者装置3に送信され、配信者装置3において画像解析処理を行うようにしてもよい。 In addition, whether or not the viewer has taken a self-portrait image or the atmosphere of the viewer on the viewer terminal 1, whether or not such an image has been posted to the streaming server 2, and the number of viewers who have posted the image exceeds the threshold value. It can also be a condition of whether or not it is. Also, by image analysis, whether or not an image of a predetermined object (for example, an image of a specific signboard or flyer around the viewer) has been posted, and whether or not the image of the viewer who posted such an image has been posted. It is also possible to make a condition such as whether or not the number of people exceeds the threshold. Furthermore, image analysis recognizes the viewer's posture, line of sight, gesture, etc., and whether or not the viewer has made a predetermined posture, line of sight, or gesture, and the number of viewers who have made a predetermined posture, line of sight, or gesture are threshold values. It can also be a condition such as whether or not it exceeds. In this case, the image analysis process may be performed by the viewer terminal 1 and the analysis result may be transmitted to the streaming server 2 or the distributor device 3, or the image data captured from the viewer terminal 1 may be transmitted to the streaming server. It may be transmitted to the distributor device 3 via 2 or directly, and the image analysis process may be performed in the distributor device 3.

また、システムイベント情報に対しては、たとえば、配信画像を視聴している視聴者の人数が閾値を超えたか否かを条件とすることができる。また、配信画像の再生から所定時間が経過したか否かを条件とすることもできる。また、視聴者もしくは配信者の所在地または所定の地域における天気をシステムイベント情報として取得したような場合には、この天気が所定の天気であるか否かを条件(たとえば、晴れであること、雨が降っていること、雪が降っていること、所定以上の強さの風が吹いていること、所定温度以上の気温であることなど)とすることができる。また、素材データが3Dモデルなどである場合、配信動画中においてオブジェクトが衝突したことを条件とすることもできる。 Further, for the system event information, for example, it can be a condition whether or not the number of viewers who are viewing the distributed image exceeds the threshold value. It is also possible to set whether or not a predetermined time has elapsed from the reproduction of the delivered image. In addition, when the weather in the location of the viewer or distributor or in a predetermined area is acquired as system event information, it is a condition whether or not this weather is the predetermined weather (for example, it is sunny, rain). It can be said that it is raining, it is snowing, a wind of a predetermined strength or higher is blowing, a temperature of a predetermined temperature or higher, etc.). Further, when the material data is a 3D model or the like, it can be a condition that the objects collide with each other in the distributed moving image.

アクションは、上述したように素材データに対する各種の操作である。アクションにはパラメータも含めることができ、素材データに対して具体的にどのような操作を行うかを詳細に設定することができる。さらに本実施形態では、アクションは、素材データに対する操作のみでなく、他のアクションの実行や停止、他のアクションの実行が完了するのを待機するなどの処理を含むことができる。アクションは、たとえば、スクリプト言語により表記されたプログラムとして格納することもできる。 The actions are various operations on the material data as described above. Parameters can also be included in the action, and it is possible to set in detail what kind of operation is specifically performed on the material data. Further, in the present embodiment, the action can include not only an operation on the material data but also a process of executing or stopping another action, waiting for the execution of the other action to be completed, and the like. Actions can also be stored, for example, as a program written in a scripting language.

イベント記憶部334は、発生した各種のイベントを記憶する。図6は、イベント記憶部334の構成例を示す図である。上述したように、イベント記憶部334は、ユーザイベント情報と、システムイベント情報とを記憶している。以下、ユーザイベント情報と、システムイベント情報とを合わせてイベント情報ともいう。ユーザイベント情報には、イベントを示すイベントID、イベントに関する視聴者を示す視聴者ID、イベントの発生した日時、およびイベントの内容が含まれる。また、システムイベント情報には、イベントID、イベントの発生した日時およびイベントの内容が含まれる。イベントの内容は、イベントにより異なり、たとえば、ユーザイベント情報の場合、視聴者が配信動画に対してコメントを投稿したときには、投稿されたコメントがイベント内容として設定されうる。また、視聴者端末1が視聴者を撮影した画像を解析して視聴者の視線やジェスチャーを得られたときには、これらの視線やジェスチャーを示す情報がイベントの内容として設定されうる。システムイベント情報の場合、視聴者の数、天気、時刻などがイベントの内容として設定されうる。 The event storage unit 334 stores various events that have occurred. FIG. 6 is a diagram showing a configuration example of the event storage unit 334. As described above, the event storage unit 334 stores the user event information and the system event information. Hereinafter, the user event information and the system event information are collectively referred to as event information. The user event information includes an event ID indicating an event, a viewer ID indicating a viewer related to the event, a date and time when the event occurred, and the content of the event. In addition, the system event information includes the event ID, the date and time when the event occurred, and the content of the event. The content of the event differs depending on the event. For example, in the case of user event information, when a viewer posts a comment on the delivered video, the posted comment can be set as the event content. Further, when the viewer terminal 1 analyzes the image of the viewer and obtains the viewer's line of sight or gesture, information indicating the line of sight or gesture can be set as the content of the event. In the case of system event information, the number of viewers, weather, time, etc. can be set as the content of the event.

グループ条件記憶部335は、視聴者をグループ分けする条件(以下、グループ条件情報という。)を記憶する。図7は、グループ条件記憶部335の構成例を示す図である。グループ条件情報には、判定期間、条件およびグループが含まれる。判定期間は、グループ分けを行う期間を示す情報である。判定期間は、上述したアクション情報の判定期間と同様に、たとえば、開始日時および終了日時であってもよいし、アクションの指定および当該アクションが実行された時間(たとえば、アクション開始から10秒、アクション終了まで10秒など)としてもよい。判定期間の長さは、たとえば、1秒、1分、1時間、1日など、任意の時間とすることができる。条件は、特定の視聴者に関する条件であり、最新のユーザイベント、過去のユーザイベント、視聴者が所属するグループなどについての条件とすることができる。たとえば、じゃんけんゲームを開始した一番最初のじゃんけんについては、視聴者が出したじゃんけんの手についての条件(たとえば、視聴者の手がパーである等)とし、2度目以降のじゃんけんについては、視聴者が勝者グループに所属しており、かつ、出した手が所定の手(グー、チョキ、またはパー)であることと設定することができる。グループ条件情報には、複数の条件を設定するようにしてもよい。グループは、上記条件を満たす視聴者が所属することになるグループである。たとえば、条件に、勝者グループに所属しており、かつ、グーを出したことが指定するとともに、グループに勝者グループを指定したグループ条件情報の場合、直前の回まで勝ち(あいこを含めてもよい。)続けていた視聴者であって、かつ判定期間内にグーを出した視聴者を勝者グループに所属させることを示している。なお、本実施形態では、視聴者が取り得る全てのパターンについてグループ条件情報が設定されているものとする。たとえば、デフォルト(他の条件にマッチしなかった視聴者)という条件を指定したグループ条件情報が含まれているものとする。 The group condition storage unit 335 stores conditions for grouping viewers (hereinafter, referred to as group condition information). FIG. 7 is a diagram showing a configuration example of the group condition storage unit 335. The group condition information includes the determination period, the condition and the group. The determination period is information indicating a period for grouping. The determination period may be, for example, a start date and time and an end date and time, as in the determination period of the action information described above, or the time when the action is specified and the action is executed (for example, 10 seconds from the start of the action, the action). It may be 10 seconds until the end). The length of the determination period can be any time, for example, 1 second, 1 minute, 1 hour, 1 day. The condition is a condition related to a specific viewer, and can be a condition related to the latest user event, a past user event, a group to which the viewer belongs, and the like. For example, for the very first rock-paper-scissors game that started, the conditions for the rock-paper-scissors hand issued by the viewer (for example, the viewer's hand is par) are set, and for the second and subsequent rock-paper-scissors, viewing. It can be set that the person belongs to the winner group and the hand that is put out is a predetermined hand (goo, choki, or par). A plurality of conditions may be set in the group condition information. The group is a group to which viewers satisfying the above conditions belong. For example, in the case of group condition information in which the condition specifies that the player belongs to the winner group and has issued a goo, and the winner group is specified in the group, the player wins up to the previous round (may include Aiko). .) Indicates that the viewers who have continued and who have issued a goo within the judgment period will belong to the winner group. In this embodiment, it is assumed that group condition information is set for all patterns that the viewer can take. For example, it is assumed that the group condition information that specifies the condition of default (viewer who did not match other conditions) is included.

グループ記憶部336は、配信動画に係る視聴者が所属するグループを管理する。図8は、グループ記憶部336の構成例を示す図である。グループ記憶部336は、グループ情報を記憶しており、グループ情報には、視聴者を示す視聴者IDと、当該視聴者が所属するグループとが含まれている。 The group storage unit 336 manages the group to which the viewer related to the distributed video belongs. FIG. 8 is a diagram showing a configuration example of the group storage unit 336. The group storage unit 336 stores group information, and the group information includes a viewer ID indicating a viewer and a group to which the viewer belongs.

動画配信部311は、動画を配信する。動画配信部311は、後述するアクション処理部313が実行するアクション(複数のアクションが実行されることもある。)からの出力を合成して(必要に応じてエンコードして)、配信動画を生成することができる。また、動画配信部311は、生成した配信動画をストリーミングサーバ2に送信することで、視聴者端末1に動画を配信することができる。 The video distribution unit 311 distributes the video. The video distribution unit 311 synthesizes (encodes as necessary) the output from the action (a plurality of actions may be executed) executed by the action processing unit 313 described later, and generates the distribution video. can do. Further, the video distribution unit 311 can distribute the video to the viewer terminal 1 by transmitting the generated distribution video to the streaming server 2.

イベント取得部312は、イベントを取得して、取得したイベントの内容をイベント情報としてイベント記憶部334に登録する。なお、イベント取得部312がどのようなイベントを取得するかについては、ユーザから設定可能であるものとする。どのようなイベントを取得するかを示す設定情報は、たとえば、メモリ302や記憶装置303などに記憶しておくことができる。 The event acquisition unit 312 acquires an event and registers the content of the acquired event in the event storage unit 334 as event information. It is assumed that the user can set what kind of event the event acquisition unit 312 acquires. The setting information indicating what kind of event is to be acquired can be stored in, for example, a memory 302 or a storage device 303.

イベント取得部312は、たとえば、視聴者が入力したキーやタップ、クリックなどのイベントをユーザイベント情報として登録することができる。たとえば、視聴者端末1においてWebブラウザにおいて配信動画が視聴されている場合には、Webブラウザ上で発生したクリックイベントをストリーミングサーバ2または配信者装置3に送信するようなスクリプトを設定しておき、イベント取得部312は、ストリーミングサーバ2を介してまたは視聴者端末1から直接、クリックイベントを取得することができる。 The event acquisition unit 312 can register, for example, an event such as a key, a tap, or a click input by the viewer as user event information. For example, when the distribution video is viewed on the Web browser on the viewer terminal 1, a script is set so as to send the click event generated on the Web browser to the streaming server 2 or the distributor device 3. The event acquisition unit 312 can acquire the click event via the streaming server 2 or directly from the viewer terminal 1.

また、イベント取得部312は、たとえば、ストリーミングサーバ2が、投稿されたコメントを取得するためのAPIを提供している場合には、当該APIを呼び出すことにより、視聴者により投稿されたコメントを取得することができる。また、イベント取得部312は、コメントを構文解析して、所定のキーワードが含まれていることをユーザイベント情報として登録してもよい。 Further, for example, when the streaming server 2 provides an API for acquiring the posted comment, the event acquisition unit 312 acquires the comment posted by the viewer by calling the API. can do. In addition, the event acquisition unit 312 may parse the comment and register that a predetermined keyword is included as user event information.

また、イベント取得部312は、たとえば、視聴者端末1からキャプチャーした音声データを受信し、受信した音声データを解析して特定の発音があったことをユーザイベント情報として登録することができる。なお、音声解析処理を視聴者端末1で行うようにして、イベント取得部312は、視聴者端末1から直接またはストリーミングサーバ2を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。また、イベント取得部312は、視聴者端末1から視聴者を撮影した画像を受信し、受信した画像を解析して視聴者の姿勢や視線、ジェスチャーなどを取得することもできる。あるいは視聴者端末1において画像の解析を行い、その結果を受信するようにすることもできる。イベント取得部312は、視聴中の視聴者の数を定期的にカウントしてシステムイベント情報に登録してもよい。なお、画像解析処理を視聴者端末1で行うようにして、イベント取得部312は、視聴者端末1から直接またはストリーミングサーバ2を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。 Further, the event acquisition unit 312 can receive, for example, the voice data captured from the viewer terminal 1, analyze the received voice data, and register that a specific pronunciation has occurred as user event information. The audio analysis process is performed on the viewer terminal 1, and the event acquisition unit 312 receives the analysis result directly from the viewer terminal 1 or via the streaming server 2 and registers it as user event information. You may. In addition, the event acquisition unit 312 can also receive an image of the viewer taken from the viewer terminal 1 and analyze the received image to acquire the viewer's posture, line of sight, gesture, and the like. Alternatively, the viewer terminal 1 may analyze the image and receive the result. The event acquisition unit 312 may periodically count the number of viewers who are watching and register it in the system event information. The image analysis process is performed on the viewer terminal 1, and the event acquisition unit 312 receives the analysis result directly from the viewer terminal 1 or via the streaming server 2 and registers it as user event information. You may.

また、本実施形態で想定しているじゃんけんの場合、イベント取得部312は、たとえば、視聴者がじゃんけんの手を出したことをユーザイベント情報として登録することができる。じゃんけんの手を出したことは、たとえば、視聴者端末1においてWebブラウザにじゃんけんの手(グー、チョキ、パー)を入力するためのボタンを表示させて視聴者にクリックさせるようにすることができる。また、配信動画中にじゃんけんの手を示す映像を含めるとともに、各手に対応する領域を設定しておき、視聴者端末1が配信動画中でクリックされた位置を、ストリーミングサーバ2を介してまたは直接に配信者装置3に送信し、イベント取得部312が、クリックされた位置が、上記各手に対応する領域に入るか否かにより視聴者が出したじゃんけんの手を判定することができる。また、この判定を視聴者端末1またはストリーミングサーバ2において行うようにしてもよい。さらに、イベント取得部312は、たとえば、視聴者が投稿したコメントに記載されているじゃんけんの手を示す単語を抽出することにより、視聴者が出したじゃんけんの手を特定することができる。 Further, in the case of rock-paper-scissors assumed in the present embodiment, the event acquisition unit 312 can register, for example, that the viewer has made a hand of rock-paper-scissors as user event information. The fact that the rock-paper-scissors hand is put out is that, for example, the viewer terminal 1 can display a button for inputting the rock-paper-scissors hand (goo, choki, par) on the Web browser and make the viewer click. .. In addition, a video showing a rock-paper-scissors hand is included in the distribution video, an area corresponding to each hand is set, and the position where the viewer terminal 1 is clicked in the distribution video can be determined via the streaming server 2 or. It is directly transmitted to the distributor device 3, and the event acquisition unit 312 can determine the hand of the rock-paper-scissors that the viewer put out depending on whether or not the clicked position enters the area corresponding to each of the above hands. Further, this determination may be performed on the viewer terminal 1 or the streaming server 2. Further, the event acquisition unit 312 can identify the rock-paper-scissors hand issued by the viewer by, for example, extracting the word indicating the rock-paper-scissors hand described in the comment posted by the viewer.

また、イベント取得部312は、たとえば、クロックからタイムアウトイベントを取得するようにして、配信画像の再生開始から所定時間が経過したことをシステムイベント情報として登録することができる。イベント取得部312は、所定の時刻になったこと(たとえば、日付が変わったこと、午後3時になったことなど)をシステムイベント情報として登録することもできる。 Further, the event acquisition unit 312 can, for example, acquire a timeout event from the clock and register as system event information that a predetermined time has elapsed from the start of reproduction of the distributed image. The event acquisition unit 312 can also register that the predetermined time has come (for example, the date has changed, the time has reached 3:00 pm, etc.) as system event information.

また、イベント取得部312は、たとえば、気象会社のサーバなどから気象情報を取得して、特定の地域(たとえば、各視聴者の所在地もしくは配信者の所在地、または予め設定した地域)における気象要素をシステムイベント情報として登録することもできる。 In addition, the event acquisition unit 312 acquires weather information from, for example, a server of a weather company, and obtains weather elements in a specific area (for example, the location of each viewer or the location of a distributor, or a preset area). It can also be registered as system event information.

また、イベント取得部312は、たとえば、素材データが3Dモデルなどである場合には、配信動画中においてオブジェクトが衝突したことを判定してシステムイベント情報として登録することもできる。 Further, the event acquisition unit 312 can determine that an object has collided in the distributed moving image and register it as system event information, for example, when the material data is a 3D model or the like.

アクション処理部313は、素材データに対してアクションを実行する。アクション処理部313は、最初に実行するアクションの指定を受け付け、受け付けたアクションを実行する。アクションの中には他のアクションの起動が含まれうるため、この場合、アクション処理部313は、順次アクションを起動し続けていくことができる。なお、アクションは複数に分岐して並列に実行することも可能である。 The action processing unit 313 executes an action on the material data. The action processing unit 313 accepts the designation of the action to be executed first, and executes the accepted action. Since the action may include the activation of another action, in this case, the action processing unit 313 can continue to activate the actions in sequence. It is also possible to branch an action into a plurality of actions and execute them in parallel.

アクション処理部313はまた、イベントに応じたアクションの実行を行う。アクション処理部313は、アクション記憶部333に記憶されているアクション情報のそれぞれについて、期間に対応するイベント情報をイベント記憶部334から読み出して集計し、条件を満たすか否かを判定し、条件を満たす場合には、アクション情報に設定されているアクションを実行する。これにより、イベントに応じて動画の展開を動的に変化させることが可能となる。 The action processing unit 313 also executes an action according to the event. The action processing unit 313 reads the event information corresponding to the period from the event storage unit 334 for each of the action information stored in the action storage unit 333, aggregates the information, determines whether or not the condition is satisfied, and sets the condition. If it is satisfied, the action set in the action information is executed. This makes it possible to dynamically change the development of the moving image according to the event.

アクション処理部313はさらに、視聴者のグループを考慮する。すなわち、アクション処理部313は、アクション情報にグループが設定されている場合には、設定されているグループに所属している視聴者に対応するイベント情報のみに応じたアクションの実行を行う。たとえば、じゃんけんの場合、勝者グループに所属している視聴者からのイベントについてのみ、アクションを実行するようにする。これにより、じゃんけんの進行に敗者からのイベントを考慮しないようにして、正しくゲームを進行させることができる。 The action processing unit 313 further considers a group of viewers. That is, when a group is set in the action information, the action processing unit 313 executes the action according to only the event information corresponding to the viewer belonging to the set group. For example, in the case of rock-paper-scissors, the action should be executed only for the event from the viewer who belongs to the winner group. This makes it possible to proceed with the game correctly without considering the event from the loser in the progress of rock-paper-scissors.

グループ設定部314は、視聴者をグループ分けする。本実施形態では、グループ設定部314は、アクション処理部313がアクションを実行する度に、ユーザをグループ分けするものとするが、任意のタイミングでグループ分けを行うようにしてもよい。たとえば、たとえば、イベント取得部312が事前に設定されたイベントを取得した場合(たとえば、コメントの投稿など視聴者からの反応があった場合)や、所定の時間が経過する度に、グループ分けを行うことができる。グループ設定部314は、視聴者のそれぞれについて、グループ条件情報記憶部335に登録されているグループ条件情報のうち、条件が充足されるものを検索し、検索したグループ条件情報に設定されているグループに、当該視聴者が所属することを決定する。グループ設定部314は、決定した視聴者とグループとを対応付けるグループ情報を作成してグループ記憶部336に登録する。なお、当該視聴者に対応するグループ情報がグループ記憶部336に既に登録されている場合には、そのグループ情報を更新するものとする。本実施形態では、グループ条件情報には、じゃんけんの手に対する条件(および、2回目以降のじゃんけん試行については、視聴者が所属しているグループが「勝者グループ」であること)と、その条件を満たす視聴者を「勝者グループ」とすることが設定されているものとする。また、その他の視聴者を「敗者グループ」に設定するグループ条件情報も設定されているものとする。したがって、グループ設定部314は、じゃんけんの試行を繰り返し、勝者グループに所属する視聴者を減らしていくことができる。 The group setting unit 314 divides the viewers into groups. In the present embodiment, the group setting unit 314 groups the users each time the action processing unit 313 executes the action, but the group setting unit 314 may perform the grouping at an arbitrary timing. For example, when the event acquisition unit 312 acquires a preset event (for example, when there is a reaction from the viewer such as posting a comment), or when a predetermined time elapses, grouping is performed. It can be carried out. The group setting unit 314 searches for each of the viewers the group condition information registered in the group condition information storage unit 335 that satisfies the condition, and the group set in the searched group condition information. It is decided that the viewer belongs to. The group setting unit 314 creates group information for associating the determined viewer with the group and registers it in the group storage unit 336. If the group information corresponding to the viewer is already registered in the group storage unit 336, the group information shall be updated. In the present embodiment, the group condition information includes the conditions for the rock-paper-scissors hand (and for the second and subsequent rock-paper-scissors trials, the group to which the viewer belongs is the "winner group") and the conditions. It is assumed that the satisfied viewers are set as the "winner group". In addition, it is assumed that group condition information for setting other viewers as a "loser group" is also set. Therefore, the group setting unit 314 can repeat the trial of rock-paper-scissors and reduce the number of viewers belonging to the winner group.

集計出力部315は、各種の集計を出力することができる。集計出力部315は、たとえば、過去に登録されているユーザイベント情報から、視聴者の数をカウントしたり、特定の単語ごとに、当該単語を含むコメントを投稿した視聴者の数を集計したりすることができる。また、集計出力部315は、たとえば、グループ効く部336から、グループごとの視聴者の数を集計することができる。集計出力部315は、集計した数を出力することができる。集計出力部315からの出力は、配信画像とは別に視聴者端末1に送信され、視聴者端末1に表示されてもよいし、配信画像に重畳表示させるようにしてもよい。 The total output unit 315 can output various totals. For example, the total output unit 315 counts the number of viewers from the user event information registered in the past, or totals the number of viewers who posted a comment including the word for each specific word. can do. In addition, the total output unit 315 can total the number of viewers for each group from, for example, the group effective unit 336. The total output unit 315 can output the total number. The output from the total output unit 315 may be transmitted to the viewer terminal 1 separately from the distributed image and displayed on the viewer terminal 1, or may be superimposed and displayed on the distributed image.

報奨処理部316は、グループに応じて視聴者に報酬を与えるための処理を行う。報奨処理部316は、たとえば、特定のグループに所属している視聴者にのみ報酬を与えるようにしてもよいし、グループごとに異なる報酬を与えるようにしてもよい。報奨処理部316による報酬を与える処理については、ポイントを加算したり、仮想通貨の資金移動を行ったり、アイテムを付与したりするなど、一般的な報奨に係る処理を行うものとして、ここでは説明を省略する。本実施形態では、報奨処理部316は、じゃんけんの勝者、すなわち、勝者グループに所属している視聴者のそれぞれに対して、報酬を与える処理を行う。 The reward processing unit 316 performs processing for rewarding the viewer according to the group. The reward processing unit 316 may, for example, reward only the viewers who belong to a specific group, or may give different rewards for each group. Regarding the process of giving rewards by the reward processing unit 316, it is explained here as processing related to general rewards such as adding points, transferring funds of virtual currency, and giving items. Is omitted. In the present embodiment, the reward processing unit 316 performs a process of giving a reward to each of the winners of rock-paper-scissors, that is, the viewers belonging to the winner group.

図9は、本実施形態の動画配信システムにより実行される処理の流れを説明する図である。 FIG. 9 is a diagram illustrating a flow of processing executed by the moving image distribution system of the present embodiment.

アクション処理部313は、最初に実行するアクションの指定を受け付け(S421)、指定されたアクションを実行する(S422)。アクションが実行された結果として出力される映像や音声は合成され、動画データとして動画配信部311によりストリーミングサーバ2に送信される。 The action processing unit 313 accepts the designation of the action to be executed first (S421), and executes the designated action (S422). The video and audio output as a result of executing the action are synthesized and transmitted as moving image data to the streaming server 2 by the moving image distribution unit 311.

イベント取得部312は、定期的にイベントを取得する(S423)。たとえば、イベント取得部312は、ストリーミングサーバ2が提供するAPIを呼び出すことにより、配信動画に対して投稿されたコメントを取得することができる。またイベント取得部312は、タイマー機能を用いて所定の時間が経過したことを取得することができる。 The event acquisition unit 312 periodically acquires an event (S423). For example, the event acquisition unit 312 can acquire the comment posted on the distributed video by calling the API provided by the streaming server 2. Further, the event acquisition unit 312 can acquire that a predetermined time has elapsed by using the timer function.

アクション記憶部333に記憶されている各アクション情報について、アクション処理部313は、アクション情報にグループが設定されている場合(S424:YES)、グループに対応し、かつ、判定期間に入る日時のイベント情報をイベント記憶部334から読み出し(S425)、アクション情報にグループが設定されていなければ(S424:NO)、判定期間に入る日時のイベント情報をすべてイベント記憶部334から読み出す(S426)。 For each action information stored in the action storage unit 333, the action processing unit 313 corresponds to the group when the group is set in the action information (S424: YES), and the event of the date and time when the determination period is entered. The information is read from the event storage unit 334 (S425), and if no group is set in the action information (S424: NO), all the event information on the date and time when the determination period is entered is read from the event storage unit 334 (S426).

アクション処理部313は、読み出したイベント情報のイベント内容がアクション情報の条件を満たすかどうか判定する(S427)。なお、アクション情報に、イベント情報およびグループ情報以外の情報であって、配信者装置3が管理している情報または他の情報処理装置にアクセスして取得可能な情報に対する条件が含まれている場合には、これらの情報を取得して条件を満たすか否かを判定するようにしてよい。イベントが条件を満たす場合(S428:YES)、アクション処理部313は、アクション情報に含まれるアクションを実行する(S429)。ここでアクション処理部313は、以前に実行していたアクションを停止してもよいし、以前に実行していたアクションと並行して新たなアクションを実行するようにしてもよいし、この挙動を新たなアクション内で指定可能としてもよい。グループ設定部314は、視聴者をグループ分けする(S430)。図10は、本実施形態に係る視聴者のグループ分け処理の流れを説明する図である。グループ設定部314は、イベント情報に係る各視聴者について以下の処理を行う。グループ設定部314は、グループ条件記憶部335からグループ条件情報を読み出し(S441)、読み出した各グループ条件情報について、当該視聴者に対応し、かつ、判定期間に入る日時のイベント情報をイベント記憶部334から読み出し(S442)、読み出したイベント情報がグループ条件情報の条件を満たす場合(S443:YES)、視聴者を示す視聴者IDと、グループ条件情報のグループとを設定したグループ情報をグループ記憶部336に登録する(S444)。以上のようにして、視聴者のグループ分けが行われる。 The action processing unit 313 determines whether or not the event content of the read event information satisfies the condition of the action information (S427). When the action information includes information other than event information and group information and includes conditions for information managed by the distributor device 3 or information that can be acquired by accessing another information processing device. In order to obtain this information, it may be determined whether or not the condition is satisfied. When the event satisfies the condition (S428: YES), the action processing unit 313 executes the action included in the action information (S429). Here, the action processing unit 313 may stop the previously executed action, or may execute a new action in parallel with the previously executed action, and this behavior may be performed. It may be possible to specify it in a new action. The group setting unit 314 divides the viewers into groups (S430). FIG. 10 is a diagram illustrating a flow of viewer grouping processing according to the present embodiment. The group setting unit 314 performs the following processing for each viewer related to the event information. The group setting unit 314 reads the group condition information from the group condition storage unit 335 (S441), and for each read group condition information, the event information corresponding to the viewer and the date and time when the determination period is entered is stored in the event storage unit. When the event information read from 334 satisfies the condition of the group condition information (S443: YES), the group information in which the viewer ID indicating the viewer and the group of the group condition information are set is stored in the group storage unit. Register with 336 (S444). As described above, the viewers are grouped.

図9に戻り、アクション情報のアクションが配信動画を終了させるものでなければ(S431:NO)、ステップS423からの処理を繰り返す。たとえば、じゃんけんの場合には、勝者グループに所属する視聴者の数が所定数以下になった場合に、配信動画を終了させるアクションを実行するようにアクション情報を登録しておくことができる。 Returning to FIG. 9, if the action of the action information does not end the distribution video (S431: NO), the process from step S423 is repeated. For example, in the case of rock-paper-scissors, action information can be registered so as to execute an action to end the distribution video when the number of viewers belonging to the winner group becomes a predetermined number or less.

配信動画を終了させるアクションが実行された場合(S431)、報奨処理部316は、グループに応じて視聴者に報酬を与えて(S432)、処理を終了する。じゃんけんの場合、報奨処理部316は、勝者グループに所属している視聴者にのみ報酬を与えるようにすることができる。 When the action of terminating the delivered video is executed (S431), the reward processing unit 316 rewards the viewer according to the group (S432) and ends the process. In the case of rock-paper-scissors, the reward processing unit 316 can reward only the viewers who belong to the winner group.

図11は、配信動画の視聴画面50の一例を示す図である。視聴画面50は、視聴者端末1が表示する。視聴画面50では、配信動画51が再生され、この配信動画51に対して視聴者からリアルタイムに投稿されたコメント52がリスト表示される。図11の例では、配信動画51中でキャラクターがじゃんけんを受付中である旨のメッセージ53を発声しており、これに応じて視聴者がコメントとして自分の手を入力している。また、アクション処理部313によって、コメント52に含まれているじゃんけんの手に応じて、視聴者から出された手を示すアイコン54が配信動画51中に描画されている。図11には示されていないが、アクション処理部313によって、コメント52に応じて配信動画51として描画される素材データに対する操作が行われ、たとえば、パーの手が数多く出されているような場合に、「パーが一杯でているね」というような発言をする動画を配信動画51に入れ込むようなことが可能となる。視聴画面50にはまた、集計出力部315による集計結果の一例として、勝者グループに所属している視聴者の人数55と、現在投稿されているじゃんけんの手の割合56とが表示されている。このような集計結果を参考に、視聴者は出す手を考えることができる。 FIG. 11 is a diagram showing an example of the viewing screen 50 of the distributed moving image. The viewing screen 50 is displayed by the viewer terminal 1. On the viewing screen 50, the distribution video 51 is played back, and the comments 52 posted in real time by the viewer on the distribution video 51 are displayed in a list. In the example of FIG. 11, a message 53 indicating that the character is accepting rock-paper-scissors is uttered in the distribution video 51, and the viewer inputs his / her hand as a comment accordingly. Further, the action processing unit 313 draws an icon 54 indicating the hand issued by the viewer in the distribution video 51 according to the hand of the rock-paper-scissors included in the comment 52. Although not shown in FIG. 11, the action processing unit 313 performs an operation on the material data drawn as the distribution moving image 51 in response to the comment 52, for example, when a large number of par hands are put out. In addition, it is possible to insert a video that makes a statement such as "The par is full" into the distribution video 51. On the viewing screen 50, as an example of the total result by the total output unit 315, the number of viewers belonging to the winner group 55 and the ratio of rock-paper-scissors hands currently posted 56 are displayed. With reference to such tabulation results, the viewer can think about what to do.

以上のようにして、本実施形態の動画配信システムは、配信動画をストリーミングサーバ2経由で視聴者端末1に配信するとともに、配信動画の再生中における各種のイベントに応じて、再生中の配信動画に変更を加えることができる。したがって、録画済みの映像を利用しながらも、視聴者の反応に応じて配信動画に様々な展開を加えることが可能となり、ストリーミング形式での動画の配信方式によるライブ感を損なわずに動画を配信することが可能となる。 As described above, the video distribution system of the present embodiment distributes the distributed video to the viewer terminal 1 via the streaming server 2, and the distributed video being played in response to various events during the playback of the distributed video. Can be modified. Therefore, while using the recorded video, it is possible to add various developments to the distributed video according to the reaction of the viewer, and the video is distributed without impairing the live feeling due to the streaming format video distribution method. It becomes possible to do.

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes equivalents thereof.

たとえば、本実施形態では、配信者装置3から送出した動画は、ストリーミングサーバ2を介して視聴者端末1に配信されるものとしたが、配信者装置3から各視聴者端末1に直接動画を配信するようにすることもできる。 For example, in the present embodiment, the moving image transmitted from the distributor device 3 is distributed to the viewer terminal 1 via the streaming server 2, but the moving image is directly delivered from the distributor device 3 to each viewer terminal 1. It can also be delivered.

また、本実施形態では、動画の再生途中であっても、コメントが条件を満たせば、次の部品動画データに遷移する(図9のステップS428)ものとしたが、現在のアクションの実行は最後まで行った後に、次のアクションに実行するようにしてもよい。 Further, in the present embodiment, even during the reproduction of the moving image, if the comment satisfies the condition, the transition is made to the next component moving image data (step S428 in FIG. 9), but the execution of the current action is the last. After that, the next action may be executed.

また、本実施形態では、アクションが実行されるごとに視聴者をグループ分けするものとしたが、素材データやアクションの内容に応じて、グループ分けをするか否かを決定するようにしてもよい。たとえば、キャラクターがじゃんけんの手を出す映像を生成した場合のみ、視聴者のグループ分けをするようにしてもよい。 Further, in the present embodiment, the viewers are grouped each time the action is executed, but it may be decided whether or not to group the viewers according to the material data and the content of the action. .. For example, the viewers may be grouped only when the character produces a video of rock-paper-scissors.

また、本実施形態では、じゃんけんを例として説明したが、じゃんけんに限らず、数字当て、文字当て、ビンゴ、あっちむいてほい、心理テスト、○×クイズ、後出しじゃんけんなどに適用することもできる。 In addition, in this embodiment, rock-paper-scissors has been described as an example, but it is not limited to rock-paper-scissors, but can be applied to number guessing, character guessing, bingo, Achimuitehoi, psychological test, ○ × quiz, rock-paper-scissors later. it can.

1 視聴者端末
2 ストリーミングサーバ
3 配信者装置
311 動画配信部
312 イベント取得部
313 アクション処理部
314 グループ設定部
315 集計出力部
316 報奨処理部
331 素材ライブラリ
333 アクション記憶部
334 イベント記憶部
335 グループ条件記憶部
336 グループ記憶部
1 Viewer terminal 2 Streaming server 3 Distributor device 311 Video distribution unit 312 Event acquisition unit 313 Action processing unit 314 Group setting unit 315 Aggregation output unit 316 Reward processing unit 331 Material library 333 Action storage unit 334 Event storage unit 335 Group condition storage Department 336 Group storage unit

Claims (5)

動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、
前記反応情報に応じて、前記視聴者を2つ以上のグループに分けるグループ設定部と、
を備え、
前記アクション処理部は、前記視聴者が前記グループに分けられた後は、前記視聴者が所属する前記グループに応じて異なる前記操作を行うこと、
を特徴とする動画配信システム。
A material library that stores material data for generating videos,
A video distribution unit that sends out the video based on the material data,
A reaction acquisition unit that acquires reaction information indicating a reaction from a viewer of the moving image during playback of the moving image, and a reaction acquisition unit.
An action processing unit that performs an operation on the material data according to the reaction information,
A group setting unit that divides the viewer into two or more groups according to the reaction information,
With
After the viewer is divided into the groups, the action processing unit performs the operation differently according to the group to which the viewer belongs.
A video distribution system featuring.
請求項1に記載の動画配信システムであって、
取得した前記反応情報に対応する前記視聴者を示す情報と、前記視聴者が所属する前記グループとを対応付けて格納するグループ記憶部をさらに備えること、
を特徴とする動画配信システム。
The video distribution system according to claim 1.
Further, a group storage unit for storing the information indicating the viewer corresponding to the acquired reaction information and the group to which the viewer belongs is provided.
A video distribution system featuring.
請求項1または2に記載の動画配信システムであって、
前記視聴者を特定する情報に対応付けて、前記視聴者からの前記反応を示す情報を管理する反応履歴記憶部をさらに備え、
前記動画にはキャラクターが描画されており、前記動画はじゃんけんに関するものであり、
前記反応は、前記視聴者から出される前記じゃんけんの手であり、
前記グループ設定部は、前記キャラクターに勝った第1グループと、負けた第2グループとに前記視聴者を分類し、
前記アクション処理部は、前記第1グループに所属する前記視聴者からの前記反応情報のみに応じて、前記操作を行うこと、
を特徴とする動画配信システム。
The video distribution system according to claim 1 or 2.
A reaction history storage unit that manages information indicating the reaction from the viewer in association with the information that identifies the viewer is further provided.
Characters are drawn in the video, and the video is about rock-paper-scissors.
The reaction is the hand of the rock-paper-scissors issued by the viewer.
The group setting unit classifies the viewers into a first group that wins the character and a second group that loses the character.
The action processing unit performs the operation only in response to the reaction information from the viewer belonging to the first group.
A video distribution system featuring.
請求項3に記載の動画配信システムであって、
前記アクション処理部は、前記第1グループに所属する前記視聴者の数が所定数以下となった場合に、前記じゃんけんを終了する映像を出力するための前記素材データに対する前記操作を行うこと、
を特徴とする動画配信システム。
The video distribution system according to claim 3.
The action processing unit performs the operation on the material data for outputting the video for ending the rock-paper-scissors when the number of the viewers belonging to the first group becomes a predetermined number or less.
A video distribution system featuring.
請求項4に記載の動画配信システムであって、
前記じゃんけんを終了する映像が再生された場合に、前記第1グループに所属する前記視聴者に対して報奨を賦与する報奨処理部をさらに備えること、
を特徴とする動画配信システム。
The video distribution system according to claim 4.
Further provided with a reward processing unit that rewards the viewers belonging to the first group when the video for ending the rock-paper-scissors is played.
A video distribution system featuring.
JP2019091008A 2018-12-29 2019-05-13 Video distribution system Active JP7289219B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019091008A JP7289219B2 (en) 2019-05-13 2019-05-13 Video distribution system
US17/419,646 US11843809B2 (en) 2018-12-29 2019-12-26 Movie distribution system
PCT/JP2019/051327 WO2020138375A1 (en) 2018-12-29 2019-12-26 Movie distribution system
KR1020217023924A KR20210107831A (en) 2018-12-29 2019-12-26 video transmission system
CN201980093300.XA CN113518979A (en) 2018-12-29 2019-12-26 Video distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019091008A JP7289219B2 (en) 2019-05-13 2019-05-13 Video distribution system

Publications (2)

Publication Number Publication Date
JP2020188346A true JP2020188346A (en) 2020-11-19
JP7289219B2 JP7289219B2 (en) 2023-06-09

Family

ID=73223020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019091008A Active JP7289219B2 (en) 2018-12-29 2019-05-13 Video distribution system

Country Status (1)

Country Link
JP (1) JP7289219B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706834A (en) * 2021-08-25 2021-11-26 广德绿巨人环境管理咨询有限公司 Real-time pushing reminding system and pushing method for exceeding-standard illegal-discharge alarm

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220151A (en) * 2009-03-19 2010-09-30 Nomura Research Institute Ltd Content distribution system, content distribution method, and computer program
JP2014082582A (en) * 2012-10-15 2014-05-08 Nippon Hoso Kyokai <Nhk> Viewing device, content provision device, viewing program, and content provision program
WO2016051620A1 (en) * 2014-10-03 2016-04-07 株式会社電通 Device for controlling display of moving-image tag comment, and computer for managing advertisement
JP6426258B1 (en) * 2017-11-27 2018-11-21 株式会社ドワンゴ Server and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220151A (en) * 2009-03-19 2010-09-30 Nomura Research Institute Ltd Content distribution system, content distribution method, and computer program
JP2014082582A (en) * 2012-10-15 2014-05-08 Nippon Hoso Kyokai <Nhk> Viewing device, content provision device, viewing program, and content provision program
WO2016051620A1 (en) * 2014-10-03 2016-04-07 株式会社電通 Device for controlling display of moving-image tag comment, and computer for managing advertisement
JP6426258B1 (en) * 2017-11-27 2018-11-21 株式会社ドワンゴ Server and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706834A (en) * 2021-08-25 2021-11-26 广德绿巨人环境管理咨询有限公司 Real-time pushing reminding system and pushing method for exceeding-standard illegal-discharge alarm

Also Published As

Publication number Publication date
JP7289219B2 (en) 2023-06-09

Similar Documents

Publication Publication Date Title
CN102843599B (en) Interaction method and system of television program
CN104333782B (en) A kind of main broadcaster formulates the order method and system, relevant device of task
CN112135160A (en) Virtual object control method and device in live broadcast, storage medium and electronic equipment
CN110650366B (en) Interactive dubbing method and device, electronic equipment and readable storage medium
CN113490004B (en) Live broadcast interaction method and related device
CN108156470A (en) Interactive approach and device based on network direct broadcasting
WO2023093451A1 (en) Live-streaming interaction method and apparatus in game, and computer device and storage medium
CN114327182A (en) Special effect display method and device, computer storage medium and electronic equipment
CN114938459A (en) Virtual live broadcast interaction method and device based on barrage, storage medium and equipment
WO2014097814A1 (en) Display device, input device, information presentation device, program and recording medium
JP7486283B2 (en) Video distribution system
JP7289219B2 (en) Video distribution system
CN116600152A (en) Virtual anchor live broadcast method, device, equipment and storage medium
JP7429930B2 (en) Computer program, method and server device
JP7376235B2 (en) Video distribution system
CN114710709B (en) Live broadcast room virtual gift recommendation method and device, storage medium and electronic equipment
JP7376238B2 (en) Video distribution system
JP2020188347A (en) Video distribution system
WO2020138375A1 (en) Movie distribution system
JP7445938B1 (en) Servers, methods and computer programs
JP7433617B1 (en) servers and computer programs
US20240153350A1 (en) Gift box event for live streamer and viewers
US20240024783A1 (en) Contextual scene enhancement
JP7376236B2 (en) Music distribution system
JP7465489B1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230530

R150 Certificate of patent or registration of utility model

Ref document number: 7289219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150