JP2020188347A - Video distribution system - Google Patents

Video distribution system Download PDF

Info

Publication number
JP2020188347A
JP2020188347A JP2019091010A JP2019091010A JP2020188347A JP 2020188347 A JP2020188347 A JP 2020188347A JP 2019091010 A JP2019091010 A JP 2019091010A JP 2019091010 A JP2019091010 A JP 2019091010A JP 2020188347 A JP2020188347 A JP 2020188347A
Authority
JP
Japan
Prior art keywords
viewer
video
group
material data
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019091010A
Other languages
Japanese (ja)
Inventor
淳 熊野
Jun Kumano
淳 熊野
祐大 佐藤
Yudai Sato
祐大 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anchor Inc
Original Assignee
Anchor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anchor Inc filed Critical Anchor Inc
Priority to JP2019091010A priority Critical patent/JP2020188347A/en
Priority to CN201980093300.XA priority patent/CN113518979A/en
Priority to KR1020217023924A priority patent/KR20210107831A/en
Priority to PCT/JP2019/051327 priority patent/WO2020138375A1/en
Priority to US17/419,646 priority patent/US11843809B2/en
Publication of JP2020188347A publication Critical patent/JP2020188347A/en
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To provide a video distribution system that makes it possible to deliver a video that match the reaction of a viewer.SOLUTION: A video distribution system includes a material library that stores material data for generating videos, a video generation unit that generates first and second partial videos on the basis of first and second material data, and generates a video such that the generated first and second partial videos are displayed separately at the same time, a reaction acquisition unit that acquires reaction information indicating the reaction from a viewer of the video during reproduction of the video, and an action processing unit that performs operation on the first material data according only to the reaction information from a viewer belonging to a first group, and performs operation on the second material data according only to the reaction information from a viewer belonging to a second group.SELECTED DRAWING: Figure 1

Description

本発明は、動画配信システムに関する。 The present invention relates to a moving image distribution system.

動画の配信システムが普及している。動画の配信は、受動的に連続した動画が再生されるストリーミング方式と、能働的に意図した動画を再生させるオンデマンド方式とがある。オンデマンド方式では、再生する順番などをユーザに設定させることが行われている(例えば特許文献1参照)。 Video distribution systems are widespread. There are two types of video distribution: a streaming method in which continuous videos are passively played, and an on-demand method in which the intended videos are played efficiently. In the on-demand method, the user is allowed to set the playback order and the like (see, for example, Patent Document 1).

特許第5350728号明細書Japanese Patent No. 5350728

しかしながら、ストリーミング方式での動画配信において、ライブ映像の場合には視聴者の反応を見ながらライブの展開を変更することは可能であるが、記録済みの動画を利用する場合には、動画の展開は決定的であり視聴者の反応に応じた展開での動画を配信することは困難である。 However, in video distribution by streaming method, it is possible to change the live development while watching the reaction of the viewer in the case of live video, but when using the recorded video, the video development Is decisive and it is difficult to deliver a video that is developed according to the reaction of the viewer.

本発明は、このような背景を鑑みてなされたものであり、視聴者の反応に合わせた動画を配信することのできる技術を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of distributing a moving image according to a reaction of a viewer.

上記課題を解決するための本発明の主たる発明は、動画配信システムであって、動画を生成するための素材データを記憶する素材ライブラリと、前記素材データに基づいて前記動画を送出する動画配信部と、前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、を備えることとする。 The main invention of the present invention for solving the above problems is a video distribution system, which is a material library for storing material data for generating a moving image and a moving image distribution unit for transmitting the moving image based on the material data. A reaction acquisition unit that acquires reaction information indicating a reaction from a viewer of the moving image during playback of the moving image, and an action processing unit that performs an operation on the material data according to the reaction information. And.

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。 Other problems disclosed in the present application and solutions thereof will be clarified in the columns and drawings of the embodiments of the invention.

本発明によれば、視聴者の反応に合わせた動画を配信することができる。 According to the present invention, it is possible to deliver a moving image according to the reaction of the viewer.

本実施形態の動画配信システムの全体構成例を示す図である。It is a figure which shows the whole configuration example of the moving image distribution system of this embodiment. 配信者装置3のハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of a distributor apparatus 3. 配信者装置3のソフトウェア構成例を示す図である。It is a figure which shows the software configuration example of a distributor apparatus 3. 素材ライブラリ331の構造例を示す図である。It is a figure which shows the structural example of the material library 331. アクション記憶部333の構成例を示す図である。It is a figure which shows the structural example of the action storage part 333. イベント記憶部334の構成例を示す図である。It is a figure which shows the configuration example of the event storage unit 334. グループ条件記憶部335の構成例を示す図である。It is a figure which shows the structural example of the group condition storage part 335. グループ記憶部336の構成例を示す図である。It is a figure which shows the structural example of the group storage part 336. 本実施形態の動画配信システムにより実行される処理の流れを説明する図である。It is a figure explaining the flow of the process executed by the moving image distribution system of this embodiment. アクションの実行処理の流れを説明する図である。It is a figure explaining the flow of the execution process of an action. 本実施形態に係る視聴者のグループ分け処理の流れを説明する図である。It is a figure explaining the flow of the grouping process of the viewer which concerns on this embodiment. 配信動画を表示する画面50の一例を示す図である。It is a figure which shows an example of the screen 50 which displays a distribution moving image.

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による動画配信システムは、以下のような構成を備える。 The contents of the embodiments of the present invention will be described in a list. The moving image distribution system according to the embodiment of the present invention has the following configurations.

[項目1]
動画を生成するための素材データを記憶する素材ライブラリと、
第1および第2の前記素材データに基づいて第1および第2の部分動画を生成し、生成した第1および第2の部分動画を同時に分割表示するように前記動画を生成する動画生成部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
第1のグループに所属する前記視聴者からの前記反応情報のみに応じて、前記第1の素材データに対する前記操作を行い、第2のグループに所属する前記視聴者からの前記反応情報のみに応じて、前記第2の素材データに対する前記操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
[項目2]
項目1に記載の動画配信システムであって、
前記動画生成ぶは、前記第1および第2の素材データが同一である場合、前記分割表示を終了し、前記第1または第2の素材データに基づいて前記動画を生成すること、
を特徴とする動画配信システム。
[項目3]
項目1または2に記載の動画配信システムであって、
前記素材データは、複数のキャラクタの少なくとも1つと関連しており、
前記グループのそれぞれは、前記キャラクタに対応付けられ、
前記動画生成部は、複数の前記グループに対応する前記キャラクタがすべて関連付けられている前記第1または第2の素材データを用いる場合には、前記分割表示を終了し、前記第1または第2の素材データに基づいて前記部分動画または前記動画を生成すること、
を特徴とする動画配信システム。
[項目4]
項目1ないし3のいずれか1項に記載の動画配信システムであって、
前記反応情報に応じて、前記視聴者をグループ分けするグループ設定部をさらに備えること、
を備えること特徴とする動画配信システム。
[項目5]
項目4に記載の動画配信システムであって、
取得した前記反応情報に対応する前記視聴者を示す情報と、前記視聴者が所属する前記グループとを対応付けて格納するグループ記憶部をさらに備えること、
を特徴とする動画配信システム。
[Item 1]
A material library that stores material data for generating videos,
With a moving image generation unit that generates the first and second partial moving images based on the first and second material data and generates the moving images so that the generated first and second partial moving images are simultaneously divided and displayed. ,
A reaction acquisition unit that acquires reaction information indicating a reaction from a viewer of the moving image during playback of the moving image, and a reaction acquisition unit.
The operation on the first material data is performed according to only the reaction information from the viewer belonging to the first group, and only the reaction information from the viewer belonging to the second group is supported. Then, the action processing unit that performs the operation on the second material data, and
A video distribution system characterized by being equipped with.
[Item 2]
The video distribution system described in item 1
When the first and second material data are the same, the moving image generating device ends the divided display and generates the moving image based on the first or second material data.
A video distribution system featuring.
[Item 3]
The video distribution system according to item 1 or 2.
The material data is associated with at least one of a plurality of characters.
Each of the groups is associated with the character and
When the moving image generation unit uses the first or second material data in which all the characters corresponding to the plurality of groups are associated with each other, the moving image generation unit ends the divided display and the first or second Generating the partial video or the video based on the material data,
A video distribution system featuring.
[Item 4]
The video distribution system according to any one of items 1 to 3.
Further provided with a group setting unit for grouping the viewers according to the reaction information.
A video distribution system characterized by being equipped with.
[Item 5]
The video distribution system according to item 4.
Further, a group storage unit for storing the information indicating the viewer corresponding to the acquired reaction information and the group to which the viewer belongs is provided.
A video distribution system featuring.

以下、本発明の一実施形態に係る動画配信システムについて説明する。本実施形態の動画配信システムは、ストリーミング配信される動画を各種のイベントに応じて動的に変化させるものである。 Hereinafter, a moving image distribution system according to an embodiment of the present invention will be described. The video distribution system of the present embodiment dynamically changes the video to be streamed in response to various events.

イベントには、視聴者により機器が操作されたこと、視聴者から音声や文字が入力されたこと、視聴者が撮影されたこと、撮影された画像から解析した視聴者の姿勢や視線、ジェスチャーなどが取得されたこと、視聴者の身体反応を測定した測定データが取得されたことなど、視聴者に関して取得される情報(以下、ユーザイベント情報という。)が含まれる。また、イベントには、閲覧している視聴者の数、天気、時刻、天気、動画中でオブジェクトが接触したことなどのシステム側で取得できる情報(以下、システムイベント情報という。)も含めることができる。 At the event, the device was operated by the viewer, voice and characters were input by the viewer, the viewer was photographed, the viewer's posture, line of sight, gesture, etc. analyzed from the captured image, etc. Information acquired about the viewer (hereinafter referred to as user event information) is included, such as the acquisition of the data and the measurement data obtained by measuring the physical reaction of the viewer. In addition, the event may include information that can be acquired on the system side (hereinafter referred to as system event information) such as the number of viewers viewing, weather, time, weather, and contact of an object in the video. it can.

配信される動画は、3Dモデルや動画データ、音声データなどの素材データに基づいて生成される。各素材データには、イベントに応じたアクションを設定することができる。 The delivered moving image is generated based on material data such as a 3D model, moving image data, and audio data. Actions can be set for each material data according to the event.

アクションは、素材データに対する操作であり、3Dモデルにより表現されるオブジェクトの出現、移動および消滅、アニメーション動作の開始および終了、動画の再生および停止、音声の再生および停止、素材データの変更(置換え)などを含めることができる。本実施形態では、配信される動画は、アクションの結果として出力される映像または画像を合成して作成されるものとする。 Actions are operations on material data, such as appearance, movement and disappearance of objects represented by 3D models, start and end of animation operations, play and stop of video, play and stop of audio, and change (replacement) of material data. Etc. can be included. In the present embodiment, the delivered moving image is created by synthesizing the video or image output as a result of the action.

本実施形態の動画配信システムでは、イベントに応じてアクションを起動することにより、動的に配信動画を変化させることができる。以下、詳細について説明する。 In the video distribution system of the present embodiment, the distributed video can be dynamically changed by invoking an action in response to an event. The details will be described below.

図1は、本実施形態の動画配信システムの全体構成例を示す図である。本実施形態の動画配信システムは、配信者装置3を含んで構成され、配信者装置3は、ストリーミングサーバ2と通信可能に接続され、ストリーミングサーバ2は視聴者端末1と通信可能に接続される。視聴者端末1は多数が接続されていてよい。配信者装置3は、動画の送信を行う、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。配信者装置3は、たとえば、動画の配信を行いたいと考えている一般ユーザが操作する家庭用のコンピュータであってよい。配信者装置3からは、動画データがストリーミング方式によりストリーミングサーバ2に送出される。ストリーミングサーバ2は、配信者装置3から受け取った動画データを視聴者端末1に配信する、たとえばワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより提供される仮想コンピュータなどのコンピュータである。ストリーミングサーバ2は、1つまたは複数の視聴者端末1に対して同時に動画データを配信することができる。視聴者端末1は視聴者が操作する、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。視聴者は視聴者端末1を操作してストリーミングサーバ2にアクセスし、視聴者端末1はストリーミングサーバ2から送出されてくる動画データを受信して再生することができる。また、視聴者端末1は、視聴者を撮影したり、視聴者の音声を録音したり、視聴者からコメントの入力を受け付けたりと、各種イベント情報の収集を行うことができる。1人または複数人の視聴者からのイベントはストリーミングサーバ2において収集され、配信者装置3は、たとえば、ストリーミングサーバ2が提供するAPI(Application Programming Interface)を呼び出すことにより、視聴者からのイベントを取得することができる。 FIG. 1 is a diagram showing an overall configuration example of the moving image distribution system of the present embodiment. The video distribution system of the present embodiment is configured to include the distributor device 3, the distributor device 3 is communicably connected to the streaming server 2, and the streaming server 2 is communicably connected to the viewer terminal 1. .. A large number of viewer terminals 1 may be connected. The distributor device 3 is a computer such as a personal computer, a tablet computer, or a smartphone that transmits a moving image. The distributor device 3 may be, for example, a home computer operated by a general user who wants to distribute a moving image. The moving image data is transmitted from the distributor device 3 to the streaming server 2 by a streaming method. The streaming server 2 is a computer such as a workstation, a personal computer, or a virtual computer provided by cloud computing, which distributes the moving image data received from the distributor device 3 to the viewer terminal 1. The streaming server 2 can simultaneously deliver video data to one or more viewer terminals 1. The viewer terminal 1 is a computer operated by the viewer, such as a personal computer, a tablet computer, or a smartphone. The viewer operates the viewer terminal 1 to access the streaming server 2, and the viewer terminal 1 can receive and play back the moving image data sent from the streaming server 2. In addition, the viewer terminal 1 can collect various event information, such as photographing the viewer, recording the voice of the viewer, and accepting the input of a comment from the viewer. Events from one or more viewers are collected by the streaming server 2, and the distributor device 3 collects events from the viewers by calling, for example, an API (Application Programming Interface) provided by the streaming server 2. Can be obtained.

なお、以下の説明において、ストリーミングにより配信されてリニアに再生される動画全体のことを特に「配信動画」という。配信動画は、カメラやマイクによりキャプチャした画像および音声を、リアルタイムに動画データにエンコードして送出する形式とすることもできるが、本実施形態では、配信動画は、素材データを組み合わせて合成したビデオデータとして生成することを想定している。 In the following description, the entire moving image that is distributed by streaming and played linearly is particularly referred to as "delivered moving image". The delivered video may be in a format in which the image and sound captured by the camera or microphone are encoded into video data in real time and transmitted, but in the present embodiment, the delivered video is a video synthesized by combining material data. It is supposed to be generated as data.

図2は、配信者装置3のハードウェア構成例を示す図である。配信者装置3は、CPU301、メモリ302、記憶装置303、通信インタフェース304、入力装置305、出力装置306を備える。記憶装置303は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース304は、通信ネットワーク30に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置305は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置306は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。 FIG. 2 is a diagram showing a hardware configuration example of the distributor device 3. The distributor device 3 includes a CPU 301, a memory 302, a storage device 303, a communication interface 304, an input device 305, and an output device 306. The storage device 303 stores various data and programs, such as a hard disk drive, a solid state drive, and a flash memory. The communication interface 304 is an interface for connecting to the communication network 30, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, and a wireless communication device for performing wireless communication. , USB (Universal Serial Bus) connector for serial communication, RS232C connector, etc. The input device 305 is, for example, a keyboard, a mouse, a touch panel, a button, a microphone, or the like for inputting data. The output device 306 is, for example, a display, a printer, a speaker, or the like that outputs data.

図3は、配信者装置3のソフトウェア構成例を示す図である。同図に示すように、配信者装置3は、動画配信部311、イベント取得部312、アクション処理部313、およびグループ設定部314の各処理部と、素材ライブラリ331、アクション記憶部333、イベント記憶部334、グループ条件記憶部335、およびグループ記憶部336の各記憶部とを備える。 FIG. 3 is a diagram showing a software configuration example of the distributor device 3. As shown in the figure, the distributor device 3 includes each processing unit of the video distribution unit 311, the event acquisition unit 312, the action processing unit 313, and the group setting unit 314, the material library 331, the action storage unit 333, and the event storage. Each storage unit includes a unit 334, a group condition storage unit 335, and a group storage unit 336.

なお、上記各処理部は、配信者装置3が備えるCPU301が、記憶装置303に記憶されているプログラムをメモリ302に読み出して実行することにより実現され、上記各記憶部は、配信者装置3が備えるメモリ302および記憶装置303の少なくともいずれかが提供する記憶領域の一部として実現される。 Each of the above processing units is realized by the CPU 301 included in the distributor device 3 reading the program stored in the storage device 303 into the memory 302 and executing the above-mentioned each storage unit. It is realized as a part of the storage area provided by at least one of the provided memory 302 and the storage device 303.

素材ライブラリ331は、動画に組み入れることのできる各種のデータ(素材データ)を記憶する。素材データは、たとえば、3Dモデル、静止画像、動画像、音声データ、MIDIデータ、文字データなどである。図4は、素材ライブラリ331の構造例を示す図である。同図に示すように、素材ライブラリ331は、素材データを特定するための情報(素材ID)に対応付けて、各種の素材データと、当該素材データに対応するキャラクタとを記憶する。キャラクタは、素材データに基づく動画に対応するキャラクタであり、たとえば、素材データに基づく動画の中に登場するキャラクタである。 The material library 331 stores various data (material data) that can be incorporated into the moving image. The material data is, for example, a 3D model, a still image, a moving image, audio data, MIDI data, character data, or the like. FIG. 4 is a diagram showing a structural example of the material library 331. As shown in the figure, the material library 331 stores various material data and characters corresponding to the material data in association with information (material ID) for specifying the material data. The character is a character corresponding to a moving image based on the material data, and is, for example, a character appearing in the moving image based on the material data.

アクション記憶部333は、素材データに対する操作(アクション)に関する情報(以下、アクション情報という。)を記憶する。図5は、アクション記憶部333に記憶されるアクション情報の一例を示す図である。同図に示すように、アクション情報には、アクションを示すアクションID、判定期間、グループ、条件、およびアクションを含む。 The action storage unit 333 stores information (hereinafter, referred to as action information) related to an operation (action) on the material data. FIG. 5 is a diagram showing an example of action information stored in the action storage unit 333. As shown in the figure, the action information includes an action ID indicating an action, a determination period, a group, a condition, and an action.

判定期間は、イベントが条件を満たすかどうかの判定を行う期間を示す情報である。判定期間は、たとえば、現時点から5分前までなどと相対的に指定してもよいし、12月25日00:00から00:10までというように絶対的に指定してもよい。また、アクションの指定および当該アクションが実行された時間(たとえば、アクション開始から10秒、アクション終了まで10秒など)としてもよい。判定期間の長さは、たとえば、1秒、1分、1時間、1日など、任意の時間とすることができる。 The determination period is information indicating a period for determining whether or not the event satisfies the condition. The determination period may be relatively specified, for example, from the present time to 5 minutes before, or may be absolutely specified, such as from 00:00 to 00:10 on December 25th. Further, the action may be specified and the time during which the action is executed (for example, 10 seconds from the start of the action, 10 seconds from the end of the action, etc.) may be set. The length of the determination period can be any time, for example, 1 second, 1 minute, 1 hour, 1 day.

グループは、視聴者が所属するグループを示す。アクション情報にグループが設定されている場合には、設定されているグループに所属する視聴者に関するイベント情報のみについては、後述する条件が満たされるかどうかが判断される。 The group indicates the group to which the viewer belongs. When a group is set in the action information, it is determined whether or not the conditions described later are satisfied only for the event information related to the viewers belonging to the set group.

条件は、イベントに対するものであり、たとえば、イベントの有無であってもよいし、複数の視聴者からのイベントに関する集計値が閾値を超えたか否かであってもよい。 The condition is for an event, and may be, for example, the presence or absence of an event, or whether or not the aggregated value for the event from a plurality of viewers exceeds the threshold value.

ユーザイベント情報に対しては、たとえば、視聴者が配信動画の再生中に所定のキーを押下したか否か、動画上の所定エリアをクリックまたはタップしたか否か、動画上の所定エリアをクリックまたはタップした視聴者の人数が閾値を超えたか否かなどを条件とすることができる。配信動画の生成に用いられた素材データに基づいて、配信動画中に表示されているオブジェクトがクリックまたはタップされたか否か、当該オブジェクトをクリックまたはタップした視聴者の人数が閾値を超えたか否かを条件とすることもできる。 For user event information, for example, whether or not the viewer pressed a predetermined key during playback of the delivered video, whether or not the predetermined area on the video was clicked or tapped, and whether or not the predetermined area on the video was clicked. Alternatively, it can be a condition that the number of viewers tapped exceeds the threshold value. Whether the object displayed in the streamed video was clicked or tapped, and whether the number of viewers who clicked or tapped the object exceeded the threshold, based on the material data used to generate the streamed video. Can also be a condition.

また、視聴者端末1において視聴者から所定の文字(キーワード)の入力があったか否か、たとえば、配信動画に対して投稿されるコメントに所定のキーワードが含まれていたか否か、キーワードを入力した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。また、コメントを投稿した視聴者の地域ごとに集計したコメントまたは視聴者の数、たとえば、動画中で金額に対する意見を質問したことに対して視聴者が投稿した金額の集計値(平均値、中央値、最大値、最小値など)、コメントを構文解析することにより判断される視聴者の喜怒哀楽に基づく哀しんでいる視聴者の数などが所定の閾値を超えること、所定のキーワードを含むコメントが一度も投稿されなかったこと、などを条件とすることもできる。 In addition, whether or not a predetermined character (keyword) has been input by the viewer on the viewer terminal 1, for example, whether or not a predetermined keyword is included in the comment posted to the distributed video, the keyword has been input. It is also possible to make a condition such as whether or not the number of viewers exceeds the threshold value. Also, the number of comments or viewers aggregated by region of the viewers who posted comments, for example, the aggregated value of the amount posted by the viewer in response to asking an opinion on the amount in the video (average value, median) Value, maximum value, minimum value, etc.), the number of sorrowful viewers based on the emotions of the viewers judged by parsing the comment, etc. exceeds a predetermined threshold, and comments containing a predetermined keyword Can also be conditioned on the fact that was never posted.

また、音声認識を実行することにより、視聴者または視聴者の雰囲気に、たとえば、特定の言葉の発声が行われたか否か、拍手や口笛、足踏みなどが発音されていたか否かなどのように、特定の発音があったか否か、このような特定の発音があった視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、音声認識の処理は視聴者端末1が行い、認識結果をストリーミングサーバ2または配信者装置3に送信するようにしてもよいし、視聴者端末1からはキャプチャーされた音声データがストリーミングサーバ2を介してまたは直接配信者装置3に送信され、配信者装置3において音声認識処理を行うようにしてもよい。 In addition, by performing voice recognition, for example, whether or not a specific word is uttered, whether or not applause, whistling, stepping, etc. are pronounced in the viewer or the viewer's atmosphere, etc. It is also possible to make conditions such as whether or not there is a specific pronunciation, and whether or not the number of viewers who have such a specific pronunciation exceeds the threshold value. In this case, the voice recognition process may be performed by the viewer terminal 1 and the recognition result may be transmitted to the streaming server 2 or the distributor device 3, or the voice data captured from the viewer terminal 1 may be transmitted to the streaming server. It may be transmitted to the distributor device 3 via 2 or directly, and the voice recognition process may be performed in the distributor device 3.

また、視聴者が視聴者端末1において自撮り画像または視聴者の雰囲気を撮影したか否か、こうした画像がストリーミングサーバ2に投稿されたか否か、画像を投稿した視聴者の人数が閾値を超えたか否かを条件とすることもできる。また、画像解析により、所定のものを撮影した画像(たとえば、視聴者の周りにある特定の看板やフライヤーが撮影された画像)が投稿されたか否か、そのような画像を投稿した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。さらに、画像解析により、視聴者の姿勢や視線、ジェスチャーなどを認識し、視聴者が所定の姿勢や視線、ジェスチャーをしたか否か、所定の姿勢や視線、ジェスチャーをした視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、画像解析処理は、視聴者端末1が行い、解析結果をストリーミングサーバ2または配信者装置3に送信するようにしてもよいし、視聴者端末1からは撮影された画像データがストリーミングサーバ2を介してまたは直接配信者装置3に送信され、配信者装置3において画像解析処理を行うようにしてもよい。 In addition, whether or not the viewer has taken a self-portrait image or the atmosphere of the viewer on the viewer terminal 1, whether or not such an image has been posted to the streaming server 2, and the number of viewers who have posted the image exceeds the threshold value. It can also be a condition of whether or not it is. Also, by image analysis, whether or not an image of a predetermined object (for example, an image of a specific signboard or flyer around the viewer) has been posted, and whether or not the image of the viewer who posted such an image has been posted. It is also possible to make a condition such as whether or not the number of people exceeds the threshold. Furthermore, image analysis recognizes the viewer's posture, line of sight, gesture, etc., and whether or not the viewer has made a predetermined posture, line of sight, or gesture, and the number of viewers who have made a predetermined posture, line of sight, or gesture are threshold values. It can also be a condition such as whether or not it exceeds. In this case, the image analysis process may be performed by the viewer terminal 1 and the analysis result may be transmitted to the streaming server 2 or the distributor device 3, or the image data captured from the viewer terminal 1 may be transmitted to the streaming server. It may be transmitted to the distributor device 3 via 2 or directly, and the image analysis process may be performed in the distributor device 3.

また、システムイベント情報に対しては、たとえば、配信画像を視聴している視聴者の人数が閾値を超えたか否かを条件とすることができる。また、配信画像の再生から所定時間が経過したか否かを条件とすることもできる。また、視聴者もしくは配信者の所在地または所定の地域における天気をシステムイベント情報として取得したような場合には、この天気が所定の天気であるか否かを条件(たとえば、晴れであること、雨が降っていること、雪が降っていること、所定以上の強さの風が吹いていること、所定温度以上の気温であることなど)とすることができる。また、素材データが3Dモデルなどである場合、配信動画中においてオブジェクトが衝突したことを条件とすることもできる。 Further, for the system event information, for example, it can be a condition whether or not the number of viewers who are viewing the distributed image exceeds the threshold value. It is also possible to set whether or not a predetermined time has elapsed from the reproduction of the delivered image. In addition, when the weather in the location of the viewer or distributor or in a predetermined area is acquired as system event information, it is a condition whether or not this weather is the predetermined weather (for example, it is sunny, rain). It can be said that it is raining, it is snowing, a wind of a predetermined strength or higher is blowing, a temperature of a predetermined temperature or higher, etc.). Further, when the material data is a 3D model or the like, it can be a condition that the objects collide with each other in the distributed moving image.

アクションは、上述したように素材データに対する各種の操作である。アクションにはパラメータも含めることができ、素材データに対して具体的にどのような操作を行うかを詳細に設定することができる。さらに本実施形態では、アクションは、素材データに対する操作のみでなく、他のアクションの実行や停止、他のアクションの実行が完了するのを待機するなどの処理を含むことができる。アクションは、たとえば、スクリプト言語により表記されたプログラムとして格納することもできる。 The actions are various operations on the material data as described above. Parameters can also be included in the action, and it is possible to set in detail what kind of operation is specifically performed on the material data. Further, in the present embodiment, the action can include not only an operation on the material data but also a process of executing or stopping another action, waiting for the execution of the other action to be completed, and the like. Actions can also be stored, for example, as a program written in a scripting language.

イベント記憶部334は、発生した各種のイベントを記憶する。図6は、イベント記憶部334の構成例を示す図である。上述したように、イベント記憶部334は、ユーザイベント情報と、システムイベント情報とを記憶している。以下、ユーザイベント情報と、システムイベント情報とを合わせてイベント情報ともいう。ユーザイベント情報には、イベントを示すイベントID、イベントに関する視聴者を示す視聴者ID、イベントの発生した日時、およびイベントの内容が含まれる。また、システムイベント情報には、イベントID、イベントの発生した日時およびイベントの内容が含まれる。イベントの内容は、イベントにより異なり、たとえば、ユーザイベント情報の場合、視聴者が配信動画に対してコメントを投稿したときには、投稿されたコメントがイベント内容として設定されうる。また、視聴者端末1が視聴者を撮影した画像を解析して視聴者の視線やジェスチャーを得られたときには、これらの視線やジェスチャーを示す情報がイベントの内容として設定されうる。システムイベント情報の場合、視聴者の数、天気、時刻などがイベントの内容として設定されうる。 The event storage unit 334 stores various events that have occurred. FIG. 6 is a diagram showing a configuration example of the event storage unit 334. As described above, the event storage unit 334 stores the user event information and the system event information. Hereinafter, the user event information and the system event information are collectively referred to as event information. The user event information includes an event ID indicating an event, a viewer ID indicating a viewer related to the event, a date and time when the event occurred, and the content of the event. In addition, the system event information includes the event ID, the date and time when the event occurred, and the content of the event. The content of the event differs depending on the event. For example, in the case of user event information, when a viewer posts a comment on the delivered video, the posted comment can be set as the event content. Further, when the viewer terminal 1 analyzes the image of the viewer and obtains the viewer's line of sight or gesture, information indicating the line of sight or gesture can be set as the content of the event. In the case of system event information, the number of viewers, weather, time, etc. can be set as the content of the event.

グループ条件記憶部335は、視聴者をグループ分けする条件(以下、グループ条件情報という。)を記憶する。図7は、グループ条件記憶部335の構成例を示す図である。グループ条件情報には、判定期間、条件およびグループが含まれる。判定期間は、グループ分けを行う期間を示す情報である。判定期間は、上述したアクション情報の判定期間と同様に、たとえば、開始日時および終了日時であってもよいし、アクションの指定および当該アクションが実行された時間(たとえば、アクション開始から10秒、アクション終了まで10秒など)としてもよい。判定期間の長さは、たとえば、1秒、1分、1時間、1日など、任意の時間とすることができる。条件は、特定の視聴者に関する条件であり、最新のユーザイベント、過去のユーザイベント、視聴者が所属するグループなどについての条件とすることができる。なお、本実施形態では、視聴者が取り得る全てのパターンについてグループ条件情報が設定されているものとする。たとえば、デフォルト(他の条件にマッチしなかった視聴者)という条件を指定したグループ条件情報が含まれているものとする。 The group condition storage unit 335 stores conditions for grouping viewers (hereinafter, referred to as group condition information). FIG. 7 is a diagram showing a configuration example of the group condition storage unit 335. The group condition information includes the determination period, the condition and the group. The determination period is information indicating a period for grouping. The determination period may be, for example, a start date and time and an end date and time, as in the determination period of the action information described above, or the time when the action is specified and the action is executed (for example, 10 seconds from the start of the action, the action). It may be 10 seconds until the end). The length of the determination period can be any time, for example, 1 second, 1 minute, 1 hour, 1 day. The condition is a condition related to a specific viewer, and can be a condition related to the latest user event, a past user event, a group to which the viewer belongs, and the like. In this embodiment, it is assumed that group condition information is set for all patterns that the viewer can take. For example, it is assumed that the group condition information that specifies the condition of default (viewer who did not match other conditions) is included.

グループ記憶部336は、配信動画に係る視聴者が所属するグループを管理する。図8は、グループ記憶部336の構成例を示す図である。グループ記憶部336は、グループ情報を記憶しており、グループ情報には、視聴者を示す視聴者IDと、当該視聴者が所属するグループと、当該視聴者に関連するキャラクタとが含まれている。キャラクタは、たとえば、視聴者が選択したキャラクタとしてもよいし、視聴者に自動的に割り当てられたキャラクタであってもよい。たとえば、視聴者が配信動画の登場人物のいずれかを追いかけること決定した場合に、その決定したキャラクタの入力を受け付けて、グループ情報として登録することができる。 The group storage unit 336 manages the group to which the viewer related to the distributed video belongs. FIG. 8 is a diagram showing a configuration example of the group storage unit 336. The group storage unit 336 stores group information, and the group information includes a viewer ID indicating a viewer, a group to which the viewer belongs, and a character related to the viewer. .. The character may be, for example, a character selected by the viewer or a character automatically assigned to the viewer. For example, when the viewer decides to chase any of the characters in the distributed video, the input of the decided character can be accepted and registered as group information.

動画配信部311は、動画を配信する。動画配信部311は、後述するアクション処理部313が実行するアクション(複数のアクションが実行されることもある。)からの出力を合成して(必要に応じてエンコードして)、配信動画を生成することができる。また、動画配信部311は、生成した配信動画をストリーミングサーバ2に送信することで、視聴者端末1に動画を配信することができる。 The video distribution unit 311 distributes the video. The video distribution unit 311 synthesizes (encodes as necessary) the output from the action (a plurality of actions may be executed) executed by the action processing unit 313 described later, and generates the distribution video. can do. Further, the video distribution unit 311 can distribute the video to the viewer terminal 1 by transmitting the generated distribution video to the streaming server 2.

イベント取得部312は、イベントを取得して、取得したイベントの内容をイベント情報としてイベント記憶部334に登録する。なお、イベント取得部312がどのようなイベントを取得するかについては、ユーザから設定可能であるものとする。どのようなイベントを取得するかを示す設定情報は、たとえば、メモリ302や記憶装置303などに記憶しておくことができる。 The event acquisition unit 312 acquires an event and registers the content of the acquired event in the event storage unit 334 as event information. It is assumed that the user can set what kind of event the event acquisition unit 312 acquires. The setting information indicating what kind of event is to be acquired can be stored in, for example, a memory 302 or a storage device 303.

イベント取得部312は、たとえば、視聴者が入力したキーやタップ、クリックなどのイベントをユーザイベント情報として登録することができる。たとえば、視聴者端末1においてWebブラウザにおいて配信動画が視聴されている場合には、Webブラウザ上で発生したクリックイベントをストリーミングサーバ2または配信者装置3に送信するようなスクリプトを設定しておき、イベント取得部312は、ストリーミングサーバ2を介してまたは視聴者端末1から直接、クリックイベントを取得することができる。 The event acquisition unit 312 can register, for example, an event such as a key, a tap, or a click input by the viewer as user event information. For example, when the distribution video is viewed on the Web browser on the viewer terminal 1, a script is set so as to send the click event generated on the Web browser to the streaming server 2 or the distributor device 3. The event acquisition unit 312 can acquire the click event via the streaming server 2 or directly from the viewer terminal 1.

また、イベント取得部312は、たとえば、ストリーミングサーバ2が、投稿されたコメントを取得するためのAPIを提供している場合には、当該APIを呼び出すことにより、視聴者により投稿されたコメントを取得することができる。また、イベント取得部312は、コメントを構文解析して、所定のキーワードが含まれていることをユーザイベント情報として登録してもよい。 Further, for example, when the streaming server 2 provides an API for acquiring the posted comment, the event acquisition unit 312 acquires the comment posted by the viewer by calling the API. can do. In addition, the event acquisition unit 312 may parse the comment and register that a predetermined keyword is included as user event information.

また、イベント取得部312は、たとえば、視聴者端末1からキャプチャーした音声データを受信し、受信した音声データを解析して特定の発音があったことをユーザイベント情報として登録することができる。なお、音声解析処理を視聴者端末1で行うようにして、イベント取得部312は、視聴者端末1から直接またはストリーミングサーバ2を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。また、イベント取得部312は、視聴者端末1から視聴者を撮影した画像を受信し、受信した画像を解析して視聴者の姿勢や視線、ジェスチャーなどを取得することもできる。あるいは視聴者端末1において画像の解析を行い、その結果を受信するようにすることもできる。イベント取得部312は、視聴中の視聴者の数を定期的にカウントしてシステムイベント情報に登録してもよい。なお、画像解析処理を視聴者端末1で行うようにして、イベント取得部312は、視聴者端末1から直接またはストリーミングサーバ2を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。 Further, the event acquisition unit 312 can receive, for example, the voice data captured from the viewer terminal 1, analyze the received voice data, and register that a specific pronunciation has occurred as user event information. The audio analysis process is performed on the viewer terminal 1, and the event acquisition unit 312 receives the analysis result directly from the viewer terminal 1 or via the streaming server 2 and registers it as user event information. You may. In addition, the event acquisition unit 312 can also receive an image of the viewer taken from the viewer terminal 1 and analyze the received image to acquire the viewer's posture, line of sight, gesture, and the like. Alternatively, the viewer terminal 1 may analyze the image and receive the result. The event acquisition unit 312 may periodically count the number of viewers who are watching and register it in the system event information. The image analysis process is performed on the viewer terminal 1, and the event acquisition unit 312 receives the analysis result directly from the viewer terminal 1 or via the streaming server 2 and registers it as user event information. You may.

また、イベント取得部312は、たとえば、クロックからタイムアウトイベントを取得するようにして、配信画像の再生開始から所定時間が経過したことをシステムイベント情報として登録することができる。イベント取得部312は、所定の時刻になったこと(たとえば、日付が変わったこと、午後3時になったことなど)をシステムイベント情報として登録することもできる。 Further, the event acquisition unit 312 can, for example, acquire a timeout event from the clock and register as system event information that a predetermined time has elapsed from the start of reproduction of the distributed image. The event acquisition unit 312 can also register that the predetermined time has come (for example, the date has changed, the time has reached 3:00 pm, etc.) as system event information.

また、イベント取得部312は、たとえば、気象会社のサーバなどから気象情報を取得して、特定の地域(たとえば、各視聴者の所在地もしくは配信者の所在地、または予め設定した地域)における気象要素をシステムイベント情報として登録することもできる。 In addition, the event acquisition unit 312 acquires weather information from, for example, a server of a weather company, and obtains weather elements in a specific area (for example, the location of each viewer or the location of a distributor, or a preset area). It can also be registered as system event information.

また、イベント取得部312は、たとえば、素材データが3Dモデルなどである場合には、配信動画中においてオブジェクトが衝突したことを判定してシステムイベント情報として登録することもできる。 Further, the event acquisition unit 312 can determine that an object has collided in the distributed moving image and register it as system event information, for example, when the material data is a 3D model or the like.

アクション処理部313は、素材データに対してアクションを実行する。アクション処理部313は、最初に実行するアクションの指定を受け付け、受け付けたアクションを実行する。アクションの中には他のアクションの起動が含まれうるため、この場合、アクション処理部313は、順次アクションを起動し続けていくことができる。なお、アクションは複数に分岐して並列に実行することも可能である。 The action processing unit 313 executes an action on the material data. The action processing unit 313 accepts the designation of the action to be executed first, and executes the accepted action. Since the action may include the activation of another action, in this case, the action processing unit 313 can continue to activate the actions in sequence. It is also possible to branch an action into a plurality of actions and execute them in parallel.

アクション処理部313はまた、イベントに応じたアクションの実行を行う。アクション処理部313は、アクション記憶部333に記憶されているアクション情報のそれぞれについて、期間に対応するイベント情報をイベント記憶部334から読み出して集計し、条件を満たすか否かを判定し、条件を満たす場合には、アクション情報に設定されているアクションを実行する。これにより、イベントに応じて動画の展開を動的に変化させることが可能となる。 The action processing unit 313 also executes an action according to the event. The action processing unit 313 reads the event information corresponding to the period from the event storage unit 334 for each of the action information stored in the action storage unit 333, aggregates the information, determines whether or not the condition is satisfied, and sets the condition. If it is satisfied, the action set in the action information is executed. This makes it possible to dynamically change the development of the moving image according to the event.

アクション処理部313はさらに、視聴者のグループを考慮する。すなわち、アクション処理部313は、アクション情報にグループが設定されている場合には、設定されているグループに所属している視聴者に対応するイベント情報のみに応じたアクションの実行を行う。たとえば、じゃんけんの場合、勝者グループに所属している視聴者からのイベントについてのみ、アクションを実行するようにする。これにより、じゃんけんの進行に敗者からのイベントを考慮しないようにして、正しくゲームを進行させることができる。 The action processing unit 313 further considers a group of viewers. That is, when a group is set in the action information, the action processing unit 313 executes the action according to only the event information corresponding to the viewer belonging to the set group. For example, in the case of rock-paper-scissors, the action should be executed only for the event from the viewer who belongs to the winner group. This makes it possible to proceed with the game correctly without considering the event from the loser in the progress of rock-paper-scissors.

グループ設定部314は、視聴者をグループ分けする。本実施形態では、グループ設定部314は、アクション処理部313がアクションを実行する度に、ユーザをグループ分けするものとするが、任意のタイミングでグループ分けを行うようにしてもよい。たとえば、たとえば、イベント取得部312が事前に設定されたイベントを取得した場合(たとえば、コメントの投稿など視聴者からの反応があった場合)や、所定の時間が経過する度に、グループ分けを行うことができる。グループ設定部314は、視聴者のそれぞれについて、グループ条件情報記憶部335に登録されているグループ条件情報のうち、条件が充足されるものを検索し、検索したグループ条件情報に設定されているグループに、当該視聴者が所属することを決定する。グループ設定部314は、決定した視聴者とグループとを対応付けるグループ情報を作成してグループ記憶部336に登録する。なお、当該視聴者に対応するグループ情報がグループ記憶部336に既に登録されている場合には、そのグループ情報を更新するものとする。 The group setting unit 314 divides the viewers into groups. In the present embodiment, the group setting unit 314 groups the users each time the action processing unit 313 executes the action, but the group setting unit 314 may perform the grouping at an arbitrary timing. For example, when the event acquisition unit 312 acquires a preset event (for example, when there is a reaction from the viewer such as posting a comment), or when a predetermined time elapses, grouping is performed. It can be carried out. The group setting unit 314 searches for each of the viewers the group condition information registered in the group condition information storage unit 335 that satisfies the condition, and the group set in the searched group condition information. It is decided that the viewer belongs to. The group setting unit 314 creates group information for associating the determined viewer with the group and registers it in the group storage unit 336. If the group information corresponding to the viewer is already registered in the group storage unit 336, the group information shall be updated.

集計出力部315は、各種の集計を出力することができる。集計出力部315は、たとえば、過去に登録されているユーザイベント情報から、視聴者の数をカウントしたり、特定の単語ごとに、当該単語を含むコメントを投稿した視聴者の数を集計したりすることができる。また、集計出力部315は、たとえば、グループ効く部336から、グループごとの視聴者の数を集計することができる。集計出力部315は、集計した数を出力することができる。集計出力部315からの出力は、配信画像とは別に視聴者端末1に送信され、視聴者端末1に表示されてもよいし、配信画像に重畳表示させるようにしてもよい。 The total output unit 315 can output various totals. For example, the total output unit 315 counts the number of viewers from the user event information registered in the past, or totals the number of viewers who posted a comment including the word for each specific word. can do. In addition, the total output unit 315 can total the number of viewers for each group from, for example, the group effective unit 336. The total output unit 315 can output the total number. The output from the total output unit 315 may be transmitted to the viewer terminal 1 separately from the distributed image and displayed on the viewer terminal 1, or may be superimposed and displayed on the distributed image.

報奨処理部316は、グループに応じて視聴者に報酬を与えるための処理を行う。報奨処理部316は、たとえば、特定のグループに所属している視聴者にのみ報酬を与えるようにしてもよいし、グループごとに異なる報酬を与えるようにしてもよい。報奨処理部316による報酬を与える処理については、ポイントを加算したり、仮想通貨の資金移動を行ったり、アイテムを付与したりするなど、一般的な報奨に係る処理を行うものとして、ここでは説明を省略する。本実施形態では、報奨処理部316は、じゃんけんの勝者、すなわち、勝者グループに所属している視聴者のそれぞれに対して、報酬を与える処理を行う。 The reward processing unit 316 performs processing for rewarding the viewer according to the group. The reward processing unit 316 may, for example, reward only the viewers who belong to a specific group, or may give different rewards for each group. Regarding the process of giving rewards by the reward processing unit 316, it is explained here as processing related to general rewards such as adding points, transferring funds of virtual currency, and giving items. Is omitted. In the present embodiment, the reward processing unit 316 performs a process of giving a reward to each of the winners of rock-paper-scissors, that is, the viewers belonging to the winner group.

図9は、本実施形態の動画配信システムにより実行される処理の流れを説明する図である。 FIG. 9 is a diagram illustrating a flow of processing executed by the moving image distribution system of the present embodiment.

動画配信部311は、配信画像内において画面を分割する(S401)。本実施形態では、動画配信部311は、複数の動画を同時表示するように合成することにより画面分割を実現するものとする。画面の分割はグループの数だけ行うものとする。 The video distribution unit 311 divides the screen in the distribution image (S401). In the present embodiment, the moving image distribution unit 311 realizes screen division by synthesizing a plurality of moving images so as to be displayed at the same time. The screen shall be divided by the number of groups.

アクション処理部313は、各グループについて、最初に実行するアクションの指定を受け付け(S402)、指定されたアクションを実行する(S403)。アクションが実行された結果として出力される映像や音声は合成され、動画データとして生成される。アクション処理部313は、当該グループおよびアクションの実行時に使用した素材データに対応するキャラクタと、画面とを紐付ける(S404)。 The action processing unit 313 accepts the designation of the action to be executed first for each group (S402), and executes the designated action (S403). The video and audio output as a result of executing the action are combined and generated as moving image data. The action processing unit 313 associates the character corresponding to the material data used when executing the group and the action with the screen (S404).

動画配信部311は、各グループについて生成された動画データを、対応する画面に分割表示するように合成して配信動画を生成し、ストリーミングサーバ2に送信する(S405)。 The video distribution unit 311 synthesizes the video data generated for each group so as to be divided and displayed on the corresponding screens, generates a distribution video, and transmits it to the streaming server 2 (S405).

アクション処理部313は、各グループについて、図10に示すアクションの実行処理を行う(S406)。 The action processing unit 313 executes the action shown in FIG. 10 for each group (S406).

イベント取得部312は、定期的にイベントを取得する(S421)。たとえば、イベント取得部312は、ストリーミングサーバ2が提供するAPIを呼び出すことにより、配信動画に対して投稿されたコメントを取得することができる。またイベント取得部312は、タイマー機能を用いて所定の時間が経過したことを取得することができる。 The event acquisition unit 312 periodically acquires an event (S421). For example, the event acquisition unit 312 can acquire the comment posted on the distributed video by calling the API provided by the streaming server 2. Further, the event acquisition unit 312 can acquire that a predetermined time has elapsed by using the timer function.

アクション処理部313は、当該グループに対応するアクションのそれぞれについて、当該グループに対応し、かつ、判定期間に入る日時のイベント情報をイベント記憶部334から読み出し(S423)、読み出したイベント情報のイベント内容がアクション情報の条件を満たすかどうか判定する(S424)。なお、アクション情報に、イベント情報およびグループ情報以外の情報であって、配信者装置3が管理している情報または他の情報処理装置にアクセスして取得可能な情報に対する条件が含まれている場合には、これらの情報を取得して条件を満たすか否かを判定するようにしてよい。イベントが条件を満たす場合(S425:YES)、アクション処理部313は、アクション情報に含まれるアクションを実行する(S426)。ここでアクション処理部313は、以前に実行していたアクションを停止してもよいし、以前に実行していたアクションと並行して新たなアクションを実行するようにしてもよいし、この挙動を新たなアクション内で指定可能としてもよい。グループ設定部314は、アクションの実行を契機として、視聴者をグループ分けする(S427)。 For each of the actions corresponding to the group, the action processing unit 313 reads the event information of the date and time corresponding to the group and enters the determination period from the event storage unit 334 (S423), and the event content of the read event information. Determines whether or not satisfies the condition of the action information (S424). When the action information includes information other than event information and group information and includes conditions for information managed by the distributor device 3 or information that can be acquired by accessing another information processing device. In order to obtain this information, it may be determined whether or not the condition is satisfied. When the event satisfies the condition (S425: YES), the action processing unit 313 executes the action included in the action information (S426). Here, the action processing unit 313 may stop the previously executed action, or may execute a new action in parallel with the previously executed action, and this behavior may be performed. It may be possible to specify it in a new action. The group setting unit 314 divides the viewers into groups when the action is executed (S427).

図11は、本実施形態に係る視聴者のグループ分け処理の流れを説明する図である。グループ設定部314は、イベント情報に係る各視聴者について以下の処理を行う。グループ設定部314は、グループ条件記憶部335からグループ条件情報を読み出し(S441)、読み出した各グループ条件情報について、当該視聴者に対応し、かつ、判定期間に入る日時のイベント情報をイベント記憶部334から読み出し(S442)、読み出したイベント情報がグループ条件情報の条件を満たす場合(S443:YES)、視聴者を示す視聴者IDと、グループ条件情報のグループとを設定したグループ情報をグループ記憶部336に登録する(S444)。以上のようにして、視聴者のグループ分けが行われる。 FIG. 11 is a diagram illustrating a flow of viewer grouping processing according to the present embodiment. The group setting unit 314 performs the following processing for each viewer related to the event information. The group setting unit 314 reads the group condition information from the group condition storage unit 335 (S441), and for each read group condition information, the event information corresponding to the viewer and the date and time when the determination period is entered is stored in the event storage unit. When the event information read from 334 satisfies the condition of the group condition information (S443: YES), the group information in which the viewer ID indicating the viewer and the group of the group condition information are set is stored in the group storage unit. Register with 336 (S444). As described above, the viewers are grouped.

図10に戻り、アクション処理部313は、アクションの実行時に使用した素材データに対応するキャラクタを素材ライブラリ331から取得し、取得したキャラクタを当該グループに紐付ける(S428)。以上の処理が各アクションについて行われ、図9に戻り、動画配信部311は、各グループに紐付けられたキャラクタが一致した場合(S407:YES)、画面の分割を解除する(S408)。すなわち、この後、配信処理部311およびアクション処理部313は、1つの画面(または一部の統合された画面)について、素材データに基づく動画の作成および素材データの操作を行うことになる。一方、各画面のキャラクタが一致しない場合には(S407:NO)、画面を分割する(S409)。 Returning to FIG. 10, the action processing unit 313 acquires the character corresponding to the material data used when executing the action from the material library 331, and associates the acquired character with the group (S428). The above processing is performed for each action, and the process returns to FIG. 9, and when the characters associated with each group match (S407: YES), the video distribution unit 311 cancels the screen division (S408). That is, after that, the distribution processing unit 311 and the action processing unit 313 will create a moving image based on the material data and operate the material data on one screen (or a part of the integrated screens). On the other hand, if the characters on each screen do not match (S407: NO), the screen is divided (S409).

アクション情報のアクションが配信動画を終了させるものでなければ(S410:NO)、ステップS402からの処理を繰り返す。 If the action of the action information does not end the distribution video (S410: NO), the process from step S402 is repeated.

以上のようにして、本実施形態の動画配信システムは、配信動画をストリーミングサーバ2経由で視聴者端末1に配信するとともに、配信動画の再生中における各種のイベントに応じて、再生中の配信動画に変更を加えることができる。したがって、録画済みの映像を利用しながらも、視聴者の反応に応じて配信動画に様々な展開を加えることが可能となり、ストリーミング形式での動画の配信方式によるライブ感を損なわずに動画を配信することが可能となる。 As described above, the video distribution system of the present embodiment distributes the distributed video to the viewer terminal 1 via the streaming server 2, and the distributed video being played in response to various events during the playback of the distributed video. Can be modified. Therefore, while using the recorded video, it is possible to add various developments to the distributed video according to the reaction of the viewer, and the video is distributed without impairing the live feeling due to the streaming format video distribution method. It becomes possible to do.

また、本実施形態の動画配信システムでは、画面を分割(配信動画の表示を分割)し、各画面について、対応するグループに所属する視聴者のみからの反応に応じて、当該画面における動画の展開を変更することができる。各画面について異なるグループにより動画の展開が変化するため、ストーリーに意外性をもたらすことが可能となる。 Further, in the video distribution system of the present embodiment, the screen is divided (the display of the distributed video is divided), and for each screen, the video is developed on the screen according to the reaction from only the viewers belonging to the corresponding group. Can be changed. Since the development of the video changes depending on the different group for each screen, it is possible to bring unexpectedness to the story.

図12は、配信動画を表示する画面50の一例を示す図である。画面50の例では、配信動画51は、2つの部分動画52および53に分割されている。コメント表示欄54示されるように、視聴者からはコメントが投稿される。視聴者はグループごとに、各画面に関連付けられ、視聴者からのコメントに応じて、当該視聴者が所属するグループに対応する画面に表示される動画データに係る素材データにアクションが適用される。これにより、部分動画52と部分動画53とは独立して、それぞれの対応するグループに所属する視聴者からのコメントに応じて動画の展開が変化することになる。部分動画52と部分動画53とで独立並行した展開が表示されることになり、新しい配信動画の視聴体験をもたらすことができる。
なお、上述したように、部分動画52と部分動画53とで登場するキャラクターが重なる場合には、配信動画51の分割は解消し、1つの動画として表示されることになる。すなわち、独立して展開していたストーリーの重なりがある場合には、画面は統合し、独立している場合には、画面も分割することになる。このように、複数キャラクターの絡みを視聴者からの反応に応じて変更することができるので、予見可能性の低いストーリー展開を演出することが可能になる。
FIG. 12 is a diagram showing an example of a screen 50 displaying a distributed moving image. In the example of the screen 50, the distribution moving image 51 is divided into two partial moving images 52 and 53. As shown in the comment display field 54, a comment is posted by the viewer. The viewer is associated with each screen for each group, and the action is applied to the material data related to the video data displayed on the screen corresponding to the group to which the viewer belongs in response to the comment from the viewer. As a result, the partial moving image 52 and the partial moving image 53 are independent, and the development of the moving image is changed according to the comments from the viewers belonging to the corresponding groups. The partial moving image 52 and the partial moving image 53 will be displayed independently in parallel, which can bring about a new viewing experience of the distributed moving image.
As described above, when the characters appearing in the partial moving image 52 and the partial moving image 53 overlap, the division of the distribution moving image 51 is canceled and the characters are displayed as one moving image. That is, if there is an overlap of stories that have been developed independently, the screens are integrated, and if they are independent, the screens are also divided. In this way, since the entanglement of the plurality of characters can be changed according to the reaction from the viewer, it is possible to produce a story development with low predictability.

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes equivalents thereof.

たとえば、本実施形態では、配信者装置3から送出した動画は、ストリーミングサーバ2を介して視聴者端末1に配信されるものとしたが、配信者装置3から各視聴者端末1に直接動画を配信するようにすることもできる。 For example, in the present embodiment, the moving image transmitted from the distributor device 3 is distributed to the viewer terminal 1 via the streaming server 2, but the moving image is directly delivered from the distributor device 3 to each viewer terminal 1. It can also be delivered.

また、本実施形態では、動画の再生途中であっても、コメントが条件を満たせば、次の部品動画データに遷移する(図10のステップS426)ものとしたが、現在のアクションの実行は最後まで行った後に、次のアクションに実行するようにしてもよい。 Further, in the present embodiment, even during the reproduction of the moving image, if the comment satisfies the condition, the transition is made to the next component moving image data (step S426 in FIG. 10), but the execution of the current action is the last. After that, the next action may be executed.

また、本実施形態では、アクションが実行されるごとに視聴者をグループ分けするものとしたが、素材データやアクションの内容に応じて、グループ分けをするか否かを決定するようにしてもよい。 Further, in the present embodiment, the viewers are grouped each time the action is executed, but it may be decided whether or not to group the viewers according to the material data and the content of the action. ..

また、本実施形態では、動画配信部311は、複数の動画を同時表示するように合成することにより画面分割を実現するものとしたが、たとえば、視聴者端末1において画面を分割し、動画配信部311からは複数の動画を視聴者端末1に送信して、画面分割を実現するようにしてもよい。 Further, in the present embodiment, the video distribution unit 311 realizes screen division by synthesizing so as to simultaneously display a plurality of moving images. For example, the viewer terminal 1 divides the screen and distributes the moving image. A plurality of moving images may be transmitted from the unit 311 to the viewer terminal 1 to realize screen division.

1 視聴者端末
2 ストリーミングサーバ
3 配信者装置
311 動画配信部
312 イベント取得部
313 アクション処理部
314 グループ設定部
315 集計出力部
316 報奨処理部
331 素材ライブラリ
333 アクション記憶部
334 イベント記憶部
335 グループ条件記憶部
336 グループ記憶部
1 Viewer terminal 2 Streaming server 3 Distributor device 311 Video distribution unit 312 Event acquisition unit 313 Action processing unit 314 Group setting unit 315 Aggregation output unit 316 Reward processing unit 331 Material library 333 Action storage unit 334 Event storage unit 335 Group condition storage Department 336 Group storage unit

Claims (5)

動画を生成するための素材データを記憶する素材ライブラリと、
第1および第2の前記素材データに基づいて第1および第2の部分動画を生成し、生成した第1および第2の部分動画を同時に分割表示するように前記動画を生成する動画生成部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
第1のグループに所属する前記視聴者からの前記反応情報のみに応じて、前記第1の素材データに対する前記操作を行い、第2のグループに所属する前記視聴者からの前記反応情報のみに応じて、前記第2の素材データに対する前記操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
A material library that stores material data for generating videos,
With a moving image generation unit that generates the first and second partial moving images based on the first and second material data and generates the moving images so that the generated first and second partial moving images are simultaneously divided and displayed. ,
A reaction acquisition unit that acquires reaction information indicating a reaction from a viewer of the moving image during playback of the moving image, and a reaction acquisition unit.
The operation on the first material data is performed according to only the reaction information from the viewer belonging to the first group, and only the reaction information from the viewer belonging to the second group is supported. Then, the action processing unit that performs the operation on the second material data, and
A video distribution system characterized by being equipped with.
請求項1に記載の動画配信システムであって、
前記動画生成ぶは、前記第1および第2の素材データが同一である場合、前記分割表示を終了し、前記第1または第2の素材データに基づいて前記動画を生成すること、
を特徴とする動画配信システム。
The video distribution system according to claim 1.
When the first and second material data are the same, the moving image generating device ends the divided display and generates the moving image based on the first or second material data.
A video distribution system featuring.
請求項1または2に記載の動画配信システムであって、
前記素材データは、複数のキャラクタの少なくとも1つと関連しており、
前記グループのそれぞれは、前記キャラクタに対応付けられ、
前記動画生成部は、複数の前記グループに対応する前記キャラクタがすべて関連付けられている前記第1または第2の素材データを用いる場合には、前記分割表示を終了し、前記第1または第2の素材データに基づいて前記部分動画または前記動画を生成すること、
を特徴とする動画配信システム。
The video distribution system according to claim 1 or 2.
The material data is associated with at least one of a plurality of characters.
Each of the groups is associated with the character and
When the moving image generation unit uses the first or second material data in which all the characters corresponding to the plurality of groups are associated with each other, the moving image generation unit ends the divided display and the first or second Generating the partial video or the video based on the material data,
A video distribution system featuring.
請求項1ないし3のいずれか1項に記載の動画配信システムであって、
前記反応情報に応じて、前記視聴者をグループ分けするグループ設定部をさらに備えること、
を備えること特徴とする動画配信システム。
The video distribution system according to any one of claims 1 to 3.
Further provided with a group setting unit for grouping the viewers according to the reaction information.
A video distribution system characterized by being equipped with.
請求項4に記載の動画配信システムであって、
取得した前記反応情報に対応する前記視聴者を示す情報と、前記視聴者が所属する前記グループとを対応付けて格納するグループ記憶部をさらに備えること、
を特徴とする動画配信システム。
The video distribution system according to claim 4.
Further, a group storage unit for storing the information indicating the viewer corresponding to the acquired reaction information and the group to which the viewer belongs is provided.
A video distribution system featuring.
JP2019091010A 2018-12-29 2019-05-13 Video distribution system Pending JP2020188347A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019091010A JP2020188347A (en) 2019-05-13 2019-05-13 Video distribution system
CN201980093300.XA CN113518979A (en) 2018-12-29 2019-12-26 Video distribution system
KR1020217023924A KR20210107831A (en) 2018-12-29 2019-12-26 video transmission system
PCT/JP2019/051327 WO2020138375A1 (en) 2018-12-29 2019-12-26 Movie distribution system
US17/419,646 US11843809B2 (en) 2018-12-29 2019-12-26 Movie distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019091010A JP2020188347A (en) 2019-05-13 2019-05-13 Video distribution system

Publications (1)

Publication Number Publication Date
JP2020188347A true JP2020188347A (en) 2020-11-19

Family

ID=73223021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019091010A Pending JP2020188347A (en) 2018-12-29 2019-05-13 Video distribution system

Country Status (1)

Country Link
JP (1) JP2020188347A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7549758B2 (en) 2022-05-26 2024-09-11 楽天グループ株式会社 Live streaming that allows viewing while sending and receiving text within and between groups

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7549758B2 (en) 2022-05-26 2024-09-11 楽天グループ株式会社 Live streaming that allows viewing while sending and receiving text within and between groups

Similar Documents

Publication Publication Date Title
CN112135160A (en) Virtual object control method and device in live broadcast, storage medium and electronic equipment
CN102595212A (en) Simulated group interaction with multimedia content
CN111629253A (en) Video processing method and device, computer readable storage medium and electronic equipment
CN113490004B (en) Live broadcast interaction method and related device
CN113784156B (en) Live broadcast method and device, electronic equipment and storage medium
CN114025188B (en) Live advertisement display method, system, device, terminal and readable storage medium
CN112511849A (en) Game display method, device, equipment, system and storage medium
CN114327182A (en) Special effect display method and device, computer storage medium and electronic equipment
CN116600152A (en) Virtual anchor live broadcast method, device, equipment and storage medium
JP2024102793A (en) Systems, methods and computer readable media for delivery time suggestions
JP7486283B2 (en) Video distribution system
CN105744338B (en) A kind of method for processing video frequency and its equipment
JP2020188347A (en) Video distribution system
JP7408506B2 (en) Content distribution system, content distribution method, and content distribution program
JP7289219B2 (en) Video distribution system
JP7376235B2 (en) Video distribution system
JP7376238B2 (en) Video distribution system
KR20090025609A (en) Method for exposing advertisement of user interface and system thereof
WO2020138375A1 (en) Movie distribution system
JP7314387B1 (en) CONTENT GENERATION DEVICE, CONTENT GENERATION METHOD, AND PROGRAM
JP7433617B1 (en) servers and computer programs
JP7497002B1 (en) Systems and methods for streaming - Patents.com
JP7549116B1 (en) Title creation system, title creation method, title creation program, and distributor terminal
JP7371845B1 (en) Servers, methods and computer programs
JP6905133B1 (en) Information processing equipment, information processing methods and programs