JP2019153847A

JP2019153847A - Movie generation device, movie generation reproduction system, movie generation method, and movie generation program

Info

Publication number: JP2019153847A
Application number: JP2018035865A
Authority: JP
Inventors: 長谷川　清; Kiyoshi Hasegawa; 清長谷川; 井口　誠; Makoto Iguchi; 誠井口
Original assignee: CMerTV Inc; NeU Corp
Current assignee: CMerTV Inc; NeU Corp
Priority date: 2018-02-28
Filing date: 2018-02-28
Publication date: 2019-09-12
Anticipated expiration: 2038-02-28
Also published as: JP7121937B2

Abstract

To provide a movie generation device that generates a movie on the basis of a brain activity state measured by a user.SOLUTION: A movie generation device includes: a storage unit that stores a brain activity state indicating a degree of brain activity on the basis of a detection value obtained by detecting blood flow in the heads of a plurality of users, and a predetermined movie that each of the plurality of users views when the detection value is detected; and a calculation unit that extracts a partial movie that is a movie of one or more partial periods from the entire period of the predetermined movie based on the brain activity states of the plurality of users, and generates a first movie by combining the extracted partial movies.SELECTED DRAWING: Figure 1

Description

本発明は、動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラムに関する。 The present invention relates to a moving image generating apparatus, a moving image generating / reproducing system, a moving image generating method, and a moving image generating program.

従来から、ヘッドセットと呼ばれる頭部装着装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。 Conventionally, a head-mounted device called a headset is provided with a near-infrared irradiation unit and a near-infrared detection unit, detects changes in blood flow on the brain surface, and processes the detected data with a data processing device. A measurement system that acquires information indicating the activity state of the brain is provided.

複数の利用者（被験者）に対して、様々な行動をした際の脳活動状態を計測することが行われている。ある行動をした際の脳活動状態は、当該行動に含まれる様々な性質や利用者の属性等の影響を受けていると考えられる。 The brain activity state when various actions are performed on a plurality of users (subjects) is measured. It is considered that the brain activity state when a certain action is taken is influenced by various properties included in the action and the attributes of the user.

特開２００５−８４７７０号公報JP 2005-84770 A 特開２００５−１０２３２２号公報JP 2005-102322 A

商品やサービスの告知・広告等において、商品やサービスの消費者への認知度を高めるには、消費者に多くの回数、多くの時間、複数のパターンの広告を見せて、接触頻度を高めることが効果的であるとされている。しかし、テレビＣＭやインターネット上の動画広告を消費者に多くの回数を見せるには、多大な費用がかかる。そのため、効率的に、商品やサービスの認知度を高めることが求められている。ＶＯＤ（Video on Demand）による
動画コンテンツ配信において、新コンテンツやレコメンドコンテンツを、視聴者に訴求する際も同様である。 To raise awareness of consumers of products and services in product / service announcements / advertising, etc., increase the contact frequency by showing consumers many times, many hours, multiple patterns of advertisements Is said to be effective. However, it is very expensive to show consumers a large number of TV commercials and video advertisements on the Internet. For this reason, it is required to efficiently raise the awareness of products and services. The same applies to appealing viewers to new content and recommended content in video content distribution using VOD (Video on Demand).

また、従来、広告の評価をする際には、広告を見た者に対するアンケートを採ることで行っていた。しかし、アンケートでは主観的な評価になりがちで、より客観的な評価をすることが求められている。 Conventionally, when evaluating an advertisement, it has been performed by taking a questionnaire for those who have seen the advertisement. However, questionnaires tend to be subjective evaluations, and more objective evaluations are required.

本発明は、利用者によって測定された脳活動状態に基づいて動画を生成することを目的とする。 An object of this invention is to produce | generate a moving image based on the brain activity state measured by the user.

上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す脳活動状態と、前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画とを格納する記憶部と、
前記複数の利用者の前記脳活動状態に基づいて、前記所定動画の全期間から１以上の部分期間の動画である部分動画を抽出し、抽出された前記部分動画を結合して第１動画を生成する算出部と、
を備える動画生成装置である。 In order to solve the above problems, the following means are adopted.
That is, the first aspect is
A brain activity state indicating a degree of brain activity based on a detected value obtained by detecting blood flow in the heads of a plurality of users, and a predetermined video that each of the plurality of users views when the detected value is detected. A storage unit for storing;
Based on the brain activity states of the plurality of users, a partial moving image that is a moving image of one or more partial periods is extracted from the entire period of the predetermined moving image, and the first moving image is combined with the extracted partial moving images. A calculation unit to generate;
It is a moving image production | generation apparatus provided with.

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。 An aspect of the disclosure may be realized by executing a program by an information processing device. That is, the disclosed configuration can be specified as a program for causing the information processing apparatus to execute the processing executed by each unit in the above-described aspect, or a computer-readable recording medium on which the program is recorded. Further, the disclosed configuration may be specified by a method in which the information processing apparatus executes the process executed by each of the above-described units. The configuration of the disclosure may be specified as a system including an information processing apparatus that performs the processing executed by each of the above-described units.

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。 The step of describing the program includes processes that are executed in parallel or individually even if they are not necessarily processed in time series, as well as processes that are executed in time series in the described order. Some of the steps describing the program may be omitted.

開示の技術によれば、利用者によって測定された脳活動状態に基づいて動画を生成することができる。 According to the disclosed technology, a moving image can be generated based on a brain activity state measured by a user.

図１は、動画生成システムの情報処理に関与する構成を例示する図である。FIG. 1 is a diagram illustrating a configuration involved in information processing of a moving image generation system. 図２は、頭部装着装置の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the head-mounted device. 図３は、利用者端末２０の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of the user terminal 20. 図４は、サーバの構成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of a server. 図５は、利用者端末４０の構成例を示す図である。FIG. 5 is a diagram illustrating a configuration example of the user terminal 40. 図６は、実施形態の動画生成再生システムの動画生成の動作フローの例を示す図である。FIG. 6 is a diagram illustrating an example of an operation flow of moving image generation in the moving image generation / playback system of the embodiment. 図７は、利用者が所定の動画の視聴行った際の脳活動状態の時間変化の例を示す図である。FIG. 7 is a diagram illustrating an example of a temporal change in the brain activity state when the user views a predetermined moving image. 図８は、実施形態の動画生成再生システムの動画生成の動作フローの別の例を示す図である。FIG. 8 is a diagram illustrating another example of an operation flow of moving image generation in the moving image generation / playback system of the embodiment. 図９は、実施形態の動画生成再生システムの動画再生の動作フローの例を示す図である。FIG. 9 is a diagram illustrating an example of an operation flow of moving image reproduction in the moving image generation / reproduction system of the embodiment.

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。 Hereinafter, embodiments will be described with reference to the drawings. The configuration of the embodiment is an exemplification, and the configuration of the invention is not limited to the specific configuration of the disclosed embodiment. In carrying out the invention, a specific configuration according to the embodiment may be adopted as appropriate.

〔実施形態〕
（構成例）
図１は、本実施形態に係る動画生成再生システムの情報処理に関する構成例を示す図である。本動画生成再生システムは、利用者に動画を視聴させている際に、利用者の頭部から血流量の変化を示す計測データ（検出値ともいう）を検出し、利用者の脳の活動状態を示す脳活動情報（脳活動波形）を取得する。また、本動画生成再生システムは、利用者に視聴させた動画、取得した脳活動情報に基づいて、新たな動画を生成する。ここで生成される動画は、主として、商品、サービス等についてのテレビＣＭやインターネット上の広告動画等である。また、ここで生成される動画は、ＶＯＤによる動画コンテンツ配信において、新コンテンツやレコメンドコンテンツを視聴者に訴求するために生成される動画であってもよい。 Embodiment
(Configuration example)
FIG. 1 is a diagram illustrating a configuration example related to information processing of the moving image generation / playback system according to the present embodiment. This video generation / playback system detects measurement data (also referred to as detection values) indicating changes in blood flow from the user's head when the user is watching the video, and the activity state of the user's brain To obtain brain activity information (brain activity waveform). The moving image generating / reproducing system generates a new moving image based on the moving image viewed by the user and the acquired brain activity information. The moving images generated here are mainly TV commercials for products and services, advertising moving images on the Internet, and the like. In addition, the moving image generated here may be a moving image generated to appeal to viewers for new content or recommended content in the distribution of moving image content by VOD.

図１のように、動画生成再生システム１は、頭部装着装置１０−１、１０−２、１０−３と、利用者端末２０−１、２０−２、２０−３と、サーバ３０と、利用者端末４０−１
、４０−２、４０−３とを有する。ここで、頭部装着装置１０−１、１０−２、１０−３を総称する場合には、頭部装着装置１０という。また、利用者端末２０−１、２０−２、２０−３を総称する場合には、利用者端末２０という。頭部装着装置１０、利用者端末２０の数は、それぞれ、３台に限定されるものではない。サーバ３０は、動画生成装置の一例である。利用者端末４０−１、４０−２、４０−３を総称する場合には、利用者端末４０という。 As shown in FIG. 1, the moving image generating / reproducing system 1 includes head mounted devices 10-1, 10-2, 10-3, user terminals 20-1, 20-2, 20-3, a server 30, User terminal 40-1
, 40-2, and 40-3. Here, the head mounting devices 10-1, 10-2, and 10-3 are collectively referred to as the head mounting device 10. The user terminals 20-1, 20-2, and 20-3 are collectively referred to as user terminals 20. The number of head mounted devices 10 and user terminals 20 is not limited to three each. The server 30 is an example of a moving image generating device. The user terminals 40-1, 40-2, and 40-3 are collectively referred to as user terminals 40.

図２は、頭部装着装置の構成例を示す図である。頭部装着装置１０は、情報処理の側面としては、制御部１１と、無線通信部１３と、一対のセンサ１１５、１２５とを有する。制御部１１は、頭部装着装置１０の計測と通信を制御する。制御部１１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等のプロ
セッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部１１は、無線通信部１３とセンサ１１５、１２５を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。また、制御部１１は、
ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。 FIG. 2 is a diagram illustrating a configuration example of the head-mounted device. The head-mounted device 10 includes a control unit 11, a wireless communication unit 13, and a pair of sensors 115 and 125 in terms of information processing. The control unit 11 controls measurement and communication of the head-mounted device 10. The control unit 11 includes, for example, a processor such as a CPU (Central Processing Unit) or DSP (Digital Signal Processor) and a memory, and executes processing using a computer program, firmware, or the like that is executed on the memory. . However, the control unit 11 may be a dedicated hardware circuit, an FPGA (Field Programmable Gate Array), or the like that activates the wireless communication unit 13 and the sensors 115 and 125 and executes cooperation processing with each component. In addition, the control unit 11
A CPU, a DSP, a dedicated hardware circuit, etc. may be mixed.

頭部装着装置１０は、利用者の頭部に装着され、利用者の頭部に固定される構造を有する。 The head mounting device 10 has a structure that is mounted on a user's head and fixed to the user's head.

無線通信部１３は、所定のインターフェースによって、制御部１１およびセンサ１１５、１２５と接続される。ただし、無線通信部１３は、制御部１１を介して、センサ１１５、１２５からデータを取得する構成であってもよい。無線通信部１３は、ネットワークＮ１を介して、利用者端末２０と通信する。ネットワークＮ１は、例えば、Bluetooth（登
録商標）、無線ＬＡＮ（Local Area Network）ＬＴＥ（Long Term Evolution）等の規格
にしたがうネットワークである。無線通信部１３は、転送手段の一例である。ただし、動画生成再生システム１において、無線通信部１３の無線インターフェースの規格に限定はない。 The wireless communication unit 13 is connected to the control unit 11 and the sensors 115 and 125 through a predetermined interface. However, the wireless communication unit 13 may be configured to acquire data from the sensors 115 and 125 via the control unit 11. The wireless communication unit 13 communicates with the user terminal 20 via the network N1. The network N1 is a network that complies with standards such as Bluetooth (registered trademark), wireless local area network (LTE), and long term evolution (LTE). The wireless communication unit 13 is an example of a transfer unit. However, in the moving image generation / playback system 1, the wireless interface standard of the wireless communication unit 13 is not limited.

ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、頭部装着装置１０を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。 At the time of communication in the network N1, an identifier for identifying the head-mounted device 10 is embedded in the header portion of the communication header or the user data portion (payload portion) in the communication data, and the user terminal 20 receives the user ( (Subject) can be identified.

また、動画生成再生システム１において、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を設けてもよい。すなわち、頭部装着装置１０と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、動画生成再生システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩＥｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。 Further, in the moving image generating / reproducing system 1, a communication unit that performs wired communication instead of the wireless communication unit 13 or together with the wireless communication unit 13 may be provided. That is, the head-mounted device 10 and the user terminal 20 may be connected by a wired communication interface. In this case, the interface of wired communication is not limited, and various interfaces such as USB (Universal Serial Bus) and PCI Express (registered trademark) can be used according to the use of the moving image generating / reproducing system 1.

センサ１１５、１２５は、いずれも近赤外線を頭部に照射し、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。センサ１１５、１２５は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。センサ１１５、１２５は、検出部の一例である。 The sensors 115 and 125 both irradiate the head with near infrared rays, receive near infrared rays that are partially absorbed and scattered near the cerebral cortex of the brain, and convert them into electrical signals. The cerebral cortex of the brain has a different blood flow rate, for example, depending on the brain activity state. As a result, in each part of the cerebral cortex, the amount of hemoglobin bound to oxygen in the blood and the amount of hemoglobin not bound to oxygen change. Due to a change in the amount of hemoglobin, a change in the amount of oxygen, or the like, the near-infrared absorption characteristic or scattering characteristic in the vicinity of the cerebral cortex changes. The sensors 115 and 125 convert the near-infrared light whose light amount changes according to the change in the near-infrared absorption rate or the change in the transmittance according to the state of blood flow in the vicinity of the cerebral cortex into an electrical signal and outputs it. The sensors 115 and 125 are an example of a detection unit.

センサ１１５、１２５は、例えば、近赤外線を照射する近赤外線光源と、近赤外線を受光する受光部を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤
外線ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、ＡＤ（Analog Digital）コンバータとを含む。なお、近赤外線光源と受光部とが対にして設けられなくてもよい。例えば、１つの近赤外線光源に対して、複数の受光部が設けられてもよい。 The sensors 115 and 125 include, for example, a near-infrared light source that emits near-infrared light and a light-receiving unit that receives near-infrared light. The near infrared light source is, for example, an LED (Light Emitting Diodes), an infrared lamp, or the like. The light receiving unit includes a photoelectric element such as a photodiode or a phototransistor, an amplifier, and an AD (Analog Digital) converter. Note that the near-infrared light source and the light receiving unit may not be provided in pairs. For example, a plurality of light receiving units may be provided for one near infrared light source.

図３は、利用者端末２０の構成例を示す図である。利用者端末２０は、頭部装着装置１０から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。利用者端末２０は、情報処理装置（コンピュータ）の一例である。利用者端末２０は、ＰＣ（Personal Computer）、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション
装置、ＰＤＡ（Personal Digital Assistant）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。 FIG. 3 is a diagram illustrating a configuration example of the user terminal 20. The user terminal 20 acquires the near infrared absorption rate or transmittance change data in the vicinity of the user's cerebral cortex from the head-mounted device 10, and performs various information processing related to the activity state of the user's brain. Provide services including The user terminal 20 is an example of an information processing apparatus (computer). The user terminal 20 uses a dedicated or general-purpose computer such as a PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, a car navigation device, a PDA (Personal Digital Assistant), or an electronic device equipped with the computer. Is feasible.

利用者端末２０は、ＣＰＵ２１と、メモリ２２と、無線通信部２３と、公衆回線通信部２４と、表示部２５と、操作部２６と、出力部２７と、撮像部２８と、測位部２９と、物理センサ部２Ａを有する。ＣＰＵ２１は、メモリ２２に実行可能に展開されたコンピュータプログラムにより、利用者端末２０としての処理を実行する。利用者端末２０としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ２１は、算出部の一例である。 The user terminal 20 includes a CPU 21, a memory 22, a wireless communication unit 23, a public line communication unit 24, a display unit 25, an operation unit 26, an output unit 27, an imaging unit 28, and a positioning unit 29. And a physical sensor unit 2A. The CPU 21 executes processing as the user terminal 20 by a computer program that is executed in the memory 22 so as to be executable. The processing as the user terminal 20 is, for example, a service including various information processing related to the activity state of the user's brain. The CPU 21 that executes such a computer program is an example of a calculation unit.

メモリ２２は、ＣＰＵ２１で実行されるコンピュータプログラム、あるいは、ＣＰＵ２１が処理するデータを記憶する。メモリ２２は、揮発性メモリと不揮発性メモリを含んでよい。 The memory 22 stores a computer program executed by the CPU 21 or data processed by the CPU 21. The memory 22 may include volatile memory and non-volatile memory.

無線通信部２３は、頭部装着装置１０の無線通信部１３と同様である。無線通信部２３は、受信手段の一例である。また、利用者端末２０は、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を有してもよい。 The wireless communication unit 23 is the same as the wireless communication unit 13 of the head-mounted device 10. The wireless communication unit 23 is an example of a receiving unit. Further, the user terminal 20 may include a communication unit that performs wired communication instead of the wireless communication unit 13 or together with the wireless communication unit 13.

公衆回線通信部２４は、ネットワークＮ２を介して、ネットワークＮ２上のサーバ、例えば、サーバ３０等と通信する。ネットワークＮ２は、公衆回線網であり、例えば、携帯電話網である。ネットワークＮ２が携帯電話網である場合には、公衆回線通信部２４は、携帯電話網の基地局を介してネットワークＮ２に接続する。ただし、ネットワークＮ２は、インターネット接続業者の通信装置へのアクセス網とインターネットを含むネットワークであってもよい。インターネット接続業者の通信装置へのアクセス網は、例えば、通信事業者が提供する光ネットワーク、ＡＤＳＬ（Asymmetric Digital Subscriber Line）等である。ネットワークＮ２は、公衆無線ネットワークの一例である。また、公衆回線通信部２４は、通信部の一例である。ただし、動画生成再生システム１において、ネットワークＮ２は公衆回線網に限定されず、例えば、ＬＡＮ(Local Area Network)等の構内ネットワーク、企業、事業者、役所、学校、研究機関等の専用回線、ＶＰＮ(Virtual Private Network)等の広域ネットワークであってもよい。 The public line communication unit 24 communicates with a server such as the server 30 on the network N2 via the network N2. The network N2 is a public line network, for example, a mobile phone network. When the network N2 is a mobile phone network, the public line communication unit 24 connects to the network N2 via a base station of the mobile phone network. However, the network N2 may be a network including an access network to the communication device of the Internet service provider and the Internet. An access network to a communication device of an Internet connection company is, for example, an optical network provided by a communication carrier, ADSL (Asymmetric Digital Subscriber Line), or the like. The network N2 is an example of a public wireless network. The public line communication unit 24 is an example of a communication unit. However, in the video generation / playback system 1, the network N2 is not limited to a public network, for example, a local network such as a LAN (Local Area Network), a private line such as a company, a business operator, a government office, a school, a research institution, a VPN It may be a wide area network such as (Virtual Private Network).

表示部２５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ２１からの出力情報を表示する。操作部２６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部２７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部２８は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ
センサ等を利用できる。 The display unit 25 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, and the like, and displays output information from the CPU 21. The operation unit 26 is, for example, a push button, a touch panel, or the like, and accepts a user operation. The output unit 27 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or sound, and the like. The imaging unit 28 is a camera including a solid-state imaging element, for example. As the solid-state image sensor, a CCD (Charge-coupled device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used.

測位部２９は、例えば、ＧＰＳ（Global Positioning System）受信機であり、ＧＰＳ
衛星からの電波を受信し、現在位置（緯度、経度等）、時刻等を算出する。ただし、測位部２９としては、ＧＰＳ受信機を有するものに限定される訳ではない。例えば、公衆回線通信部２４が携帯電話網である場合には、測位部２９は、携帯電話基地局からの距離を基に測位を実行してもよい。 The positioning unit 29 is a GPS (Global Positioning System) receiver, for example,
Receives radio waves from the satellite and calculates the current position (latitude, longitude, etc.), time, etc. However, the positioning unit 29 is not limited to the one having a GPS receiver. For example, when the public line communication unit 24 is a mobile phone network, the positioning unit 29 may perform positioning based on the distance from the mobile phone base station.

物理センサ部２Ａは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部２Ａは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。 The physical sensor unit 2A is, for example, an acceleration sensor or an angular acceleration sensor. However, the physical sensor unit 2A may be a temperature sensor, a humidity sensor, an atmospheric pressure sensor, or a water pressure sensor.

図４は、サーバの構成例を示す図である。サーバ３０は、ネットワークＮ２に接続される。サーバ３０は、一般的な情報処理装置である。情報処理装置は、演算及び制御を行うＣＰＵ、演算等で使用されるデータ等を格納するメモリ及び記憶部、利用者等からの情報の入力を受け付ける入力部、画像や音声等により情報を出力する出力部、他の装置等と情報の送受信を行う通信部等を有する。サーバ３０は、ＰＣ、ワークステーション（ＷＳ、Work Station）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。 FIG. 4 is a diagram illustrating a configuration example of a server. Server 30 is connected to network N2. The server 30 is a general information processing apparatus. The information processing apparatus outputs information by a CPU that performs calculation and control, a memory and storage unit that stores data used in the calculation, an input unit that receives input of information from a user, an image, sound, and the like An output unit, a communication unit that transmits and receives information to and from other devices, and the like are included. The server 30 can be realized using a dedicated or general-purpose computer such as a PC or a work station (WS), or an electronic device equipped with the computer.

サーバ３０は、ＣＰＵ３１と、メモリ３２と、公衆回線通信部３４と、表示部３５と、操作部３６と、出力部３７を有する。ＣＰＵ３１は、メモリ３２に実行可能に展開されたコンピュータプログラムにより、サーバ３０としての処理を実行する。サーバ３０としての処理とは、例えば、上記脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ３１は、算出部の一例である。 The server 30 includes a CPU 31, a memory 32, a public line communication unit 34, a display unit 35, an operation unit 36, and an output unit 37. The CPU 31 executes processing as the server 30 by a computer program that is executably expanded in the memory 32. The process as the server 30 is, for example, a service including various information processing related to the brain activity state. The CPU 31 that executes such a computer program is an example of a calculation unit.

メモリ３２は、ＣＰＵ３１で実行されるコンピュータプログラム、あるいは、ＣＰＵ３１が処理するデータを記憶する。メモリ３２は、揮発性メモリと不揮発性メモリを含んでよい。 The memory 32 stores a computer program executed by the CPU 31 or data processed by the CPU 31. The memory 32 may include volatile memory and nonvolatile memory.

公衆回線通信部３４は、ネットワークＮ２を介して、ネットワークＮ２上の装置、例えば、利用者端末２０等と通信する。ネットワークＮ２は、公衆回線網であり、例えば、携帯電話網である。また、公衆回線通信部３４は、通信部の一例である。 The public line communication unit 34 communicates with devices on the network N2, such as the user terminal 20 and the like, via the network N2. The network N2 is a public line network, for example, a mobile phone network. The public line communication unit 34 is an example of a communication unit.

表示部３５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ３１からの出力情報を表示する。操作部３６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部３７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。 The display unit 35 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, and the like, and displays output information from the CPU 31. The operation unit 36 is, for example, a push button, a touch panel, or the like, and accepts a user operation. The output unit 37 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or sound, and the like.

各利用者端末２０とサーバ３０とは、ネットワークＮ２を介さずに直接接続されてもよい。また、サーバ３０と各利用者端末４０とは、ネットワークＮ２を介さずに直接接続されてもよい。 Each user terminal 20 and the server 30 may be directly connected without going through the network N2. Further, the server 30 and each user terminal 40 may be directly connected without going through the network N2.

〈動作例１〉
本実施形態の動画生成再生システムの動画生成の動作例について説明する。動画生成再生システム１は、利用者に動画を視聴させている際に、利用者の脳血流量を測定し、利用者の脳活動情報を取得し、利用者に視聴させた動画、取得した脳活動情報に基づいて、新たな動画を生成する。生成する新たな動画は、利用者にとって記憶に残りやすいものとする。 <Operation example 1>
An operation example of moving image generation of the moving image generation / playback system of this embodiment will be described. The video generation / playback system 1 measures a user's cerebral blood flow and acquires information on the brain activity of the user when the user is watching the video. A new video is generated based on the activity information. The new moving image to be generated is likely to remain in memory for the user.

図６は、本実施形態の動画生成再生システムにおける動画生成の動作フローの例を示す図である。本実施形態の動画生成再生システム１の頭部装着装置１０は、それぞれ、利用者（被験者）の頭部に装着されており、脳活動状態（脳血流量）を測定できる状態である。頭部装着装置１０は、それぞれ、利用者端末２０に接続されている。頭部装着装置１０のキャリブレーション等は既に行われているとする。利用者端末２０は、サーバ３０に接続されている。利用者端末２０、サーバ３０の記憶手段には、所定の動画の動画データが、あらかじめ、格納されているとする。 FIG. 6 is a diagram illustrating an example of an operation flow of moving image generation in the moving image generation / playback system of the present embodiment. Each of the head-mounted devices 10 of the moving image generating / reproducing system 1 according to the present embodiment is mounted on the head of a user (subject) and is in a state where a brain activity state (cerebral blood flow) can be measured. Each of the head mounted devices 10 is connected to a user terminal 20. It is assumed that the head mounting device 10 has already been calibrated. The user terminal 20 is connected to the server 30. It is assumed that moving image data of a predetermined moving image is stored in advance in the storage means of the user terminal 20 and the server 30.

Ｓ１０１では、利用者端末２０は、頭部装着装置１０を装着した利用者に所定の動画の視聴を行わせる。所定の動画は、例えば、所定の商品やサービスの広告の動画である。当該動画のデータは、あらかじめ、サーバ３０等により提供される。所定行動は、特定のアプリケーションにおける特定の行動であってもよい。所定の動画には、あらかじめ、固有の識別子が割り当てられていてもよい。また、各利用者には、あらかじめ、固有の識別子が割り当てられている。利用者端末２０は、動画視聴を行わせる際、表示部２５に動画を表示させ、出力部２７に動画に伴う音声を出力させて、利用者に動画を視聴させる。動画と動画に伴う音声とを含めて、単に動画ともいう。また、利用者端末２０は、動画視聴の開始の合図及び終了の合図を、画像や音声により表示部２５や出力部２７を通じて出力してもよい。 In S101, the user terminal 20 causes a user wearing the head-mounted device 10 to view a predetermined moving image. The predetermined moving image is, for example, a moving image of an advertisement for a predetermined product or service. The moving image data is provided in advance by the server 30 or the like. The predetermined action may be a specific action in a specific application. A predetermined identifier may be assigned in advance to the predetermined moving image. Each user is assigned a unique identifier in advance. When the user terminal 20 is allowed to view a moving image, the user terminal 20 displays the moving image on the display unit 25, and causes the output unit 27 to output sound associated with the moving image, thereby allowing the user to view the moving image. Including the moving image and the sound accompanying the moving image, it is also simply called a moving image. In addition, the user terminal 20 may output a start signal and an end signal of moving image viewing through the display unit 25 and the output unit 27 as images and sounds.

ここで、動画を視聴させる対象の利用者は、あらかじめ、動画の製作者等によって抽出されている。例えば、動画の内容に関心が高いと考えられる利用者が抽出される。より具体的には、例えば、動画が、自動車の広告の動画であれば、自動車の運転免許証を有する者とする。また、例えば、動画が、高級自動車の広告の動画であれば、自動車の運転免許書を有する者、かつ、所得が所定額以上の者とする。抽出される利用者は、例えば、３０人とする。 Here, the users who are allowed to view the moving image are extracted in advance by the producer of the moving image or the like. For example, users who are considered to be highly interested in the content of the moving image are extracted. More specifically, for example, if the moving image is a moving image of an advertisement for a car, it is assumed that the person has a driving license for the car. Further, for example, if the moving image is a moving image of an advertisement for a luxury car, it is assumed that the person has a driving license for a car and has a income of a predetermined amount or more. For example, 30 users are extracted.

利用者に動画視聴を行わせている際、利用者端末２０は、頭部装着装置１０に利用者の脳活動状態を測定させる。各頭部装着装置１０は、センサ１１５及び１２５により利用者の脳活動状態を測定し、無線通信部１３を介して、当該脳活動状態を示す検出値を利用者端末２０に送信する。利用者端末２０は、無線通信部２３を介して頭部装着装置１０から脳活動状態を示す検出値（脳活動波形）を受信すると、メモリ２２等の記憶手段に格納する。ここで、検出値は、測定された値そのものでもよいし、測定された値を利用者端末２０に送信しやすいように処理した情報でもよいし、又は一定期間に測定された値をまとめた情報などでもよい。検出値は、頭部装着装置１０が頭部の血流量変化を測定した値に基づいた値であればよい。脳活動状態を示す検出値は、時系列データとして、時刻情報、動画の識別子、利用者の識別子と共に格納される。利用者端末２０は、常時、測定結果としての脳活動状態を示す検出値を取得し、動画視聴を行わせている間の脳活動状態を示す検出値を抽出してもよい。検出値（脳活動波形）は、例えば、脳血流量の時間変化、脳血流量の時間微分である。 When the user is watching a moving image, the user terminal 20 causes the head-mounted device 10 to measure the brain activity state of the user. Each head-mounted device 10 measures the brain activity state of the user using the sensors 115 and 125, and transmits a detection value indicating the brain activity state to the user terminal 20 via the wireless communication unit 13. When the user terminal 20 receives a detection value (brain activity waveform) indicating a brain activity state from the head-mounted device 10 via the wireless communication unit 23, the user terminal 20 stores it in a storage unit such as the memory 22. Here, the detected value may be the measured value itself, information processed so that the measured value can be easily transmitted to the user terminal 20, or information obtained by collecting the values measured in a certain period. Etc. The detected value may be a value based on a value obtained by measuring the blood flow change in the head by the head-mounted device 10. The detection value indicating the brain activity state is stored as time-series data together with time information, a moving image identifier, and a user identifier. The user terminal 20 may always acquire a detection value indicating a brain activity state as a measurement result, and extract a detection value indicating a brain activity state while performing video viewing. The detected value (brain activity waveform) is, for example, a temporal change in cerebral blood flow or a time derivative of cerebral blood flow.

ここでは、利用者端末２０の表示部２５に表示した動画を利用者に視聴させたが、サーバ３０の表示部３５やサーバ３０に接続された表示装置等において動画を再生して、利用者に視聴させてもよい。 Here, the user is allowed to view the moving image displayed on the display unit 25 of the user terminal 20, but the moving image is reproduced on the display unit 35 of the server 30 or a display device connected to the server 30, so that the user can You may watch it.

Ｓ１０２では、利用者端末２０は、記憶手段に格納される脳活動状態を示す検出値（脳活動波形）を、動画の識別子、利用者の識別子、時刻情報とともに、公衆回線通信部２４を介して、サーバ３０に送信する。サーバ３０は、各利用者端末２０から、脳活動状態を示す検出値、動画の識別子、利用者の識別子、時刻情報を、公衆回線通信部３４を介して、受信する。サーバ３０は、メモリ３２に、受信した脳活動状態の波形を、動画の識別子（ＩＤ）、利用者の識別子（ＩＤ）、時刻情報に対応づけて、格納する。サーバ３０のメ
モリ３２には、様々な利用者の、動画を視聴した際の、脳活動状態の波形が、蓄積される。サーバ３０は、脳活動状態の波形の時系列データと、動画の識別子と、当該動画視聴の開始時刻と、当該動画視聴の終了時刻と、当該動画視聴を行った利用者の識別子とを対応付けて、メモリ３２に格納してもよい。サーバ３０のメモリ３２には、特定の利用者が特定の動画視聴を行った際の脳活動状態の波形を抽出できるように、脳活動状態の波形等が格納されていればよい。 In S102, the user terminal 20 sends the detected value (brain activity waveform) indicating the brain activity state stored in the storage means together with the moving image identifier, user identifier, and time information via the public line communication unit 24. To the server 30. The server 30 receives, from each user terminal 20, a detection value indicating a brain activity state, a moving image identifier, a user identifier, and time information via the public line communication unit 34. The server 30 stores the received brain activity waveform in the memory 32 in association with the moving image identifier (ID), the user identifier (ID), and the time information. The memory 32 of the server 30 stores waveforms of brain activity states of various users when viewing moving images. The server 30 associates the time series data of the brain activity state waveform, the moving image identifier, the moving image viewing start time, the moving image viewing end time, and the identifier of the user who performed the moving image viewing. Then, it may be stored in the memory 32. The memory 32 of the server 30 only needs to store a brain activity state waveform or the like so that a waveform of the brain activity state when a specific user views a specific moving image can be extracted.

図７は、利用者が所定の動画の視聴を行った際の脳活動状態の時間変化の例を示す図である。図７のグラフにおいて、横軸は時刻で、縦軸は脳活動状態（ヘモグロビンの濃度変化量）である。脳活動状態の値が大きいほど、脳活動が活発であることを示す。図７のグラフでは、開始時刻ｔ＝０から終了時刻ｔ＝ｔ５までの期間で、利用者に所定の動画を視聴させている。利用者は、動画の視聴中、頭部装着装置１０により脳活動状態を測定されている。動画の視聴中の時刻ｔ＝ｔ１から時刻ｔ＝ｔ２までの期間及び時刻ｔ＝ｔ３から時刻ｔ＝ｔ４までの期間で、利用者の脳活動状態が閾値以上である（脳活動状態が高い）。脳活動状態が高い期間では、当該利用者にとって、この期間に視聴している動画に対する関心度が高いことが考えられる。開始時刻ｔ＝０から終了時刻ｔ＝ｔ５までの期間は、例えば、３０秒である。 FIG. 7 is a diagram illustrating an example of a temporal change in the brain activity state when the user views a predetermined moving image. In the graph of FIG. 7, the horizontal axis represents time, and the vertical axis represents the brain activity state (hemoglobin concentration change amount). The larger the value of the brain activity state, the more active the brain activity. In the graph of FIG. 7, the user is allowed to view a predetermined moving image during the period from the start time t = 0 to the end time t = t5. The user is measuring the brain activity state by the head-mounted device 10 while watching the moving image. During the period from time t = t1 to time t = t2 during viewing of the moving image and from time t = t3 to time t = t4, the user's brain activity state is greater than or equal to the threshold (the brain activity state is high). . In a period in which the brain activity state is high, it is considered that the user has a high degree of interest in the moving image being viewed during this period. The period from the start time t = 0 to the end time t = t5 is, for example, 30 seconds.

Ｓ１０３では、サーバ３０は、メモリ３２に蓄積される、同一の所定の動画を視聴した利用者の、所定の動画の視聴を行った際の脳活動状態の波形を抽出する（図７参照）。サーバ３０は、抽出したそれぞれの利用者の脳活動状態の波形から、脳活動状態が閾値（例えば、０．１ｍＭｍｍ）以上である期間を抽出する。図７の例では、時刻ｔ＝ｔ１から時刻ｔ＝ｔ２までの期間及び時刻ｔ＝ｔ３から時刻ｔ＝ｔ４までの期間である。さらに、サーバ３０は、それぞれの利用者の抽出された期間から、所定の割合（例えば、５０％）の利用者の脳活動状態が閾値以上である期間（高脳活動期間とする）を抽出する。ここで抽出された高脳活動期間は、所定の動画を視聴した利用者の多くの脳活動状態が高かった期間である。即ち、ここで抽出された高脳活動期間は、脳活動が活発であるため、利用者にとって関心が高く記憶に残りやすい期間であると考えられる。ここで、高脳活動期間を、脳活動状態が閾値以上である期間から所定時間Ｘ（例えば３秒）前の期間としてもよい。たとえば、脳活動状態が閾値以上である期間が、時刻ｔ＝ｔ１から時刻ｔ＝ｔ２までの期間である場合に、高脳活動期間をt１−Ｘからt２−Ｘまでとしてもよい。脳活動が活発になってから脳活動状態の波形に表れるまでにタイムラグが生じることがあるからである。所定時間Ｘは、例えば、０秒から５秒程度が好ましい。 In S103, the server 30 extracts the waveform of the brain activity state stored in the memory 32 when the user who has viewed the same predetermined moving image views the predetermined moving image (see FIG. 7). The server 30 extracts a period during which the brain activity state is greater than or equal to a threshold value (for example, 0.1 mM mm) from the extracted waveform of the brain activity state of each user. In the example of FIG. 7, there are a period from time t = t1 to time t = t2 and a period from time t = t3 to time t = t4. Further, the server 30 extracts a period (referred to as a high brain activity period) in which the brain activity state of a predetermined percentage (for example, 50%) of the users is equal to or greater than a threshold value from the extracted period of each user. . The high brain activity period extracted here is a period in which many brain activity states of users who watched a predetermined moving image were high. In other words, the high brain activity period extracted here is considered to be a period in which the user is highly interested and easily memorized because the brain activity is active. Here, the high brain activity period may be a period before the predetermined time X (for example, 3 seconds) from the period in which the brain activity state is equal to or greater than the threshold value. For example, when the period in which the brain activity state is equal to or greater than the threshold is the period from time t = t1 to time t = t2, the high brain activity period may be from t1-X to t2-X. This is because there may be a time lag from when the brain activity becomes active until it appears in the waveform of the brain activity state. For example, the predetermined time X is preferably about 0 to 5 seconds.

また、サーバ３０は、同一の所定の動画を視聴した利用者の、所定の動画の視聴を行った際の脳活動状態の波形を時刻毎に平均化して、平均化した脳活動状態の波形において、脳活動状態が閾値以上である期間を抽出して、当該期間を高脳活動期間としてもよい。 In addition, the server 30 averages the waveform of the brain activity state of the user who has viewed the same predetermined moving image at the time of viewing the predetermined moving image, and in the averaged brain activity state waveform Alternatively, a period in which the brain activity state is equal to or greater than the threshold may be extracted, and the period may be set as the high brain activity period.

Ｓ１０４では、サーバ３０は、新たな動画を生成する。サーバ３０は、所定の動画から、Ｓ１０３で抽出された高脳活動期間に対応する部分の期間（部分期間）の動画（部分動画）を抽出する。サーバ３０は、抽出された部分動画を結合して、１つの新たな動画を生成する。サーバ３０は、抽出された部分動画が１つの部分である場合には、当該部分動画を新たな動画とする。サーバ３０は、生成された新たな動画の動画データを記憶手段に格納する。これにより、利用者にとって関心の高い部分を含む動画が生成される。利用者の脳活動が活発であり関心が高い期間の動画（新たな動画）を利用者に見せることで、動画が利用者の記憶に残りやすくなると考えられる。 In S104, the server 30 generates a new moving image. The server 30 extracts a moving image (partial moving image) of a period (partial period) corresponding to the high brain activity period extracted in S103 from the predetermined moving image. The server 30 combines the extracted partial moving images to generate one new moving image. When the extracted partial moving image is one part, the server 30 sets the partial moving image as a new moving image. The server 30 stores the generated moving image data of the new moving image in the storage unit. As a result, a moving image including a portion of high interest to the user is generated. It is considered that the moving image is likely to remain in the user's memory by showing the moving image (new moving image) during a period in which the user's brain activity is active and high in interest to the user.

また、例えば、所定の動画が広告（ＣＭ等）である場合、所定の動画の開始から終了までの全期間のうちの一部分を抽出して結合した部分動画では、利用者に広告の内容を理解させることが難しくなることがある。即ち、利用者が何の商品やサービスの広告の動画な
のかを理解できないおそれがある。広告の内容を理解させずに関心度が高い部分の部分動画を見せても、広告としての効果を期待することが難しい。広告としての効果とは、例えば、広告される商品やサービスの購入や利用を促進すること等である。そこで、サーバ３０は、所定の動画の後に部分動画を結合した動画を新たな動画とする。これにより利用者に広告の内容を理解させつつ、記憶に残りやすくすることができ、広告の効果をより高めることができる。当該新たな動画の再生時間は、所定の動画の２回分の再生時間よりも短くなる。しかし、当該新たな動画では、関心の高い部分が繰り返されることになるため、当該新たな動画を利用者に視聴させると、所定の動画を２回分視聴させたときと同様の広告効果を期待できる。当該新たな動画の視聴は、動画２回分の再生時間よりも短い時間で、動画２回分の視聴と同様の効果を得られる。動画によるインターネット広告等では、動画の再生時間により広告を出す側が支払う料金が決定されることがある。より短い時間の広告動画とすることにより、広告費用の削減をすることができる。 Also, for example, when a predetermined video is an advertisement (CM, etc.), the partial video obtained by extracting and combining a part of the entire period from the start to the end of the predetermined video understands the content of the advertisement to the user It may be difficult to let That is, there is a possibility that the user cannot understand what kind of product or service advertisement is a moving image. Even if a partial video of a high interest level is shown without understanding the content of the advertisement, it is difficult to expect an effect as an advertisement. The effect as an advertisement is, for example, promoting the purchase and use of a advertised product or service. Therefore, the server 30 sets a moving image in which a partial moving image is combined after a predetermined moving image as a new moving image. As a result, it is possible to make the user understand the contents of the advertisement and make it easy to remain in the memory, and the effect of the advertisement can be further enhanced. The reproduction time of the new moving image is shorter than the reproduction time for two times of the predetermined moving image. However, in the new video, a portion of high interest is repeated. Therefore, when the user watches the new video, the same advertising effect as when the predetermined video is viewed twice can be expected. . The viewing of the new moving image takes a time shorter than the playback time for two moving images, and the same effect as the viewing of two moving images can be obtained. In the case of Internet advertisement using a moving image, the fee paid by the advertising side may be determined depending on the reproduction time of the moving image. It is possible to reduce the advertising cost by making the advertising moving image in a shorter time.

新たな動画（例えば、広告動画）を見せられる対象者は、脳活動状態を計測された利用者以外の者も含まれる。脳活動状態を計測された利用者以外の者であっても、当該利用者と同様の条件の者であれば、所定の動画を見た際に、同様の脳活動状態になると考えられる。 The target person who can show a new moving image (for example, advertisement moving image) includes persons other than the user whose brain activity state is measured. Even a person other than the user whose brain activity state has been measured is considered to have the same brain activity state when he / she has the same conditions as the user when he / she sees a predetermined moving image.

サーバ３０は、所定の動画の後に結合する部分動画の再生速度を１倍速よりも速くしてもよい。これにより動画の再生時間をより短くすることができる。このとき、新たな動画を視聴する利用者にとっては、繰り返される部分が速く再生されても直前に一度見ているため内容を理解することができるものと考えられる。 The server 30 may make the playback speed of the partial moving image combined after the predetermined moving image faster than 1 × speed. Thereby, the reproduction time of a moving image can be shortened. At this time, it is considered that a user who views a new moving image can understand the contents because he / she watched it immediately before the repeated portion is played back quickly.

また、スローモーション効果として部分動画の再生速度を１倍速よりも遅くしたり、抽出した区間（期間）を静止画にして再生したり、静止画にキャプチャーテキストを挿入してもよい。静止画は、抽出した期間の動画の任意の静止画（例えば、当該期間で脳活動状態が最も高い時刻における動画の画面）、抽出した期間の所定時間前（例えば、５秒前）の期間の動画の任意の静止画などとすることができる。 Further, as a slow motion effect, the playback speed of the partial moving image may be slower than 1 × speed, the extracted section (period) may be played back as a still image, or captured text may be inserted into the still image. A still image is an arbitrary still image of a moving image of the extracted period (for example, a moving image screen at the time when the brain activity state is the highest in the period), a predetermined time before the extracted period (for example, 5 seconds before) It can be an arbitrary still image of a moving image.

サーバ３０で生成された新たな動画は、サーバ３０によって、利用者端末４０等に送信される。利用者端末４０は、サーバ３０から生成された動画を受信すると、利用者の操作等に基づいて、当該動画を再生する。 The new video generated by the server 30 is transmitted by the server 30 to the user terminal 40 or the like. When the user terminal 40 receives the moving image generated from the server 30, the user terminal 40 reproduces the moving image based on the user's operation or the like.

〈動作例２〉
本実施形態の動画生成再生システムの動画生成の動作の別の例について説明する。動画生成再生システム１は、動作例１と同様に、利用者に動画を視聴させている際に、利用者の脳血流量を測定し、利用者の脳活動情報を取得し、利用者に視聴させた動画、取得した脳活動情報に基づいて、動画再生情報を生成する。動画再生情報は、動画の再生方法を示す情報であり、例えば、動画の再生期間や再生速度等を示す情報である。動画を再生する利用者端末は、動画のデータ及び動画再生情報を取得して、動画再生情報に従って動画を再生する。 <Operation example 2>
Another example of the moving image generation operation of the moving image generation / playback system of this embodiment will be described. As in the first operation example, the moving image generation / playback system 1 measures the cerebral blood flow of the user and acquires the user's brain activity information when the user is watching the moving image. Video reproduction information is generated based on the acquired video and acquired brain activity information. The moving image reproduction information is information indicating a moving image reproduction method, for example, information indicating a reproduction period or a reproduction speed of the moving image. A user terminal that reproduces a moving image acquires moving image data and moving image reproduction information, and reproduces the moving image according to the moving image reproduction information.

図８は、本実施形態の動画生成再生システムにおける動画生成の動作フローの別の例を示す図である。本実施形態の動画生成再生システム１の頭部装着装置１０は、それぞれ、利用者（被験者）の頭部に装着されており、脳活動状態（脳血流量）を測定できる状態である。頭部装着装置１０は、それぞれ、利用者端末２０に接続されている。頭部装着装置１０のキャリブレーション等は既に行われているとする。利用者端末２０は、サーバ３０に接続されている。ここでは、動作例１と同様の点については、説明を省略する。 FIG. 8 is a diagram illustrating another example of an operation flow of moving image generation in the moving image generation / playback system of the present embodiment. Each of the head-mounted devices 10 of the moving image generating / reproducing system 1 according to the present embodiment is mounted on the head of a user (subject) and is in a state where a brain activity state (cerebral blood flow) can be measured. Each of the head mounted devices 10 is connected to a user terminal 20. It is assumed that the head mounting device 10 has already been calibrated. The user terminal 20 is connected to the server 30. Here, the description of the same points as in the operation example 1 is omitted.

Ｓ２０１からＳ２０３までの動作は、動作例１のＳ１０１からＳ１０３までの動作と同
様である。 The operations from S201 to S203 are the same as the operations from S101 to S103 in Operation Example 1.

Ｓ２０４では、サーバ３０は、所定の動画に対する動画再生情報を生成する。サーバ３０は、Ｓ２０３で抽出された高脳活動期間に対応する動画の部分の期間（部分期間）を、所定の動画において再生時に再生する期間（再生期間）として含む動画再生情報を生成する。動画再生情報には、動画そのものの動画データは含まれない。よって、動画再生情報のデータの大きさは、動画データに比べて非常に小さい。サーバ３０は、複数の部分期間が抽出されている場合には、当該複数の部分期間を再生期間として含む動画再生情報を生成する。当該部分期間は、例えば、動画の部分期間の開始時刻と終了時刻とで特定される。また、当該部分期間は、動画の部分期間の開始時刻と再生時間とで特定されてもよい。動画再生情報に複数の部分期間が含まれる場合には、動画再生情報において、部分期間の再生順序が指定されてもよい。再生順序は、例えば、各部分期間のうち開始時刻が早いものから順に再生するように指定される。これにより、利用者にとって関心の高い部分を再生することを指定する動画再生情報が生成される。動画再生情報に従って所定の動画を再生することで、利用者の脳活動が活発であり関心が高い期間の動画を利用者に見せることができ、動画が利用者の記憶に残りやすくなると考えられる。サーバ３０は、生成された動画再生情報を所定の動画の動画データと対応付けて記憶手段に格納する。 In S204, the server 30 generates moving image reproduction information for a predetermined moving image. The server 30 generates moving image reproduction information including the period (partial period) of the moving image corresponding to the high brain activity period extracted in S203 as a period (reproduction period) to be reproduced during reproduction of a predetermined moving image. The video playback information does not include video data of the video itself. Therefore, the data size of the moving image reproduction information is very small compared to the moving image data. When a plurality of partial periods are extracted, the server 30 generates moving image reproduction information including the plurality of partial periods as a reproduction period. The partial period is specified by, for example, the start time and end time of the partial period of the moving image. The partial period may be specified by the start time and the playback time of the partial period of the moving image. When the moving image reproduction information includes a plurality of partial periods, the reproduction order of the partial periods may be specified in the moving image reproduction information. For example, the reproduction order is specified so that reproduction is performed in order from the earliest start time of each partial period. Thereby, the moving image reproduction information for designating reproduction of the portion of high interest to the user is generated. By playing a predetermined moving image according to the moving image reproduction information, it is considered that a moving image of a period in which the user's brain activity is active and highly interested can be shown to the user, and the moving image is likely to remain in the user's memory. The server 30 stores the generated moving image reproduction information in a storage unit in association with moving image data of a predetermined moving image.

また、サーバ３０は、所定の動画の再生後に部分動画を再生させるため、動画再生情報に、所定の動画を再生する期間（再生期間）として、所定の動画の開始から終了までの全期間と、部分期間とを含めてもよい。 In addition, since the server 30 plays the partial video after playing the predetermined video, the video playback information includes the entire period from the start to the end of the predetermined video as a period (playback period) for playing the predetermined video, Partial periods may also be included.

また、サーバ３０は、動画の再生速度や、部分区間を静止画として再生する情報を、動画再生情報に含めてもよい。 Further, the server 30 may include the moving image reproduction speed and information for reproducing a partial section as a still image in the moving image reproduction information.

サーバ３０で生成された動画再生情報は、所定の動画のデータとともに、サーバ３０によって、利用者端末４０等に送信される。利用者端末４０は、利用者の操作等により、サーバ３０から所定の動画の動画データと動画再生情報とを受信すると、動画再生情報に従って、所定の動画を再生する。これにより、サーバ３０が新たな動画のデータを作成することなく、利用者端末４０において、指定された再生方法で、所定の動画を再生することができる。 The moving image reproduction information generated by the server 30 is transmitted by the server 30 to the user terminal 40 and the like together with predetermined moving image data. When the user terminal 40 receives moving image data and moving image reproduction information of a predetermined moving image from the server 30 by a user operation or the like, the user terminal 40 reproduces the predetermined moving image according to the moving image reproduction information. As a result, the server 30 can reproduce the predetermined moving image by the designated reproduction method on the user terminal 40 without creating new moving image data.

〈動作例３〉
本実施形態の動画生成再生システムの動画再生の動作例について説明する。ここでは、利用者端末４０が、所定の動画の動画データ及び動作例２のように生成された動画再生情報を取得して、動画を再生する。利用者端末４０には、あらかじめ、動画再生情報に従って動画を再生するプログラムが導入されているとする。 <Operation example 3>
An operation example of moving image reproduction of the moving image generating / reproducing system of the present embodiment will be described. Here, the user terminal 40 acquires the moving image data of the predetermined moving image and the moving image reproduction information generated as in the operation example 2, and reproduces the moving image. It is assumed that a program for reproducing a moving image according to the moving image reproduction information is installed in the user terminal 40 in advance.

図９は、本実施形態の動画生成再生システムにおける動画再生の動作フローの例を示す図である。ここでは、サーバ３０は、動作例２のように所定の動画に対する動画再生情報を生成しているとする。 FIG. 9 is a diagram showing an example of an operation flow of moving image reproduction in the moving image generating / reproducing system of the present embodiment. Here, it is assumed that the server 30 generates moving image reproduction information for a predetermined moving image as in the second operation example.

Ｓ３０１では、利用者端末４０は、サーバ３０から、所定の動画の動画データ及び当該動画の動画再生情報を取得する。当該取得は、利用者端末４０の操作部４６に対する利用者による入力操作などを契機として行われる。利用者端末４０は、利用者の入力操作などに基づいて、所定の動画の動画データ及び当該動画の動画再生情報をサーバ３０に要求する。サーバ３０は、利用者端末４０から当該要求を受信すると、記憶手段から所定の動画の動画データ及び当該動画の動画再生情報を抽出し、公衆回線通信部３４を介して、利用者端末４０に送信する。利用者端末４０は、サーバ３０から、公衆回線通信部４４を介して、所定の動画の動画データ、当該動画の動画再生情報を受信する。利用者端末４０は、
受信した所定の動画の動画データ、動画再生情報をメモリ４２等の記憶手段に格納する。 In S <b> 301, the user terminal 40 acquires moving image data of a predetermined moving image and moving image reproduction information of the moving image from the server 30. The acquisition is performed in response to an input operation performed by the user on the operation unit 46 of the user terminal 40. The user terminal 40 requests the server 30 for moving image data of a predetermined moving image and moving image reproduction information of the moving image based on a user input operation or the like. When the server 30 receives the request from the user terminal 40, the server 30 extracts the moving image data of the predetermined moving image and the moving image reproduction information of the moving image from the storage unit, and transmits the moving image data to the user terminal 40 via the public line communication unit 34. To do. The user terminal 40 receives moving image data of a predetermined moving image and moving image reproduction information of the moving image from the server 30 via the public line communication unit 44. The user terminal 40
The received moving image data and moving image reproduction information of a predetermined moving image are stored in a storage unit such as the memory 42.

Ｓ３０２では、利用者端末４０は、動画再生情報に基づいて、所定の動画を再生する。動画再生情報には、動画を再生する期間、再生速度等の情報が含まれる。利用者端末４０は、当該情報に従って、所定の動画を再生する。利用者端末４０は、例えば、再生する期間（再生期間）として、開始時刻１０秒から終了時刻１５秒までの期間が指定されている場合には、記憶手段に格納される動画データの動画のうち当該期間の動画を、表示部４５や出力部４７を通じて再生する。また、利用者端末４０は、動画再生情報で再生速度が指定されている場合には、当該再生速度で、動画を再生する。これにより、サーバ３０が新たな動画のデータを作成することなく、利用者端末４０において、指定された再生方法で、所定の動画を再生することができる。また、動画の再生速度は、利用者端末４０の利用者の入力操作によって、変更されてもよい。 In S302, the user terminal 40 reproduces a predetermined moving image based on the moving image reproduction information. The moving image reproduction information includes information such as a period during which the moving image is reproduced and a reproduction speed. The user terminal 40 reproduces a predetermined moving image according to the information. For example, when a period from a start time of 10 seconds to an end time of 15 seconds is designated as a playback period (playback period), the user terminal 40 is included in the moving image data stored in the storage unit. The moving image of the period is reproduced through the display unit 45 and the output unit 47. Further, when the playback speed is specified by the video playback information, the user terminal 40 plays back the video at the playback speed. As a result, the server 30 can reproduce the predetermined moving image by the designated reproduction method on the user terminal 40 without creating new moving image data. Further, the moving image playback speed may be changed by an input operation of the user of the user terminal 40.

所定の動画の動画データ、新たな動画の動画データ等は、サーバ３０から利用者端末２０や利用者端末４０に対して、ストリーミング配信されてもよい。 The moving image data of a predetermined moving image, the moving image data of a new moving image, or the like may be streamed from the server 30 to the user terminal 20 or the user terminal 40.

（実施形態の作用、効果）
本実施形態の動画生成再生システム１において、利用者端末２０は、利用者に所定の動画の視聴を行わせている際の脳活動状態を、頭部装着装置１０によって測定する。サーバ３０は、利用者端末２０から送信される複数の利用者の動画視聴時の脳活動状態を取得する。サーバ３０は、測定された複数の脳活動状態に基づいて、動画の視聴において脳活動状態が高い期間を抽出する。サーバ３０は、より多くの利用者の動画の視聴において脳活動状態が高い部分の動画を抽出し、結合して新たな動画を生成する。 (Operation and effect of the embodiment)
In the moving image generating / reproducing system 1 of the present embodiment, the user terminal 20 measures the brain activity state when the user is viewing a predetermined moving image by the head-mounted device 10. The server 30 acquires the brain activity state at the time of viewing the moving images of the plurality of users transmitted from the user terminal 20. The server 30 extracts a period in which the brain activity state is high in the viewing of the moving image, based on the plurality of measured brain activity states. The server 30 extracts a moving image of a portion having a high brain activity state when viewing a moving image of more users, and generates a new moving image by combining the extracted moving images.

動画生成再生システム１によれば、利用者が動画を視聴した際の客観的な情報（脳活動状態）に基づいて、利用者にとって記憶に残りやすい動画を生成することができる。 According to the moving image generating / reproducing system 1, it is possible to generate a moving image that is likely to remain in memory for the user based on objective information (brain activity state) when the user views the moving image.

また、本実施形態の動画生成再生システム１において、サーバ３０は、より多くの利用者の動画の視聴において脳活動状態が高い部分の期間に対応する動画の部分期間を再生期間として含む動画再生情報として生成し、動画を再生する利用者端末４０に、動画の動画データとともに、送信する。利用者端末４０は、動画を動画データと動画再生情報とに基づいて、動画を再生する。これにより、動画生成再生システム１は、部分動画を結合した新たな動画等を生成することなく、多くの利用者の動画の視聴において脳活動状態が高い部分について考慮された動画を再生することができる。 Further, in the video generation / playback system 1 of the present embodiment, the server 30 includes the video playback information including a partial period of the video corresponding to a period of a part having a high brain activity state as a playback period when viewing more users' videos. And transmitted to the user terminal 40 that reproduces the moving image together with the moving image data of the moving image. The user terminal 40 reproduces the moving image based on the moving image data and the moving image reproduction information. As a result, the moving image generation / playback system 1 can play back a moving image that takes into account a portion having a high brain activity state in viewing of moving images of many users without generating a new moving image or the like that combines the partial moving images. it can.

上記の実施形態の構成は、可能な限りこれらを組み合わせて実施され得る。 The configurations of the above embodiments can be implemented by combining them as much as possible.

〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。 <Computer-readable recording medium>
A program for causing a computer or other machine or device (hereinafter, a computer or the like) to realize any of the above functions can be recorded on a recording medium that can be read by the computer or the like. The function can be provided by causing a computer or the like to read and execute the program of the recording medium.

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。 Here, a computer-readable recording medium is a recording medium that stores information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read from a computer or the like. Say. In such a recording medium, elements constituting a computer such as a CPU and a memory may be provided to cause the CPU to execute a program.

また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、Ｄ
ＡＴ、８mmテープ、メモリカード等がある。 Among such recording media, those removable from a computer or the like include, for example, a flexible disk, a magneto-optical disk, a CD-ROM, a CD-R / W, a DVD, a D, and the like.
There are AT, 8mm tape, memory card, etc.

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。 Moreover, there are a hard disk, a ROM, and the like as a recording medium fixed to a computer or the like.

１：動画生成システム
１０：頭部装着装置
１１：制御部
１１５：センサ
１２５：センサ
１３：無線通信部
２０：利用者端末
２１：ＣＰＵ
２２：メモリ
２３：無線通信部
２４：公衆回線通信部
２５：表示部
２６：操作部
２７：出力部
２８：撮像部
２９：測位部
２Ａ：物理センサ部
３０：サーバ
３１：ＣＰＵ
３２：メモリ
３４：公衆回線通信部
３５：表示部
３６：操作部
３７：出力部
４０：利用者端末
４１：ＣＰＵ
４２：メモリ
４３：無線通信部
４４：公衆回線通信部
４５：表示部
４６：操作部
４７：出力部
４８：撮像部
４９：測位部
４Ａ：物理センサ部 1: Moving image generation system 10: Head mounted device 11: Control unit 115: Sensor 125: Sensor 13: Wireless communication unit 20: User terminal 21: CPU
22: Memory 23: Wireless communication unit 24: Public line communication unit 25: Display unit 26: Operation unit 27: Output unit 28: Imaging unit 29: Positioning unit 2A: Physical sensor unit 30: Server 31: CPU
32: Memory 34: Public line communication unit 35: Display unit 36: Operation unit 37: Output unit 40: User terminal 41: CPU
42: Memory 43: Wireless communication unit 44: Public line communication unit 45: Display unit 46: Operation unit 47: Output unit 48: Imaging unit 49: Positioning unit 4A: Physical sensor unit

Claims

A brain activity state indicating a degree of brain activity based on a detected value obtained by detecting blood flow in the heads of a plurality of users, and a predetermined video that each of the plurality of users views when the detected value is detected. A storage unit for storing;
Based on the brain activity states of the plurality of users, a partial moving image that is a moving image of one or more partial periods is extracted from the entire period of the predetermined moving image, and the first moving image is combined with the extracted partial moving images. A moving image generating apparatus comprising a calculating unit for generating.

The calculation unit extracts one or more periods in which the brain activity state when viewing the predetermined video of a predetermined percentage or more of the plurality of users is equal to or greater than a predetermined threshold, Extracting a partial period of video corresponding to the one or more periods from the entire period of the video as the partial video;
The moving image generating apparatus according to claim 1.

The calculation unit generates a second moving image that combines the predetermined moving image and the first moving image.
The moving image generating device according to claim 1.

A brain activity state indicating a degree of brain activity based on a detected value obtained by detecting blood flow in the heads of a plurality of users, and a predetermined video that each of the plurality of users views when the detected value is detected. A storage unit for storing;
Based on the brain activity states of the plurality of users, one or more partial periods are extracted from the entire period of the predetermined moving image, and moving image reproduction information including the extracted partial period as a reproduction period of the predetermined moving image is generated A moving image generating apparatus including a calculating unit.

The calculation unit extracts one or more periods in which the brain activity state when viewing the predetermined video of a predetermined percentage or more of the plurality of users is equal to or greater than a predetermined threshold, A partial period corresponding to the one or more periods of the entire period of the video is set as the playback period of the predetermined video.
The moving image generating apparatus according to claim 4.

The calculation unit sets the entire period and the partial period as the reproduction period.
The moving image generating apparatus according to claim 4 or 5.

A video generation device, and a video generation / playback system comprising a video playback device,
The moving image generating device is
A brain activity state indicating a degree of brain activity based on a detected value obtained by detecting blood flow in the heads of a plurality of users, and a predetermined video that each of the plurality of users views when the detected value is detected. A storage unit for storing;
Based on the brain activity states of the plurality of users, one or more partial periods are extracted from the entire period of the predetermined moving image, and moving image reproduction information including the extracted partial period as a reproduction period of the predetermined moving image is generated A calculating unit to
A communication unit that transmits the predetermined video and the video playback information to the video playback device,
The video playback device is
A communication unit that receives the predetermined video and the video playback information from the video generation device;
Based on the video playback information and the predetermined video, a control unit that plays back the video of the playback period included in the video playback information of the predetermined video,
Video generation and playback system.

Computer
Based on the brain activity state of the plurality of users indicating the degree of brain activity based on the detected value obtained by detecting the blood flow in the heads of the plurality of users stored in the storage unit, the storage unit stores the storage unit. When a detection value is detected, a partial video that is a video of one or more partial periods is extracted from the entire period of the predetermined video that each of the plurality of users views, and the extracted partial videos are combined to form a first Generate videos,
A video generation method that performs this.

Computer
Based on the brain activity state of the plurality of users indicating the degree of brain activity based on the detected value obtained by detecting the blood flow in the heads of the plurality of users stored in the storage unit, the storage unit stores the storage unit. When a detection value is detected, a partial video that is a video of one or more partial periods is extracted from the entire period of the predetermined video that each of the plurality of users views, and the extracted partial videos are combined to form a first Generate videos,
A video generation program to do that.