JP2019216355A - Information processing apparatus, information processing method, and information processing program - Google Patents

Information processing apparatus, information processing method, and information processing program Download PDF

Info

Publication number
JP2019216355A
JP2019216355A JP2018112463A JP2018112463A JP2019216355A JP 2019216355 A JP2019216355 A JP 2019216355A JP 2018112463 A JP2018112463 A JP 2018112463A JP 2018112463 A JP2018112463 A JP 2018112463A JP 2019216355 A JP2019216355 A JP 2019216355A
Authority
JP
Japan
Prior art keywords
user
moving image
highlight
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018112463A
Other languages
Japanese (ja)
Other versions
JP7158902B2 (en
Inventor
直晃 山下
Naoaki Yamashita
直晃 山下
直也 中嶋
Naoya Nakajima
直也 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LY Corp
Original Assignee
Z Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Z Holdings Corp filed Critical Z Holdings Corp
Priority to JP2018112463A priority Critical patent/JP7158902B2/en
Publication of JP2019216355A publication Critical patent/JP2019216355A/en
Application granted granted Critical
Publication of JP7158902B2 publication Critical patent/JP7158902B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

To provide an information processing apparatus, an information processing method, and an information processing program capable of appropriately detecting a user's highlight.SOLUTION: An information processing apparatus (server apparatus 10) includes a scene specifying unit (moving image analyzing unit 136) that specifies a plurality of scenes included in a moving image, a user characteristic acquisition unit (user registration unit 131, viewing tendency determination unit 132) that acquires user characteristic information related to the characteristics of a user who views a moving image, and a highlight detection unit 137 that detects a highlight according to the characteristics of the user from among a plurality of scenes in the moving image.SELECTED DRAWING: Figure 2

Description

本発明は、動画を処理する情報処理装置、情報処理方法、及び情報処理プログラムに関する。   The present invention relates to an information processing device that processes a moving image, an information processing method, and an information processing program.

従来、動画内の所定位置に広告を挿入する情報処理装置が知られている(例えば特許文献1参照)。
特許文献1に記載の情報処理装置(動画像解析装置)は、動画を解析して、シーンの切り替わりの位置を検出し、シーンの切り替わりの位置にCM(広告)を挿入する。
2. Description of the Related Art Conventionally, an information processing device that inserts an advertisement at a predetermined position in a moving image has been known (for example, see Patent Literature 1).
The information processing device (moving image analysis device) described in Patent Literature 1 analyzes a moving image, detects a position at which a scene is switched, and inserts a CM (advertisement) at the position at which the scene is switched.

特開2010−219929号公報Japanese Patent Application Laid-Open No. 2010-219929

上記特許文献1に記載の装置では、シーンの切り替わりの全部または一部にCMを挿入することで、シーンの途中でCMが挿入される不都合を抑制することができる。しかしながら、シーンの切り替わりの全部にCMを挿入すると、シーンが切り替わるごとにCMが挿入されることになり、ユーザの動画視聴を阻害してしまう。
また、シーンの一部にCMを挿入する態様として、特許文献1では、再生開始から15分間隔でCMを挿入している。しかし、ユーザによっては、動画の途中をスキップし、見所のみを視聴するユーザも存在し、この場合、見所のシーンがCMの挿入対象ではない場合、ユーザにCMを視聴させることができない。すなわち、ユーザ毎に動画に対する見所が異なる場合があり、ユーザにとっての見所を判定できないと、ユーザにCMを視聴させることができず、広告効果が低下する。
In the device described in Patent Document 1, by inserting a CM into all or a part of the scene change, it is possible to suppress the inconvenience of inserting the CM in the middle of the scene. However, if a CM is inserted into all scene changes, a CM is inserted every time the scene is changed, which hinders the user from viewing moving images.
Further, as a mode of inserting a CM into a part of a scene, in Patent Document 1, a CM is inserted at an interval of 15 minutes from the start of reproduction. However, some users skip the middle of the moving image and view only the highlights. In this case, if the scene of the highlight is not a CM insertion target, the user cannot view the CM. That is, the highlights of the moving image may be different for each user, and if the highlights for the user cannot be determined, the user cannot watch the CM and the advertising effect is reduced.

本発明は、ユーザの見所を適切に検出できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。   An object of the present invention is to provide an information processing apparatus, an information processing method, and an information processing program that can appropriately detect a user's highlight.

本発明の情報処理装置は、動画に含まれる複数のシーンを特定するシーン特定部と、前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部と、前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた見所を検出する見所検出部と、を備えることを特徴とする。   An information processing apparatus according to the present invention includes a scene specifying unit that specifies a plurality of scenes included in a moving image, a user characteristic obtaining unit that obtains user characteristic information on characteristics of a user who views the moving image, and a plurality of And a highlight detection unit that detects highlights according to the characteristics of the user in the scene.

本発明では、ユーザの特性に基づいて、動画内の見所となるシーンを検出するため、ユーザ毎に最適な見所を検出することができる。また、このような見所に対して広告を挿入することで、広告効果の向上を図ることができる。   According to the present invention, a scene that becomes a highlight in a moving image is detected based on the characteristics of the user, so that an optimum highlight can be detected for each user. In addition, by inserting an advertisement for such a highlight, the advertisement effect can be improved.

第一実施形態の情報処理システムの概略構成を示す図。FIG. 1 is a diagram illustrating a schematic configuration of an information processing system according to a first embodiment. 第一実施形態の情報処理装置であるサーバ装置の概略構成を示すブロック図。FIG. 2 is a block diagram illustrating a schematic configuration of a server device that is the information processing device according to the first embodiment. 第一実施形態の情報処理方法に係る動画のシーン特定処理のフローチャート。5 is a flowchart of a moving image scene identification process according to the information processing method of the first embodiment. 第一実施形態の情報処理方法に係る動画送信処理のフローチャート。5 is a flowchart of a moving image transmission process according to the information processing method of the first embodiment. 第一実施形態の情報処理方法に係る動画送信処理のフローチャート。5 is a flowchart of a moving image transmission process according to the information processing method of the first embodiment. 第一実施形態の情報処理方法に係る見所検出処理のフローチャート。5 is a flowchart of a highlight detection process according to the information processing method of the first embodiment. 第一実施形態においてユーザ端末に表示される動画再生画面の一例を示す図。FIG. 4 is a diagram illustrating an example of a moving image playback screen displayed on a user terminal in the first embodiment.

[第一実施形態]
以下、本発明に係る第一実施形態について説明する。
[1.情報処理システムの全体構成]
図1は、本実施形態の情報処理システム1の概略構成を示す図である。
図1に示すように、情報処理システム1は、本発明の情報処理装置であるサーバ装置10と、サーバ装置10にインターネットを介して接続されるユーザ端末20とを備えている。
この情報処理システム1では、ユーザ端末20からサーバ装置10に対して、動画の送信を要求する動画送信要求を送信することで、サーバ装置10は、要求送信元のユーザ端末20に動画(動画コンテンツ)を送信する。この際、サーバ装置10は、ユーザ毎に動画における見所を検出し、見所を示す情報と、動画に挿入する広告とを、動画とともに送信して、ユーザ端末20でストリーミング再生させる。ここで、サーバ装置10は、ユーザ端末20においてユーザが動画を最初から再生する旨の再生操作を実施した場合に、動画の開始位置に広告を挿入して動画を再生させる。また、サーバ装置10は、ユーザ端末20においてユーザが動画の再生位置を見所の位置に移動させるジャンプ操作(スキップ操作やバック操作)を実施した際に、動画の見所の部分に広告を挿入し、見所のシーンから動画を再生させる。
以下、このような情報処理システム1の各構成について詳細に説明する。
[First embodiment]
Hereinafter, a first embodiment according to the present invention will be described.
[1. Overall configuration of information processing system]
FIG. 1 is a diagram illustrating a schematic configuration of an information processing system 1 according to the present embodiment.
As shown in FIG. 1, the information processing system 1 includes a server device 10 as an information processing device of the present invention, and a user terminal 20 connected to the server device 10 via the Internet.
In this information processing system 1, the server device 10 transmits a moving image transmission request for requesting transmission of a moving image from the user terminal 20 to the server device 10. ). At this time, the server device 10 detects a highlight in the moving image for each user, transmits information indicating the highlight and an advertisement to be inserted into the moving image together with the moving image, and causes the user terminal 20 to perform streaming reproduction. Here, when the user performs a reproduction operation to reproduce the moving image from the beginning at the user terminal 20, the server device 10 inserts an advertisement at the start position of the moving image and reproduces the moving image. Further, when the user performs a jump operation (skip operation or back operation) for moving the reproduction position of the moving image to the position of the highlight on the user terminal 20, the server device 10 inserts an advertisement into the highlight portion of the moving image, Play a movie from the highlight scene.
Hereinafter, each configuration of the information processing system 1 will be described in detail.

[2.サーバ装置10の構成]
図2は、サーバ装置10の概略構成を示すブロック図である。
サーバ装置10は、コンピューターにより構成され、本発明の情報処理装置として機能する。このサーバ装置10は、通信部11と、記憶部12と、制御部13と、等を含んで構成されている。
通信部11は、例えばLAN等を介してネットワーク(インターネット)に接続されており、ユーザ端末20等と通信する。
[2. Configuration of server device 10]
FIG. 2 is a block diagram illustrating a schematic configuration of the server device 10.
The server device 10 is configured by a computer and functions as the information processing device of the present invention. The server device 10 includes a communication unit 11, a storage unit 12, a control unit 13, and the like.
The communication unit 11 is connected to a network (Internet) via, for example, a LAN or the like, and communicates with the user terminal 20 or the like.

[2−1.記憶部12の構成]
記憶部12は、例えばメモリ、ハードディスク等により構成されたデータ記録装置である。この記憶部12は、ユーザ情報記憶部(ユーザDB121)、グループ記憶部(グループDB122)、動画情報記憶部(動画DB123)、及び広告記憶部(広告DB124)等を備えている。なお、ここでは、記憶部12にユーザDB121、グループDB122、動画DB123、及び広告DB124が設けられる例を示すが、サーバ装置10とネットワークを介して通信可能に接続されたデータサーバにこれらのデータベースが設けられ、適宜必要なデータをダウンロードする構成としてもよい。
また、記憶部12には、サーバ装置10を制御するための情報処理プログラム(ソフトウェア)が記録されている。
[2-1. Configuration of Storage Unit 12]
The storage unit 12 is a data recording device including, for example, a memory and a hard disk. The storage unit 12 includes a user information storage unit (user DB 121), a group storage unit (group DB 122), a moving image information storage unit (moving image DB 123), an advertisement storage unit (advertisement DB 124), and the like. Here, an example is shown in which the storage unit 12 is provided with the user DB 121, the group DB 122, the moving image DB 123, and the advertisement DB 124, but these databases are stored in a data server communicably connected to the server device 10 via a network. A configuration may be provided to download necessary data as needed.
The storage unit 12 stores an information processing program (software) for controlling the server device 10.

[2−1−1.ユーザDB121に記憶される情報]
ユーザDB121は、本システムを利用するユーザに関する各種情報を記録したデータベースであり、個々のユーザ毎のユーザ情報が記憶されている。
このユーザ情報には、例えば、ユーザID、ユーザ名、ユーザ特性情報、視聴履歴、所属グループ等が含まれる。
ユーザIDは、ユーザを識別するための識別情報である。ユーザ名は、ユーザIDで特定されるユーザのアカウント名である。
[2-1-1. Information stored in user DB 121]
The user DB 121 is a database that records various types of information on users who use the system, and stores user information for each individual user.
The user information includes, for example, a user ID, a user name, user characteristic information, a viewing history, a belonging group, and the like.
The user ID is identification information for identifying a user. The user name is an account name of the user specified by the user ID.

ユーザ特性情報は、ユーザの特性を示す様々な情報であり、例えば、ユーザ属性や、動画視聴傾向等が含まれる。
ユーザ属性は、例えば性別、年齢、居所、職業等のユーザを特定する個人情報の他、ユーザの趣味、特技、好物等が記録される。また、ユーザ属性として、ユーザの行動履歴が記録されていてもよい。行動履歴としては、例えば、検索エンジンを使用した際の検索キーワードの履歴や、ネットショッピングやネットオークションでの売買履歴等が挙げられる。また、クレジットカードの利用履歴や、POS端末からインターネットを介して取得される売買履歴、GPS等の位置検出装置によるユーザの移動経路履歴等が含まれてもよい。
The user characteristic information is various information indicating characteristics of the user, and includes, for example, a user attribute, a moving image viewing tendency, and the like.
The user attributes include, for example, personal information identifying the user such as gender, age, residence, occupation, and the like, as well as the user's hobbies, feats, and likes. Further, the user's action history may be recorded as the user attribute. Examples of the action history include a history of search keywords when a search engine is used, and a history of buying and selling in online shopping and online auctions. Further, a credit card usage history, a trading history acquired from the POS terminal via the Internet, a user's travel route history by a position detecting device such as a GPS, and the like may be included.

動画視聴傾向は、ユーザが視聴した動画の傾向であり、例えば、視聴された動画のカテゴリ、見所となるシーンから再生を行った際の見所のシーンのタグ(シーンタグ)等のキーワード情報が記録されている。なお、動画のカテゴリとは、その動画の種別を示すキーワードの他、動画の特徴と示すキーワード(例えば、動画に出演する出演者名、動画で使用される音楽の曲名やアーティスト名、動画の作成時期等)が含まれてもよい。また、シーンタグとは、動画内のシーンの特徴を示すキーワード情報であり、例えばシーンのカテゴリや、シーンに出演する出演者名や、シーンで使用される曲名やアーティスト名等を含む。
この動画のカテゴリは、例えば、ユーザが視聴した複数の動画のうち、所定数の動画が同じカテゴリである場合に、ユーザが好む動画の傾向として、その動画のカテゴリが記録される。同様に、ユーザが視聴した複数の動画のうち、所定数の動画において同じシーンタグが共通するシーンの位置にユーザがジャンプ操作を行った場合に、そのシーンタグが、ユーザが好むシーンの傾向として記録される。
The moving image viewing tendency is a tendency of the moving image viewed by the user. For example, keyword information such as a category of the viewed moving image and a tag (scene tag) of a highlight scene when the reproduction is performed from the highlight scene is recorded. Have been. In addition, the category of the moving image includes, in addition to the keyword indicating the type of the moving image, a keyword indicating the characteristics of the moving image (for example, the names of the performers who appear in the moving image, the names of the music songs and artists used in the moving image, Etc.) may be included. The scene tag is keyword information indicating a feature of a scene in the moving image, and includes, for example, a category of the scene, names of performers who appear in the scene, names of songs and artists used in the scene, and the like.
As the category of this moving image, for example, when a predetermined number of moving images are the same category among a plurality of moving images viewed by the user, the moving image category is recorded as a tendency of the moving image that the user likes. Similarly, when a user performs a jump operation to a position of a scene where the same scene tag is common to a predetermined number of videos among a plurality of videos viewed by the user, the scene tag indicates a tendency of a scene preferred by the user. Be recorded.

視聴履歴は、ユーザが視聴した動画、及びその動画に対してユーザが実施した操作の履歴である。この視聴履歴には、ユーザが視聴した動画を特定する情報(例えば動画ID)に、その動画に対してユーザが実施した操作に関する操作情報が関連付けられて記録される。例えば、視聴履歴には、動画を最初から再生したか、ユーザのジャンプ操作によって再生位置が変更されたか等の、当該再生位置(動画内のフレームの位置)を示す情報が含まれる。また、視聴履歴には、ジャンプ操作に応じた再生位置から再生された動画の時間や、同一の再生位置にジャンプ操作を行った回数等が含まれる。なお、本実施形態において、ジャンプ操作とは、現在の動画の再生位置よりも先の位置に再生位置を変更するスキップ操作、及び、現在の動画の再生位置より前の位置に再生位置を変更するバック操作を含む。   The viewing history is a history of a moving image viewed by the user and an operation performed by the user on the moving image. In the viewing history, information (for example, a moving image ID) for specifying a moving image viewed by the user is recorded in association with operation information on an operation performed by the user on the moving image. For example, the viewing history includes information indicating the reproduction position (the position of the frame in the moving image) such as whether the moving image has been reproduced from the beginning or the reproduction position has been changed by the user's jump operation. Further, the viewing history includes the time of the moving image reproduced from the reproduction position corresponding to the jump operation, the number of times the jump operation is performed to the same reproduction position, and the like. In the present embodiment, the jump operation is a skip operation for changing the reproduction position to a position ahead of the reproduction position of the current moving image, and changing the reproduction position to a position before the reproduction position of the current moving image. Including back operation.

所属グループは、ユーザが属するグループに関する情報であり、例えば、グループを識別するグループIDが記録される、所属グループとしては、複数のグループIDが記録されていてもよい。   The belonging group is information on the group to which the user belongs. For example, a group ID for identifying the group is recorded. As the belonging group, a plurality of group IDs may be recorded.

[2−1−2.グループDB122に記憶される情報]
グループDB122は、ユーザ特性に基づいてユーザを複数のグループに分類した際の各グループに関するグループ情報を記憶する。グループ情報には、グループID、所属ユーザ、共通特性、見所分類情報等の各情報が含まれる。
グループIDは、グループを特定する識別情報である。
所属ユーザは、グループに属するユーザを示す情報であり、例えばグループに所属するユーザのユーザIDが記録される。
共通特性は、グループに属するユーザで共通するユーザ特性情報を示す情報である。すなわち、共通特性には、所属するユーザの共通するユーザ属性や、共通する動画視聴傾向等が記録される。
[2-1-2. Information stored in group DB 122]
The group DB 122 stores group information on each group when the users are classified into a plurality of groups based on the user characteristics. The group information includes each information such as a group ID, an affiliated user, a common characteristic, and highlight classification information.
The group ID is identification information for specifying a group.
The belonging user is information indicating a user belonging to the group, and for example, a user ID of a user belonging to the group is recorded.
The common characteristic is information indicating user characteristic information common to users belonging to the group. That is, in the common characteristic, a common user attribute of a user to which the user belongs, a common moving image viewing tendency, and the like are recorded.

見所分類情報は、グループに属するユーザの視聴履歴に基づいた動画の視聴傾向や、見所の傾向を示す情報である。
この見所分類情報には、グループに属するユーザのうち、所定数以上(又は所定割合以上)のユーザにおいて共通する動画視聴傾向(動画カテゴリやシーンタグ)が記録される。
また、見所分類情報には、動画DB123に記録される各動画の見所が記録されている。つまり、動画を識別する動画IDと、その動画に対する見所となるシーンの始まりの位置(動画内のフレームの位置)とが関連付けられて記録される。
The highlight classification information is information indicating a viewing tendency of a moving image based on a viewing history of users belonging to the group and a tendency of highlight.
In the highlight classification information, a moving image viewing tendency (moving image category or scene tag) common to a predetermined number or more (or a predetermined ratio or more) of the users belonging to the group is recorded.
In addition, highlights of each moving image recorded in the moving image DB 123 are recorded in the highlight classification information. That is, the moving image ID for identifying the moving image and the position of the beginning of the scene that is a highlight for the moving image (the position of the frame in the moving image) are recorded in association with each other.

[2−1−3.動画DB123に記憶される情報]
動画DB123は、ユーザ端末20に送信する動画やその動画に関する各種情報を含む動画関連情報が記録されている。動画関連情報には、動画ID、動画カテゴリ、シーン情報、動画コンテンツ等が含まれる。
動画IDは、動画を識別するための識別情報である。
動画カテゴリは、動画を特定するためのキーワード情報である。
[2-1-3. Information stored in video DB 123]
The moving image DB 123 stores moving image related information including a moving image to be transmitted to the user terminal 20 and various information related to the moving image. The moving image related information includes a moving image ID, a moving image category, scene information, moving image content, and the like.
The moving image ID is identification information for identifying a moving image.
The moving image category is keyword information for specifying a moving image.

シーン情報は、動画に含まれる複数のシーンに関する情報であり、各シーンに対応するシーンID、シーン位置情報、シーンタグ等を含む。
シーンIDは、動画におけるシーンを特定する識別情報である。
シーン位置情報は、シーンの始まり位置を示す情報を記録する。また、シーンの終わり位置を示す情報等が含まれてもよい。なお、シーンの終わり位置は、次のシーンの始まり位置と一致するので、シーンの終わり位置が含まれていなくてもよい。
シーンの始まり位置(動画内のフレームの位置)を示す情報としては、例えば、動画の開始位置からシーンIDで特定されるシーンの始まり位置までの時間が記録されている。また、シーンの終わり位置を示す情報としては、例えば、動画の開始位置からシーンIDで特定されるシーンの終わり位置までの時間、またはシーンの始まり位置からシーンの終わり位置までの時間が記録されている。なお、本実施形態では、動画における所定の再生位置(シーン始まり位置等)を、動画における開始位置からの時間として示すが、これに限定されない。例えば、動画を構成する各フレーム画像を特定するフレーム番号であってもよい。
The scene information is information on a plurality of scenes included in the moving image, and includes a scene ID, scene position information, a scene tag, and the like corresponding to each scene.
The scene ID is identification information for identifying a scene in a moving image.
Scene position information records information indicating the start position of a scene. Further, information indicating the end position of the scene or the like may be included. Since the end position of the scene coincides with the start position of the next scene, the end position of the scene may not be included.
As the information indicating the start position of the scene (the position of the frame in the moving image), for example, the time from the starting position of the moving image to the start position of the scene specified by the scene ID is recorded. As the information indicating the end position of the scene, for example, the time from the start position of the moving image to the end position of the scene specified by the scene ID, or the time from the start position of the scene to the end position of the scene is recorded. I have. In the present embodiment, the predetermined reproduction position (scene start position or the like) in the moving image is shown as the time from the start position in the moving image, but is not limited thereto. For example, it may be a frame number that specifies each frame image forming the moving image.

動画コンテンツは、ユーザ端末20に送信されるコンテンツであり、複数のフレームと音声情報とにより構成された動画であって、例えばAVIやMP4等の動画形式のファイルである。なお、本明細書において、動画コンテンツを、単に動画と称す。   The moving image content is a content transmitted to the user terminal 20 and is a moving image composed of a plurality of frames and audio information, and is a moving image format file such as AVI or MP4. In this specification, moving image content is simply referred to as a moving image.

[2−1−4.広告DB124に記憶される情報]
広告DB124は、動画内に挿入する広告に関する広告情報が記憶される。広告情報には、広告ID、広告商品、広告属性、及び広告コンテンツ等が含まれる。
広告IDは、広告情報を識別する識別情報である。
広告商品は、広告対象の商品の名称や商品のカテゴリに関する情報である。
広告属性は、広告送信対象のユーザの条件を記録する。広告属性としては、例えば広告主が希望する広告の配信対象のユーザ属性が記録される。
広告コンテンツは、動画内で再生する広告の動画または画像である。
[2-1-4. Information stored in advertisement DB 124]
The advertisement DB 124 stores advertisement information on an advertisement to be inserted into a moving image. The advertisement information includes an advertisement ID, an advertisement product, an advertisement attribute, an advertisement content, and the like.
The advertisement ID is identification information for identifying advertisement information.
The advertisement product is information on the name of the product to be advertised and the category of the product.
The advertisement attribute records the condition of the user to whom the advertisement is transmitted. As the advertisement attribute, for example, a user attribute of a distribution target of an advertisement desired by the advertiser is recorded.
The advertisement content is a moving image or an image of an advertisement to be played in the moving image.

[2−2.制御部13の機能構成]
制御部13は、CPU(Central Processing Unit)等の演算回路、RAM(Random Access Memory)等の記録回路により構成される。制御部13は、記憶部12等に記録されている情報処理プログラムをRAMに展開し、RAMに展開されたプログラムとの協働により各種処理を実行する。そして、制御部13は、記憶部12に記録された情報処理プログラムを読み込み実行することで、図2に示すように、ユーザ登録部131、視聴傾向判定部132、グループ分類部133、操作情報取得部134、動画取得部135、動画解析部136(シーン特定部、カテゴリ解析部)、見所検出部137、広告選択部138、及び動画送信部139として機能する。
なお、本実施形態では、1台のサーバ装置10により情報処理装置が構成され、制御部13がユーザ登録部131、視聴傾向判定部132、グループ分類部133、操作情報取得部134、動画取得部135、動画解析部136(シーン特定部、カテゴリ解析部)、見所検出部137、広告選択部138、及び動画送信部139として機能する例を示すが、これに限定されない。例えば、通信可能に接続された複数のサーバ装置によって本発明の情報処理装置が構成されていてもよく、この場合、各機能に対応したサーバ装置を設けることで、処理負荷の軽減を図ることができる。
[2-2. Functional configuration of control unit 13]
The control unit 13 includes an arithmetic circuit such as a CPU (Central Processing Unit) and a recording circuit such as a RAM (Random Access Memory). The control unit 13 develops an information processing program recorded in the storage unit 12 or the like in the RAM, and executes various processes in cooperation with the program developed in the RAM. Then, the control unit 13 reads and executes the information processing program recorded in the storage unit 12 to thereby execute the user registration unit 131, the viewing tendency determination unit 132, the group classification unit 133, the operation information acquisition It functions as a unit 134, a moving image acquisition unit 135, a moving image analysis unit 136 (scene specifying unit, category analysis unit), a highlight detection unit 137, an advertisement selection unit 138, and a moving image transmission unit 139.
In the present embodiment, an information processing apparatus is configured by one server device 10, and the control unit 13 controls the user registration unit 131, the viewing tendency determination unit 132, the group classification unit 133, the operation information acquisition unit 134, and the moving image acquisition unit 135, an example functioning as the moving image analyzing unit 136 (scene specifying unit, category analyzing unit), the highlight detecting unit 137, the advertisement selecting unit 138, and the moving image transmitting unit 139 is shown, but the present invention is not limited to this. For example, the information processing device of the present invention may be configured by a plurality of server devices communicably connected. In this case, by providing a server device corresponding to each function, the processing load can be reduced. it can.

ユーザ登録部131は、ユーザ端末20からユーザに関する情報を取得し、ユーザDB121のユーザ情報に登録する。つまり、ユーザ登録部131は、新規に情報処理システム1を利用するユーザのユーザ端末20から、ユーザ名、及びユーザ属性を受信し、新規のユーザIDを付与してユーザ情報を生成し、ユーザDB121に記憶する。また、既存ユーザのユーザ端末20から、ユーザIDとともに、ユーザ名、及びユーザ属性を受信すると、当該ユーザIDで特定されるユーザ情報のユーザ名やユーザ属性を更新する。
視聴傾向判定部132は、ユーザ情報に蓄積された視聴履歴に基づいて、ユーザの動画視聴傾向を判定する。
つまり、ユーザ登録部131は、ユーザ特性情報であるユーザ属性を取得し、視聴傾向判定部132は、ユーザ特性情報である動画視聴傾向を判定(取得)するものであり、これらのユーザ登録部131及び視聴傾向判定部132は、本発明のユーザ特性取得部に相当する。
The user registration unit 131 acquires information about the user from the user terminal 20 and registers the information in the user information of the user DB 121. That is, the user registration unit 131 receives the user name and the user attribute from the user terminal 20 of the user who newly uses the information processing system 1, generates a new user ID, and generates user information. To memorize. When the user name and the user attribute are received together with the user ID from the user terminal 20 of the existing user, the user name and the user attribute of the user information specified by the user ID are updated.
The viewing tendency determining unit 132 determines the user's moving image viewing tendency based on the viewing history stored in the user information.
That is, the user registration unit 131 acquires the user attribute which is the user characteristic information, and the viewing tendency determination unit 132 determines (acquires) the video viewing tendency which is the user characteristic information. The viewing tendency determining unit 132 corresponds to the user characteristic acquiring unit of the present invention.

グループ分類部133は、ユーザDB121に記録される各ユーザ情報のユーザ特性情報に基づいて、ユーザを複数のグループに分類する。つまり、グループ分類部133は、ユーザ属性や動画視聴傾向に基づいた複数のグループに、各ユーザを分類し、各グループ情報の所属ユーザとしてユーザIDを記録する。また、ユーザ情報の所属グループに、ユーザが所属するグループのグループIDを記録する。   The group classification unit 133 classifies users into a plurality of groups based on the user characteristic information of each piece of user information recorded in the user DB 121. That is, the group classification unit 133 classifies each user into a plurality of groups based on the user attribute and the moving image viewing tendency, and records the user ID as a user belonging to each group information. The group ID of the group to which the user belongs is recorded in the group to which the user belongs.

操作情報取得部134は、ユーザ端末20において、ユーザが動画を視聴した場合に、その動画の動画IDと、ジャンプ操作等のユーザの動画に対する操作情報と、動画の再生時間とを含む視聴履歴を受信し、ユーザ情報に記録する。また、操作情報取得部134は、ユーザの動画に対する操作情報の他、ユーザのインターネット上における行動履歴を取得する。行動履歴としては、上述したように、例えば、検索キーワードの履歴や、電子商取引システムにおける売買履歴等である。   When the user views a moving image on the user terminal 20, the operation information acquiring unit 134 stores a viewing history including a moving image ID of the moving image, operation information on the moving image of the user such as a jump operation, and a reproduction time of the moving image. Receive and record in user information. In addition, the operation information acquisition unit 134 acquires the user's action history on the Internet in addition to the operation information on the moving image of the user. As described above, the action history is, for example, a history of search keywords, a trading history in the electronic commerce system, and the like.

動画取得部135は、ネットワーク上の所定の端末装置から動画を取得する。動画情報の取得先である端末装置は、例えば、ユーザ端末20であってもよく、動画を配信する企業等が管理する動画配信サーバであってもよい。   The moving image acquisition unit 135 acquires a moving image from a predetermined terminal device on the network. The terminal device from which the moving image information is acquired may be, for example, the user terminal 20 or a moving image distribution server managed by a company that distributes moving images.

動画解析部136は、本発明のシーン特定部、及びカテゴリ解析部として機能する。この動画解析部136は、取得した動画を解析し、動画内の複数のシーンを特定する。この際、動画解析部136は、動画を構成する複数のフレームに含まれる画像に基づいたシーン特定と、音声に基づいたシーン特定との双方を実施する。
また、動画解析部は、動画のカテゴリ、及び動画内の各シーンに対するシーンタグを特定する。
The moving image analysis unit 136 functions as a scene identification unit and a category analysis unit of the present invention. The moving image analysis unit 136 analyzes the obtained moving image and specifies a plurality of scenes in the moving image. At this time, the moving image analysis unit 136 performs both scene specification based on images included in a plurality of frames constituting the moving image and scene specification based on audio.
In addition, the moving image analysis unit specifies a category of the moving image and a scene tag for each scene in the moving image.

見所検出部137は、ユーザ特性情報に基づいて、又は、ユーザ特性情報に基づくグループ情報に基づいて、各動画の見所を検出する。
広告選択部138は、動画の所定位置に挿入する広告を広告DB124から選択する。
動画送信部139は、動画及び広告をユーザ端末20に送信し、ユーザ端末20で再生させる。
なお、各機能構成の詳細な説明については後述する。
The highlight detection unit 137 detects highlights of each moving image based on the user characteristic information or based on group information based on the user characteristic information.
The advertisement selection unit 138 selects an advertisement to be inserted at a predetermined position of the moving image from the advertisement DB 124.
The moving image transmitting unit 139 transmits the moving image and the advertisement to the user terminal 20 and causes the user terminal 20 to reproduce the moving image and the advertisement.
A detailed description of each functional configuration will be described later.

[3.ユーザ端末20の構成]
ユーザ端末20は、ユーザが保有する端末装置であり、例えばスマートフォン、タブレット端末、パーソナルコンピューター等のコンピューターにより構成されている。ユーザ端末20の具体的な構成の図示は省略するが、ユーザ端末20は、一般的なコンピューターが有する基本的な構成を有する。すなわち、ユーザ端末20は、ユーザの操作を受け付ける入力操作部、画像情報を表示させるディスプレイ、各種情報を記録する記録装置、各種情報を演算処理する演算回路(CPU等)を備えている。
[3. Configuration of User Terminal 20]
The user terminal 20 is a terminal device owned by the user, and is configured by a computer such as a smartphone, a tablet terminal, and a personal computer. Although a specific configuration of the user terminal 20 is not shown, the user terminal 20 has a basic configuration of a general computer. That is, the user terminal 20 includes an input operation unit that receives a user's operation, a display that displays image information, a recording device that records various information, and an arithmetic circuit (such as a CPU) that performs arithmetic processing on various information.

[4.情報処理方法]
次に、情報処理システム1における処理について、特に、サーバ装置10における情報処理方法について説明する。
[4−1.動画のシーン特定処理]
図3は、第一実施形態の情報処理方法に係る動画のシーン特定処理のフローチャートである。
本実施形態の情報処理システム1では、サーバ装置10の動画取得部135は、ユーザ端末20で再生させる動画を、予め、動画を配信する配信者が操作する端末装置や動画配信サーバから受信する(ステップS1)。
[4. Information processing method]
Next, processing in the information processing system 1, particularly, an information processing method in the server device 10 will be described.
[4-1. Video scene identification processing]
FIG. 3 is a flowchart of a moving image scene identification process according to the information processing method of the first embodiment.
In the information processing system 1 of the present embodiment, the moving image acquisition unit 135 of the server device 10 previously receives a moving image to be played back on the user terminal 20 from a terminal device operated by a distributor who distributes the moving image or a moving image distribution server ( Step S1).

動画解析部136は、動画を受信すると、その動画を解析して複数のシーンを特定する(ステップS2)。
シーンの特定は、公知の技術を利用でき、例えば、フレーム画像を解析し、フレーム画像内に含まれる画像のエッジ部を検出して、複数のフレームに亘って、同じエッジ部が画像内に含まれる場合に、その連続するフレームを同一シーンとして特定する。この際、全てのフレームを解析対象とせず、例えばキーフレームのみをシーンの解析対象として抽出してもよい。また、動画によっては、例えば配信者によって動画に含まれる各シーンの位置が指定されている場合もある。この場合は、当該シーンを特定してもよい。
また、本実施形態では、動画解析部136は、動画に含まれる各フレーム画像に基づいたシーンのみならず、動画内の音声を解析し、音声に基づいてシーンを特定する。動画解析部136は、これらのフレーム画像に基づいたシーンの特定と、音声に基づいたシーンの特定との双方を実施することで、視覚的に動画を区分した複数のシーンと、聴覚的に動画を区分した複数のシーンとを特定することができる。この場合、例えば、フレーム画像に基づいたシーン特定で1つのシーンが検出されるパターンで、当該シーンの中で楽曲が切り替わる場合、動画解析部136は、フレーム画像に基づいた1つのシーンと、音声に基づいた2つのシーンとを特定することが可能となる。
Upon receiving the moving image, the moving image analysis unit 136 analyzes the moving image and specifies a plurality of scenes (Step S2).
The scene can be specified using a known technique, for example, by analyzing a frame image, detecting an edge portion of an image included in the frame image, and including the same edge portion in the image over a plurality of frames. In this case, the consecutive frames are specified as the same scene. At this time, not all the frames are to be analyzed, and, for example, only key frames may be extracted as scene analysis targets. Further, depending on the moving image, for example, the position of each scene included in the moving image may be specified by the distributor. In this case, the scene may be specified.
In the present embodiment, the moving image analysis unit 136 analyzes not only the scene based on each frame image included in the moving image but also the sound in the moving image, and specifies the scene based on the sound. The moving image analysis unit 136 performs both the specification of the scene based on these frame images and the specification of the scene based on the audio, so that a plurality of scenes that visually classify the moving image and Can be specified with a plurality of scenes. In this case, for example, when the music is switched in the scene in a pattern in which one scene is detected by specifying the scene based on the frame image, the moving image analysis unit 136 determines one scene based on the frame image and It is possible to specify two scenes based on.

次に、動画解析部136は、特定した各シーンに対応するシーンタグを特定して、各シーンにタグ付けする(ステップS3)。
具体的には、動画解析部136は、各シーンのフレーム画像や音声を解析して、登場人物、動物、物品、背景、楽曲名やアーティスト名、効果音の種別、発声音の種別等を特定する。この解析処理としては、公知の画像認識技術や、音声認識技術を用いることができる。例えば、フレーム画像からシーンタグを特定する場合、フレーム画像から特徴量を算出し、予め記憶部12等に記憶されているサンプル画像の特徴量と比較することで、対象物を認識する。ディープラーニング等のAIによる機械学習を用いることで、高度に登場物を識別することができ、これにより、正確なシーンタグを各シーンに付与することができる。
音声認識技術に関しても、公知の技術を用いることができ、例えば音声の特徴データを、予め記憶部12等に記憶されたサンプルデータの特徴データと比較することで、発声主や、楽曲、アーティスト名を特定することができる。また、ディープラーニング等のAIを用いた機械学習により、正確な音声認識や、発声者の感情認識、発声内容の把握等も可能となり、正確なシーンタグを各シーンに付与することができる。
楽曲に対応するシーンタグとしては、その楽曲名やアーティスト名の他、楽曲のテンポや調を検出してもよい。この場合、例えば予め記憶部12に曲のテンポや調に対するシーンタグを記録したテーブルデータを記憶しておき、検出された楽曲のテンポや調に対するシーンタグを特定する。
Next, the moving image analysis unit 136 specifies a scene tag corresponding to each specified scene, and tags each scene (step S3).
Specifically, the moving image analysis unit 136 analyzes the frame images and sounds of each scene, and specifies characters, animals, articles, backgrounds, music and artist names, types of sound effects, types of vocal sounds, and the like. I do. As the analysis processing, a known image recognition technology or a voice recognition technology can be used. For example, when specifying a scene tag from a frame image, a feature is calculated from the frame image and compared with the feature of a sample image stored in advance in the storage unit 12 or the like, thereby recognizing the target. By using machine learning by AI such as deep learning, it is possible to identify appearances at a high level, and thereby it is possible to assign an accurate scene tag to each scene.
As for the speech recognition technology, a known technology can be used. For example, by comparing the feature data of the speech with the feature data of the sample data stored in advance in the storage unit 12 or the like, the utterer, the music, the artist Can be specified. In addition, machine learning using AI such as deep learning enables accurate speech recognition, emotion recognition of a speaker, and understanding of the content of a utterance, and an accurate scene tag can be assigned to each scene.
As the scene tag corresponding to the song, the tempo or key of the song may be detected in addition to the song name or the artist name. In this case, for example, table data in which a scene tag for the tempo or key of the music is recorded in the storage unit 12 in advance, and a scene tag for the tempo or key of the detected music is specified.

また、動画解析部136は、受信した動画のカテゴリを特定する(ステップS4)。
動画の配信者が、動画のカテゴリを示すタグを付与して動画をサーバ装置10にアップロードする場合があり、この場合、動画解析部136は、当該配信者に指定されたタグを、動画のカテゴリとすることができる。配信者によって動画のカテゴリが示されていない場合、動画に含まれるシーンタグのうち、付与数が最大のシーンタグを動画のカテゴリとして特定する。例えば、動画に含まれるシーンとして、「ホラー」といったシーンタグのシーンが多数含まれている場合、動画のカテゴリを「ホラー」とする。
Further, the moving image analysis unit 136 specifies the category of the received moving image (Step S4).
In some cases, the distributor of the video uploads the video to the server device 10 with a tag indicating the category of the video. In this case, the video analyzer 136 converts the tag specified by the distributor into the category of the video. It can be. If the category of the moving image is not indicated by the distributor, the scene tag having the largest number of scene tags among the scene tags included in the moving image is specified as the category of the moving image. For example, when many scenes with a scene tag such as “horror” are included as scenes included in a moving image, the category of the moving image is set to “horror”.

[4−2.動画送信処理]
次に、本実施形態の情報処理方法における動画送信処理について説明する。
図4及び図5は、本実施形態の動画送信処理を示すフローチャートである。
情報処理システム1を利用してユーザ端末20において動画を再生させる場合、サーバ装置10にユーザ情報が登録されている必要がある。ユーザ情報を登録する場合、ユーザは、ユーザ端末20を操作して、サーバ装置10にユーザ情報の登録または更新を要求するユーザ登録要求を送信する。つまり、ユーザ端末20は、ユーザ操作によってユーザ登録要求の送信を行う操作が入力されたか否かを判定する(ステップS11)。
[4-2. Video transmission processing]
Next, a moving image transmission process in the information processing method of the present embodiment will be described.
4 and 5 are flowcharts illustrating the moving image transmission processing according to the present embodiment.
When playing a moving image on the user terminal 20 using the information processing system 1, the user information needs to be registered in the server device 10. When registering the user information, the user operates the user terminal 20 to transmit a user registration request for requesting registration or update of the user information to the server device 10. That is, the user terminal 20 determines whether an operation of transmitting a user registration request has been input by a user operation (step S11).

ステップS11でYesと判定されると、ユーザ端末20からサーバ装置10にユーザ登録要求が送信される。また、サーバ装置10のユーザ登録部131は、ユーザ端末20からユーザ登録要求を受信すると、ユーザ端末20に登録を促す案内コンテンツを送信する。そして、ユーザ端末20は、送信された案内コンテンツをディスプレイに表示させ、ユーザが案内コンテンツにしたがって、ユーザ登録情報を入力すると、ユーザ端末20は、サーバ装置10にそのユーザ登録情報を送信する(ステップS12)。
ユーザ登録部131は、ユーザ登録情報を受信すると、ユーザ情報を更新する(ステップS21)。
If the determination is Yes in step S11, a user registration request is transmitted from the user terminal 20 to the server device 10. Further, upon receiving the user registration request from the user terminal 20, the user registration unit 131 of the server device 10 transmits guidance content for prompting the user terminal 20 to register. Then, the user terminal 20 displays the transmitted guidance content on the display, and when the user inputs the user registration information according to the guidance content, the user terminal 20 transmits the user registration information to the server device 10 (step S12).
Upon receiving the user registration information, the user registration unit 131 updates the user information (Step S21).

具体的には、ユーザ登録部131は、ユーザ端末20から新規登録または登録情報の更新を要求する要求情報を取得すると、ユーザ端末20に案内コンテンツを送信し、ユーザ端末20のディスプレイ上に表示させる。
新規登録に関する案内コンテンツは、例えば、ユーザ名、及びユーザ属性の入力を促すコンテンツである。ユーザ登録部131は、新規登録の案内コンテンツにしたがって送信されたユーザ登録情報をユーザ端末20から受信すると、新規のユーザIDを付与してユーザ情報としてユーザDB121に登録する。
登録更新に関する案内コンテンツは、例えばユーザ端末20からユーザIDが送信されることで、サーバ装置10からユーザ端末20に送信され、ユーザ属性の入力を促すコンテンツである。ユーザ登録部131は、登録更新の案内コンテンツにしたがって送信されたユーザ登録情報をユーザ端末20から受信すると、対応するユーザIDのユーザ情報を更新する。
このステップS21により、サーバ装置10は、ユーザ特性情報の1つであるユーザ属性を取得する。
Specifically, when the user registration unit 131 acquires request information for requesting new registration or update of registration information from the user terminal 20, the user registration unit 131 transmits guidance content to the user terminal 20, and displays the guidance content on the display of the user terminal 20. .
The guidance content for new registration is, for example, content that prompts the user to enter a user name and a user attribute. When the user registration unit 131 receives the user registration information transmitted according to the newly registered guidance content from the user terminal 20, the user registration unit 131 assigns a new user ID and registers the new user ID in the user DB 121 as user information.
The guidance content related to the registration update is, for example, a content transmitted from the server device 10 to the user terminal 20 by transmitting a user ID from the user terminal 20, and prompting the user to input a user attribute. Upon receiving the user registration information transmitted from the user terminal 20 according to the registration update guidance content, the user registration unit 131 updates the user information of the corresponding user ID.
By this step S21, the server device 10 acquires a user attribute which is one of the user characteristic information.

なお、ユーザ端末20において、ステップS11においてNoと判定された場合、例えば、既にユーザ情報が登録されていて、登録情報の更新も行わない場合、ステップS12はスキップされ、ステップS13に進む。   Note that if the user terminal 20 determines No in step S11, for example, if the user information has already been registered and the registration information is not updated, step S12 is skipped and the process proceeds to step S13.

そして、サーバ装置10は、グループ分類処理を実施する(ステップS22)。なお、図4では、説明の簡略化のため、ステップS21の後に、ステップS22のグループ分類処理を実施しているが、このステップS22は一定周期毎、又はユーザにより動画が視聴される毎に実施される。すなわち、ステップS22のグループ分類処理は、ユーザ属性に加えて、ユーザの動画視聴傾向に基づいてユーザをグループに分類する。ユーザの動画視聴傾向は、ユーザが動画を視聴する毎に蓄積される視聴履歴に基づいて判定されるため、上記のように、一定周期毎またはユーザにより動画が視聴される毎にグループ分類処理を実施することで、ユーザ属性及び視聴履歴(動画視聴傾向)に基づいたグループ分類を実施することが可能となる。   Then, the server device 10 performs a group classification process (Step S22). In FIG. 4, for the sake of simplicity, the group classification process of step S22 is performed after step S21. However, this step S22 is performed at regular intervals or every time a moving image is viewed by the user. Is done. That is, the group classification process in step S22 classifies the users into groups based on the user's moving image viewing tendency in addition to the user attributes. Since the user's video viewing tendency is determined based on the viewing history accumulated each time the user views the video, as described above, the group classification process is performed at regular intervals or each time the video is viewed by the user. By performing, it is possible to perform group classification based on the user attribute and the viewing history (moving picture viewing tendency).

このステップS22では、グループ分類部133は、ユーザ属性と動画視聴傾向とに基づいて、ユーザがどのグループに属するかを判定し、ユーザ情報に記録される所属グループ、及びグループ情報に記録される所属ユーザを更新する。
例えば、ステップS21において、ユーザ属性に趣味「料理」が追加されるユーザ情報の更新が行われた場合、グループ分類部133は、共通特性に「料理」が含まれるグループ情報を検索する。また、グループ分類部133は、検索したグループ情報の共通特性として、その他の特性(例えばユーザ属性として「男性」、動画視聴傾向として「料理人R」)が記録されている場合、当該特性がユーザ情報のユーザ属性や動画視聴傾向に記録されているか否かを判定する。検索したグループ情報の共通特性がユーザ情報として記録されていない場合は、そのグループ情報を分類対象から除外する。このようにして、グループ分類部133は、共通特性に記録される各情報(タグやカテゴリ)が、ユーザ属性や動画視聴傾向に含まれる場合に、そのグループにユーザを属させる(分類する)。
In step S22, the group classification unit 133 determines which group the user belongs to based on the user attribute and the moving picture viewing tendency, and determines the belonging group recorded in the user information and the belonging group recorded in the group information. Update a user.
For example, in step S21, when the user information in which the hobby “dish” is added to the user attribute is updated, the group classification unit 133 searches for group information in which the common characteristic includes “dish”. In addition, when other characteristics (for example, “male” as a user attribute and “cook R” as a video viewing tendency) are recorded as common characteristics of the searched group information, the group classification unit 133 determines that the characteristic is a user characteristic. It is determined whether the information is recorded in the user attribute of the information or the moving image viewing tendency. If the common property of the searched group information is not recorded as user information, the group information is excluded from the classification target. In this way, when each information (tag or category) recorded in the common characteristic is included in the user attribute or the moving picture viewing tendency, the group classification unit 133 assigns (classifies) the user to the group.

また、視聴傾向判定部132は、見所分類情報を更新する(ステップS23)。
ステップS23では、視聴傾向判定部132は、グループに属する複数のユーザ(グループメンバー)のユーザ情報に記録された視聴履歴を参照し、所定の第一数(所定の第一割合)以上のグループメンバーにおいて、共通して視聴された動画が有るか否かを判定する。さらに、視聴傾向判定部132は、特定された動画において、所定の第二数(所定の第二割合)以上のグループメンバーにおいて、同一シーンをジャンプ先としたジャンプ操作があるか否かを判定する。
つまり、視聴履歴において、動画の再生位置を変更するジャンプ操作が実施され、当該再生位置から所定時間以上の動画視聴が有った場合、その視聴されたシーンは、ユーザの興味が高いシーンである可能性が高く、ユーザにとっての見所となる。よって、視聴傾向判定部132は、第一数以上のグループメンバーが視聴された動画で、第二数以上のグループメンバーがジャンプ先としたシーンがある場合に、その動画の動画IDと、ジャンプ先のシーンの始まり位置(見所に対応するシーンの始まり位置)とを含む動画別見所分類情報を、見所分類情報に記録する。つまり、視聴傾向判定部132は、グループメンバーが共通してジャンプ先としたシーンを、その動画における共通の見所とする。
The viewing tendency determining unit 132 updates the highlight classification information (Step S23).
In step S23, the viewing tendency determination unit 132 refers to the viewing histories recorded in the user information of the plurality of users (group members) belonging to the group, and determines a predetermined first number (a predetermined first ratio) or more of the group members. In, it is determined whether or not there is a commonly viewed moving image. Further, the viewing tendency determining unit 132 determines whether or not a jump operation with the same scene as a jump destination is performed for a specified second number (a predetermined second ratio) or more of group members in the specified moving image. .
That is, in the viewing history, when a jump operation for changing a playback position of a moving image is performed and a moving image has been watched for a predetermined time or more from the playback position, the viewed scene is a scene with high user interest. It is likely to be a highlight for the user. Therefore, if there is a scene in which the second or more group members jump to a video in which the first or more group members have watched the video, the viewing tendency determination unit 132 determines the video ID of the video and the jump destination. The moving image-based highlight classification information including the scene start position (the scene start position corresponding to the highlight) is recorded in the highlight classification information. That is, the viewing tendency determining unit 132 regards a scene that the group members commonly jump to as a common highlight in the moving image.

また、視聴傾向判定部132は、所定の第三数(所定の第三割合)以上のグループメンバーにおいて、共通して視聴された動画のカテゴリが有るか否かを判定する。そして、視聴傾向判定部132は、同一カテゴリの動画を視聴したグループメンバーが第三数以上いる場合、これらの同一のカテゴリの動画で、所定の第四数(所定の第四割合)以上のグループメンバーで、同一のシーンタグのシーンをジャンプ先としたジャンプ操作があるか否かを判定する。視聴傾向判定部132は、第三数以上のグループメンバーに視聴された同一カテゴリの動画で、第四数以上のグループメンバーが同一のシーンタグのシーンをジャンプ先としたジャンプ操作が実施している場合に、その動画のカテゴリと、ジャンプ先のシーンのシーンタグとを含むカテゴリ別見所分類情報を、見所分類情報に記録する。つまり、視聴傾向判定部132は、グループメンバーが、共通して興味を持っているシーンタグをカテゴリ毎に検出する。   In addition, the viewing tendency determination unit 132 determines whether or not there is a category of a video that has been commonly viewed among a predetermined third number (predetermined third ratio) or more group members. Then, if there is a third or more group members who have watched videos of the same category, the viewing tendency determining unit 132 determines that a predetermined fourth number (predetermined fourth ratio) or more It is determined whether or not the member has performed a jump operation with the scene of the same scene tag as a jump destination. The viewing tendency determination unit 132 performs a jump operation in which a fourth or more group members jump to a scene with the same scene tag as a jump destination in a video of the same category viewed by a third or more group members. In this case, category-specific highlight classification information including the category of the moving image and the scene tag of the jump destination scene is recorded in the highlight classification information. That is, the viewing tendency determining unit 132 detects, for each category, scene tags that the group members are interested in in common.

そして、ユーザ端末20において、ユーザ操作により、動画を視聴する旨の操作が実施されると、ユーザ端末20は、サーバ装置10に動画送信要求を送信する(ステップS13)。つまり、ユーザ端末20は、ユーザ操作により、サーバ装置10がインターネット上に公開する動画紹介コンテンツにアクセスすることで、動画紹介コンテンツを受信する。動画紹介コンテンツは、再生可能な複数の動画を案内するコンテンツであり、ユーザは、ユーザ端末を操作して、複数の動画から所定の動画を検索したり、所定の動画を選択したりすることが可能となっている。ユーザ端末20において、所定の動画を選択する操作が行われると、ユーザ端末20は、選択された動画を再生対象動画とし、再生対象動画に対応する動画IDと、ユーザIDとを含む動画送信要求をサーバ装置10に送信する。   Then, when an operation for viewing a moving image is performed by a user operation on the user terminal 20, the user terminal 20 transmits a moving image transmission request to the server device 10 (step S13). That is, the user terminal 20 receives the moving picture introduction content by accessing the moving picture introduction content published on the Internet by the server device 10 by a user operation. The video introduction content is content that guides a plurality of reproducible videos, and a user can operate a user terminal to search for a predetermined video from a plurality of videos or select a predetermined video. It is possible. When an operation of selecting a predetermined moving image is performed on the user terminal 20, the user terminal 20 sets the selected moving image as a reproduction target moving image, and sets a moving image transmission request including the moving image ID corresponding to the reproduction target moving image and the user ID. Is transmitted to the server device 10.

サーバ装置10において、動画送信要求が受信されると(ステップS24)、見所検出部137は、再生対象動画に対する見所を検出する見所検出処理を実施する(ステップS25)。   When the server device 10 receives the moving image transmission request (Step S24), the highlight detection unit 137 performs a highlight detection process of detecting a highlight for the reproduction target moving image (Step S25).

図6は、ステップS25の見所検出処理を示すフローチャートである。
見所検出処理では、見所検出部137は、動画送信要求で特定される再生対象動画が、動画送信要求を送信したユーザが初めて視聴する動画であるか否かを判定する(ステップS41)。ステップS41では、見所検出部137は、ユーザ情報の視聴履歴に、再生対象動画を視聴した旨の履歴が含まれているか否かを判定する。
ステップS41において、Yesと判定した場合、見所検出部137は、当該視聴履歴に含まれるユーザの動画に対する操作情報を参照し、ジャンプ操作が含まれ、かつ、ジャンプ先の位置から所定時間以上動画が再生された操作情報があるか否かを判定する(ステップS42)。ステップS42において、Yesと判定した場合、見所検出部137は、ジャンプ操作によって変更された再生位置(ジャンプ先)に対応するシーンを見所のシーンとして検出する(ステップS43)。
ステップS43において、ジャンプ先の位置が、シーンの途中である場合、当該シーンの次のシーンを見所として指定してもよい。なお、シーンの長さ(シーンの始まりから終わりまでの時間)に対するジャンプ先の位置に応じて、シーンを変更してもよい。例えば、ジャンプ先が、シーンの中心より後(後半)である場合、そのシーンに続く次のシーンを見所とし、再生位置が、シーンの中心より前(前半)である場合、再生位置に対応するシーンを見所としてもよい。
FIG. 6 is a flowchart showing the highlight detection processing in step S25.
In the highlight detection process, the highlight detection unit 137 determines whether or not the reproduction target moving image specified by the moving image transmission request is the first moving image to be viewed by the user who transmitted the moving image transmission request (step S41). In step S41, the highlight detection unit 137 determines whether or not the viewing history of the user information includes a history indicating that the playback target moving image has been viewed.
If the determination is Yes in step S41, the highlight detection unit 137 refers to the operation information on the user's moving image included in the viewing history, and includes a jump operation, and the moving image is displayed for a predetermined time or more from the jump destination position. It is determined whether or not there is operation information that has been reproduced (step S42). If the determination is Yes in step S42, the highlight detection unit 137 detects a scene corresponding to the playback position (jump destination) changed by the jump operation as a highlight scene (step S43).
In step S43, when the position of the jump destination is in the middle of the scene, the scene next to the scene may be designated as a highlight. The scene may be changed according to the position of the jump destination with respect to the length of the scene (the time from the beginning to the end of the scene). For example, if the jump destination is after (the latter half) of the center of the scene, the next scene following that scene is the highlight, and if the playback position is before (the first half) of the scene center, it corresponds to the playback position. The scene may be a highlight.

ステップS42でNoと判定される場合、及び、ステップS41でNoと判定される場合、見所検出部137は、再生対象動画に、ユーザ特性に対応するシーンタグが関連付けられたシーンが有るか否かを判定する(ステップS44)。
ステップS44でYesと判定した場合、見所検出部137は、ユーザ特性に対応するシーンタグが関連付けられたシーンを、見所として検出する(ステップS45)。
When No is determined in step S42, and when No is determined in step S41, the highlight detection unit 137 determines whether or not there is a scene associated with a scene tag corresponding to the user characteristic in the playback target moving image. Is determined (step S44).
If the determination is Yes in step S44, the highlight detection unit 137 detects a scene associated with a scene tag corresponding to the user characteristic as a highlight (step S45).

ステップS44でNoと判定した場合、見所検出部137は、視聴履歴に基づいて、再生対象動画と同一のカテゴリの動画の見所に対応するシーンが、再生対象動画に含まれているか否かを判定する(ステップS46)。
具体的には、見所検出部137は、視聴履歴に再生対象動画と同一のカテゴリの動画が含まれているか否かを判定する。そして、同一のカテゴリが含まれている場合に、その動画に対してジャンプ操作が実施され、かつ、再生時間が所定時間以上となる操作情報が有るか否かを判定する。そして、当該操作情報が有る場合に、そのジャンプ先に対応するシーンのシーンタグが、再生対象動画に含まれているか否かを判定する。
ステップS46でYesと判定した場合、見所検出部137は、同一のカテゴリの動画におけるジャンプ先のシーンタグが含まれる、再生対象動画のシーンを見所として検出する(ステップS47)。
つまり、本実施形態では、過去の視聴履歴に基づいて、各動画のジャンプ操作によるジャンプ先のシーンが見所の候補となり、その見所の候補のシーンタグを抽出する。この際、シーンタグののべ抽出回数がカウントされ、のべ抽出回数が所定数(第一値)以上のシーンタグが動画視聴傾向(ユーザの特性)として記録される。この動画視聴傾向に基づいた見所の抽出は、ステップS45によって実施される。一方、見所の候補のシーンタグとして抽出されたが、その抽出回数が少ないものは、動画視聴傾向に記録されない。そこで、本実施形態では、ステップS45による見所の抽出ができない場合に、見所の候補を動画の見所として検出する処理を実施する。
If No is determined in step S44, the highlight detection unit 137 determines whether or not the scene corresponding to the highlight of the moving image of the same category as the reproduction target moving image is included in the reproduction target moving image based on the viewing history. (Step S46).
Specifically, the highlight detection unit 137 determines whether or not the viewing history includes a video of the same category as the video to be reproduced. Then, when the same category is included, it is determined whether or not there is operation information in which a jump operation is performed on the moving image and the reproduction time is equal to or longer than a predetermined time. Then, when the operation information is present, it is determined whether or not the scene tag of the scene corresponding to the jump destination is included in the playback target moving image.
If it is determined as Yes in step S46, the highlight detection unit 137 detects, as a highlight, a scene of the reproduction target moving image that includes a jump destination scene tag in the moving image of the same category (step S47).
That is, in the present embodiment, based on the past viewing history, the scene at the jump destination by the jump operation of each moving image is a candidate for a highlight, and a scene tag of the candidate for the highlight is extracted. At this time, the total number of scene tag extractions is counted, and a scene tag whose total extraction frequency is equal to or more than a predetermined number (first value) is recorded as a moving image viewing tendency (user characteristic). The extraction of the highlight based on the moving image viewing tendency is performed in step S45. On the other hand, scene tags that are extracted as highlight candidate scenes, but whose number of extractions is small, are not recorded in the moving image viewing tendency. Therefore, in the present embodiment, when the highlight cannot be extracted in step S45, a process of detecting a candidate for a highlight as a highlight of a moving image is performed.

ステップS46でNoと判定した場合、見所検出部137は、ユーザが属するグループのグループ情報を参照し、見所分類情報として、再生対象動画の動画IDを含む動画別見所分類情報が有るか否かを判定する(ステップS48)。つまり、本実施形態では、ユーザ自身の視聴履歴に基づいて見所を検出できない場合に、ユーザとユーザ特定情報が類似する他のユーザ(グループメンバー)の視聴履歴に基づいて見所の検出を行う。
ステップS48でYesと判定した場合、見所検出部137は、動画別見所分類情報に記録された見所を、再生対象動画の見所として検出する(ステップS49)。
If No is determined in step S46, the highlight detection unit 137 refers to the group information of the group to which the user belongs, and determines whether or not there is moving image-specific highlight classification information including the moving image ID of the reproduction target moving image as the highlight classification information. A determination is made (step S48). That is, in the present embodiment, when a highlight cannot be detected based on the user's own viewing history, the highlight is detected based on the viewing history of another user (group member) having similar user identification information to the user.
When the determination is Yes in step S48, the highlight detection unit 137 detects the highlight recorded in the highlight classification information for each moving image as the highlight of the playback target moving image (step S49).

ステップS48でNoと判定した場合、見所検出部137は、グループ情報を参照し、見所分類情報として、再生対象動画と同一のカテゴリのカテゴリ別見所分類情報が含まれるか否かを判定する(ステップS50)。
ステップS50でYesと判定した場合、見所検出部137は、カテゴリ別見所分類情報に記録されたシーンタグが、再生対象動画に含まれているか否かを判定し(ステップS51)、含まれている場合は、そのシーンタグに対応するシーンを見所として検出する(ステップS52)。
When the determination is No in step S48, the highlight detection unit 137 refers to the group information and determines whether or not the category classification highlight information of the same category as the playback target moving image is included as the highlight classification information (step S48). S50).
When the determination is Yes in step S50, the highlight detection unit 137 determines whether or not the scene tag recorded in the category-specific highlight classification information is included in the playback target moving image (step S51). In this case, the scene corresponding to the scene tag is detected as a highlight (step S52).

なお、ステップS50及びステップS51においてNoと判定した場合、見所検出部137は、ユーザ毎の見所を未設定として処理を返してもよく、動画の配信者によって予め設定された見所がある場合には、その見所をユーザに対する見所として設定してもよい。   In addition, when it determines with No in step S50 and step S51, the highlight detection part 137 may return the process with the highlight for each user not set, and when there is a highlight set in advance by the distributor of the moving image, May be set as highlights for the user.

以上のようなステップS25の処理の後、広告選択部138は、動画に挿入する広告情報を選択する(ステップS26)。
具体的には、広告選択部138は、見所のシーンタグに対応する広告属性を有する広告情報を検索し、さらに、ユーザ属性等に基づいて広告情報を選択する。なお、本実施形態では、ジャンプ操作が実施されず、動画を最初から再生する場合は、動画の開始位置に広告を挿入する。したがって、動画の開始位置に挿入するための広告情報を別途選択してもよい。動画の開始位置に挿入する広告情報の選択としては、例えば、動画のカテゴリに基づいて広告情報を抽出し、さらに、ユーザ属性に基づいて、広告情報を絞り込むことが好ましい。
After the processing in step S25 as described above, the advertisement selecting unit 138 selects the advertisement information to be inserted into the moving image (step S26).
Specifically, the advertisement selecting unit 138 searches for advertisement information having an advertisement attribute corresponding to a highlight scene tag, and further selects advertisement information based on a user attribute or the like. In the present embodiment, when the moving image is reproduced from the beginning without performing the jump operation, an advertisement is inserted at the start position of the moving image. Therefore, the advertisement information to be inserted at the start position of the moving image may be separately selected. As the selection of the advertisement information to be inserted at the start position of the moving image, for example, it is preferable to extract the advertising information based on the category of the moving image and further narrow down the advertising information based on the user attribute.

この後、動画送信部139は、再生対象動画(動画コンテンツ)の送信を開始する(ステップS27)。この際、動画送信部139は、動画とともに、ステップS25の見所検出処理により検出された見所を示す位置の情報を同時に送信する。
なお、本実施形態では、ストリーミング再生によって動画を再生する例であり、サーバ装置10からユーザ端末20の動画送信と同時に、ユーザ端末20における動画の視聴が可能となる。
Thereafter, the moving image transmission unit 139 starts transmission of the reproduction target moving image (moving image content) (Step S27). At this time, the moving image transmitting unit 139 simultaneously transmits the position information indicating the highlight detected by the highlight detection process in step S25 together with the moving image.
Note that the present embodiment is an example in which a moving image is reproduced by streaming reproduction, and the moving image can be viewed on the user terminal 20 simultaneously with the transmission of the moving image from the user terminal 20 from the server device 10.

図7は、本実施形態のユーザ端末20において、動画送信が開始された際の画面例である。
ユーザ端末20は、サーバ装置10から送信される動画を受信すると(ステップS14)、ディスプレイ21上に、図7に示すような、動画を再生させる動画再生画面21Aを表示させる。動画再生画面21Aには、動画表示枠21B、時間表示バー21C、再生位置カーソル21D、再生開始指示部21E、見所表示部21F等が含まれる。
動画表示枠21Bは、動画が表示される表示領域である。
時間表示バー21C及び再生位置カーソル21Dは、動画のトータル長さ(時間長)に対する現在の再生位置を示す。時間表示バー21Cにおける左端は、動画の開始位置を示し、右端は、動画の終了位置を示している。
再生開始指示部21Eは、動画の再生開始及び停止を指示するための表示ボタンである。
見所表示部21Fは、例えば、見所のシーンのサムネイル画像や、見所の位置(トータル長さに対する位置)を表示する。
FIG. 7 is an example of a screen when the moving image transmission is started in the user terminal 20 of the present embodiment.
Upon receiving the moving image transmitted from the server device 10 (step S14), the user terminal 20 displays a moving image reproduction screen 21A for reproducing the moving image on the display 21 as shown in FIG. The moving image reproduction screen 21A includes a moving image display frame 21B, a time display bar 21C, a reproduction position cursor 21D, a reproduction start instruction unit 21E, a highlight display unit 21F, and the like.
The moving image display frame 21B is a display area where a moving image is displayed.
The time display bar 21C and the playback position cursor 21D indicate the current playback position with respect to the total length (time length) of the moving image. The left end of the time display bar 21C indicates the start position of the moving image, and the right end indicates the end position of the moving image.
The reproduction start instruction section 21E is a display button for instructing start and stop of reproduction of a moving image.
The highlight display unit 21F displays, for example, a thumbnail image of a highlight scene and a position of the highlight (a position with respect to the total length).

図7に示すような動画再生画面21Aにおいて、ユーザ操作によって、再生開始指示部21Eが選択されると、ユーザ端末20において、動画の再生を開始する旨の操作情報が生成されて、サーバ装置10に送信される。
また、時間表示バー21Cに対する再生位置カーソル21Dの位置を変更する操作が行われると、動画の再生位置を変更する操作情報(ジャンプ操作)が生成されてサーバ装置10に送信される。
したがって、図7のような、動画が配信された直後の状態において、ユーザによって、再生位置カーソル21Dの位置を変更せずに、再生開始指示部21Eが選択されると、動画を最初から再生する旨の操作情報がサーバ装置10に送信されることになる。
一方、ユーザによって、再生位置カーソル21Dの位置を変更されると、その再生位置カーソル21Dの位置に応じたシーンのサムネイル画像が、時間表示バー21Cの近傍に表示される。そして、ユーザが所望する再生位置に再生位置カーソル21Dが移動されて、再生開始指示部21Eが選択されると、その再生位置から動画を再生するジャンプ操作を含む操作情報がサーバ装置10に送信される。この際、再生位置カーソル21Dが見所表示部21Fの位置に移動されると、見所から動画を再生するジャンプ操作を含む操作情報がサーバ装置10に送信される。
When the reproduction start instruction section 21E is selected by a user operation on the moving image reproduction screen 21A as shown in FIG. 7, operation information to start reproduction of the moving image is generated in the user terminal 20, and the server device 10 Sent to.
When an operation of changing the position of the playback position cursor 21D with respect to the time display bar 21C is performed, operation information (jump operation) for changing the playback position of the moving image is generated and transmitted to the server device 10.
Therefore, if the user selects the reproduction start instruction unit 21E without changing the position of the reproduction position cursor 21D in a state immediately after the distribution of the moving image as shown in FIG. 7, the moving image is reproduced from the beginning. The operation information to the effect is transmitted to the server device 10.
On the other hand, when the position of the reproduction position cursor 21D is changed by the user, a thumbnail image of the scene corresponding to the position of the reproduction position cursor 21D is displayed near the time display bar 21C. When the reproduction position cursor 21D is moved to the reproduction position desired by the user and the reproduction start instruction section 21E is selected, operation information including a jump operation for reproducing a moving image from the reproduction position is transmitted to the server device 10. You. At this time, when the reproduction position cursor 21D is moved to the position of the highlight display unit 21F, operation information including a jump operation for reproducing a moving image from the highlight is transmitted to the server device 10.

上記のように、ユーザ端末20は、ユーザ操作に基づいた操作情報を生成して、操作情報をサーバ装置10に送信する(ステップS15)。
サーバ装置10の操作情報取得部134は、ユーザ端末20から操作情報を受信すると(ステップS28)、動画送信部139は、動画を最初から再生させる旨の操作情報であるか否かを判定する(ステップS29)。
ステップS29でYesと判定した場合、動画送信部139は、動画の開始位置を広告の挿入位置とし(ステップS30)、開始位置に挿入するための広告情報から広告コンテンツを読み出して、ユーザ端末20に送信する。
これにより、ユーザ端末20では、広告コンテンツが再生された後、動画の本編が再生される。
As described above, the user terminal 20 generates operation information based on the user operation, and transmits the operation information to the server device 10 (Step S15).
Upon receiving the operation information from the user terminal 20 (step S28), the operation information acquisition unit 134 of the server device 10 determines whether or not the operation information is to reproduce the moving image from the beginning (step S28). Step S29).
When the determination is Yes in step S29, the moving image transmitting unit 139 sets the start position of the moving image as the insertion position of the advertisement (step S30), reads the advertisement content from the advertisement information to be inserted at the start position, and sends the advertisement content to the user terminal 20. Send.
Thereby, in the user terminal 20, after the advertisement content is reproduced, the main part of the moving image is reproduced.

一方、ステップS29でNoと判定した場合(ジャンプ操作を含む操作情報を受信した場合)、動画送信部139は、ジャンプ先(再生位置の変更先)と、見所のシーン始まり位置との時間差を算出する(ステップS31)。そして、その時間差が、所定の判定値以内であるか否かを判定する(ステップS32)。ステップS32において、Yesと判定された場合に、見所へのジャンプ操作と判定して、ジャンプ先を広告挿入位置とする(ステップS33)。
これにより、ユーザ端末20では、広告コンテンツが再生された後、ユーザが指定した見所位置から動画が再生される。なお、広告の挿入位置は、ジャンプ先の位置であることが好ましいが、これに限定されず、見所のシーン始まり位置から所定範囲内の位置であればよく、例えば、見所のシーン始まり位置としてもよい。
また、本実施形態では、再生位置を、動画の開始位置からの経過時間として説明しているが、上述したように、動画を構成する各フレームのフレーム番号を再生位置として処理を実施してもよい。この場合、ステップS31では、見所のシーン始まり位置のフレーム番号と、ジャンプ先のフレーム番号との差、つまり、動画において、見所のシーン始まり位置のフレーム画像と、ジャンプ先のフレーム画像との間に配置されるフレーム画像の数を算出する。そして、ステップS32において、フレーム番号の差(間に配置されるフレーム画像の数)が所定の判定値以上であるか否かを判定すればよい。
On the other hand, when No is determined in step S29 (when operation information including a jump operation is received), the moving image transmitting unit 139 calculates a time difference between the jump destination (change destination of the reproduction position) and the scene start position of the highlight. (Step S31). Then, it is determined whether or not the time difference is within a predetermined determination value (step S32). If the determination is Yes in step S32, it is determined that the operation is a jump operation to a highlight, and the jump destination is set as the advertisement insertion position (step S33).
Thereby, in the user terminal 20, after the advertisement content is reproduced, the moving image is reproduced from the highlight position specified by the user. Note that the insertion position of the advertisement is preferably the position of the jump destination, but is not limited thereto, and may be any position within a predetermined range from the scene start position of the highlight, for example, as the scene start position of the highlight. Good.
In the present embodiment, the playback position is described as the elapsed time from the start position of the moving image. However, as described above, the processing may be performed with the frame number of each frame constituting the moving image as the playback position. Good. In this case, in step S31, the difference between the frame number of the scene start position of the highlight and the frame number of the jump destination, that is, in the moving image, between the frame image of the scene start position of the highlight and the frame image of the jump destination Calculate the number of frame images to be arranged. Then, in step S32, it may be determined whether or not the difference between the frame numbers (the number of frame images arranged therebetween) is equal to or greater than a predetermined determination value.

ステップS33で用いられる判定値としては、予め決まった値であってもよいが、所定の数値範囲内でランダムな値を採る乱数とすることが好ましい。乱数とすることで、意図的に広告を外して見所を視聴しようとするユーザ操作を抑制することができる。
そして、ステップS33でNoと判定される場合では、広告挿入が実施されない。つまり、本実施形態では、見所ではない位置にジャンプした場合は、広告挿入を行わない。
The determination value used in step S33 may be a predetermined value, but is preferably a random number taking a random value within a predetermined numerical range. By using a random number, it is possible to suppress a user operation of intentionally removing an advertisement and viewing a highlight.
If the determination is No in step S33, the advertisement is not inserted. That is, in the present embodiment, when jumping to a position that is not a highlight, advertisement insertion is not performed.

この後、ユーザ端末20は、動画が終了したか否かを判定し(ステップS16)、動画を継続して視聴する場合(Noと判定される場合)、ステップS15に戻る。つまり、ユーザ端末20は、動画が終了するまで、ユーザが実施した操作を操作情報としてサーバ装置10に送信する。
同様に、サーバ装置10は、ステップS29からステップS33の処理の後、動画が終了したか否かを判定する(ステップS34)。ステップS34でNoと判定される場合は、ステップS28に戻る。
このため、ユーザによって、見所の位置へのジャンプ操作が実施される度に広告が挿入されることになる。なお、図7に示す例では、動画に対して1つのみの見所が設定されている例であるが、1つの動画に複数の見所が検出される場合もある。この場合、例えば、ユーザが見所に順にジャンプして動画を再生する操作を行えば、見所にジャンプする毎に広告が表示されることになる。
Thereafter, the user terminal 20 determines whether or not the moving image has ended (step S16). If the moving image is to be continuously viewed (determined as No), the process returns to step S15. That is, the user terminal 20 transmits the operation performed by the user to the server device 10 as operation information until the moving image ends.
Similarly, after the processing from step S29 to step S33, the server device 10 determines whether or not the moving image has ended (step S34). If No is determined in step S34, the process returns to step S28.
For this reason, an advertisement is inserted every time the user performs a jump operation to the position of the highlight. In the example shown in FIG. 7, only one highlight is set for a moving image, but a plurality of highlights may be detected in one moving image. In this case, for example, if the user performs an operation of sequentially jumping to highlights and playing a moving image, an advertisement is displayed each time the user jumps to highlights.

また、ステップS34でYesと判定される場合、操作情報取得部134は、動画再生時に受信した操作情報を、再生された動画の動画IDと関連付けて、ユーザ情報の視聴履歴として記録(更新)する(ステップS35)。
そして、視聴傾向判定部132は、ユーザ情報に蓄積された視聴履歴に基づいて、ユーザの動画視聴傾向を判定する(ステップS36)。具体的には、視聴傾向判定部132は、視聴履歴に含まれる各動画に対する操作履歴に含まれるジャンプ操作を特定し、各動画のシーン情報からジャンプ先のシーンタグを抽出する。また、視聴傾向判定部132は、抽出したシーンタグのそれぞれののべ抽出回数をカウントする。例えば、動画A、動画B、及び動画Cにおいて「芸能人Y」とのシーンタグが抽出された場合は、シーンタグ「芸能人Y」ののべ抽出回数は3となる。ここで、動画Aの視聴履歴として、シーンタグが「芸能人Y」である見所へのジャンプ操作が2つ記録されている場合、動画A、動画B、動画Cのシーンタグ「芸能人Y」ののべ抽出回数は4となる。そして、視聴傾向判定部132は、のべ抽出回数が第一値以上となるシーンタグを、動画視聴傾向としてユーザ情報に記録する。すなわち、ステップS35により、視聴傾向判定部132により、ユーザ特性情報の1つである動画視聴傾向が取得される。
このようにして、ユーザが動画を視聴する毎にその視聴履歴が蓄積されることで、動画視聴傾向が更新され、次回の動画視聴時の見所検出処理での見所の検出精度が向上する。
When the determination is Yes in step S34, the operation information acquisition unit 134 records (updates) the operation information received at the time of reproducing the moving image as the viewing history of the user information in association with the moving image ID of the reproduced moving image. (Step S35).
Then, the viewing tendency determining unit 132 determines the user's moving image viewing tendency based on the viewing history stored in the user information (step S36). Specifically, the viewing tendency determination unit 132 specifies a jump operation included in the operation history for each moving image included in the viewing history, and extracts a jump destination scene tag from scene information of each moving image. In addition, the viewing tendency determining unit 132 counts the total number of times each of the extracted scene tags is extracted. For example, when the scene tag “entertainer Y” is extracted in the moving images A, B, and C, the total number of extractions of the scene tag “entertainer Y” is 3. Here, as a viewing history of the moving image A, when two jump operations to the highlight with the scene tag “Entertainer Y” are recorded, the moving image A, the moving image B, and the moving image C have the scene tag “Entertainer Y”. The total number of extractions is 4. Then, the viewing tendency determining unit 132 records, in the user information, a scene tag in which the total number of times of extraction is equal to or more than the first value as a moving image viewing tendency. That is, in step S35, the viewing tendency determination unit 132 acquires the moving image viewing tendency, which is one of the user characteristic information.
In this manner, the viewing history is accumulated each time the user views the moving image, whereby the moving image viewing tendency is updated, and the accuracy of the highlight detection in the highlight detection processing at the next moving image viewing is improved.

[5.本実施形態の作用効果]
本実施形態の情報処理装置であるサーバ装置10では、制御部13は、記憶部12に記憶される情報処理プログラムを読み込み実行することで、動画解析部136(シーン特定部)、ユーザ登録部131(ユーザ特性取得部)、視聴傾向判定部132(ユーザ特性取得部)、見所検出部137として機能する。動画解析部136は、動画に含まれる複数のシーンを特定する。ユーザ登録部131は、動画を視聴するユーザのユーザ属性を含むユーザ登録情報を取得してユーザ特性情報として記憶する。視聴傾向判定部132は、ユーザの動画の視聴履歴に基づいて、ユーザの動画視聴傾向を判定してユーザ特性情報として記録する。そして、見所検出部137は、動画に含まれる複数のシーンから、ユーザ特性情報に記録されたユーザ属性や動画視聴傾向に対応するシーンを見所として検出する。
このため、本実施形態では、ユーザの趣味や好物等の様々なユーザの属性や、ユーザの動画に対する視聴傾向に基づいて、見所を検出するので、各ユーザに対して、最適な見所を検出することができる。
[5. Operation and effect of the present embodiment]
In the server device 10 that is the information processing device of the present embodiment, the control unit 13 reads and executes an information processing program stored in the storage unit 12 to execute the moving image analysis unit 136 (scene specifying unit), the user registration unit 131 It functions as a (user characteristic acquisition unit), a viewing tendency determination unit 132 (user characteristic acquisition unit), and a highlight detection unit 137. The moving image analysis unit 136 specifies a plurality of scenes included in the moving image. The user registration unit 131 acquires user registration information including a user attribute of a user who views a moving image and stores the acquired user registration information as user characteristic information. The viewing tendency determining unit 132 determines the user's moving image viewing tendency based on the user's viewing history of the moving image and records it as user characteristic information. Then, the highlight detection unit 137 detects, as a highlight, a scene corresponding to the user attribute or the moving image viewing tendency recorded in the user characteristic information from the plurality of scenes included in the moving image.
For this reason, in the present embodiment, highlights are detected based on various user attributes, such as the user's hobbies and favorite foods, and the user's viewing habits for moving images. Therefore, an optimum highlight is detected for each user. be able to.

本実施形態では、動画解析部136は、動画のシーンを解析するとともに、各シーンのシーンタグを特定してシーンに関連付ける。そして、見所検出部137は、ユーザ特性情報に対応するシーンタグが含まれるシーンを見所として検出する。
このように、本実施形態では、各シーンにシーンタグが付されているので、ユーザ特性情報に対応するシーンを容易に特定することができる。また、各シーンの状況(明るいシーンや楽しいシーン等)のみでは、ユーザが望むシーンであるか否かの判定は困難となるが、キーワード情報であるシーンタグに基づいた見所の検出を行うことで、ユーザの望む見所の検出精度を向上させることができる。
In the present embodiment, the moving image analysis unit 136 analyzes the scene of the moving image, specifies the scene tag of each scene, and associates the scene tag with the scene. Then, the highlight detection unit 137 detects, as a highlight, a scene including a scene tag corresponding to the user characteristic information.
As described above, in the present embodiment, since the scene tag is attached to each scene, the scene corresponding to the user characteristic information can be easily specified. Also, it is difficult to determine whether or not the scene is a scene desired by the user only with the situation of each scene (a bright scene, a fun scene, or the like). However, by detecting a highlight based on a scene tag that is keyword information. Thus, it is possible to improve the detection accuracy of the highlight desired by the user.

本実施形態のサーバ装置10では、制御部13は、動画内の再生位置を変更するジャンプ操作を含む操作情報を取得する操作情報取得部134としても機能する。そして、視聴傾向判定部132は、取得した視聴履歴のジャンプ先に対応するシーンのシーンタグを検出する。また、視聴傾向判定部132は、視聴履歴に記録された各動画に対して、ジャンプ先のシーンタグののべ抽出回数をカウントして、第一値以上である場合に、そのユーザの動画視聴傾向としてユーザ情報に記録する。
このように、ユーザの過去の動画の視聴実績から、ユーザの動画視聴傾向を判定することで、ユーザにとっての動画の見所を精度良く検出することができる。
In the server device 10 of the present embodiment, the control unit 13 also functions as an operation information acquisition unit 134 that acquires operation information including a jump operation for changing a reproduction position in a moving image. Then, the viewing tendency determining unit 132 detects the scene tag of the scene corresponding to the jump destination of the acquired viewing history. In addition, the viewing tendency determination unit 132 counts the total number of times the scene tag at the jump destination has been extracted for each moving image recorded in the viewing history. It is recorded in the user information as a tendency.
As described above, by determining the user's video viewing tendency from the past video viewing results of the user, it is possible to accurately detect highlights of the video for the user.

本実施形態では、制御部13は、複数のユーザを、ユーザ特性情報に応じて複数のグループに分類するグループ分類部133としても機能する。そして、見所検出部137は、ユーザが分類されたグループに属する複数の他のユーザ(グループメンバー)の動画の視聴履歴に基づいて、見所を検出する。
ユーザが属するグループの他のグループメンバーは、ユーザと同じようなユーザ特性を有しており、視聴履歴も類似したものとなり、動画に対して見所と感じるシーンや、好きな動画のカテゴリ等が類似する。したがって、グループメンバーの視聴履歴に基づいて見所を検出することで、ユーザが初めて視聴する動画に対しても、その見所を精度良く検出することができる。
In the present embodiment, the control unit 13 also functions as a group classification unit 133 that classifies a plurality of users into a plurality of groups according to the user characteristic information. Then, the highlight detection unit 137 detects the highlight based on the viewing histories of the moving images of a plurality of other users (group members) belonging to the group into which the user is classified.
Other group members of the group to which the user belongs have the same user characteristics as the user, have a similar viewing history, and have similar scenes that are interesting to the video and categories of the favorite video. I do. Therefore, by detecting the highlight based on the viewing history of the group members, it is possible to accurately detect the highlight even for the moving image that the user views for the first time.

見所検出部137は、グループに属する複数のユーザの操作情報に基づいて、見所を検出する。
より具体的には、本実施形態では、視聴傾向判定部132は、各グループに対して、第一数以上のユーザが視聴した動画で、第二数以上のユーザが、同じシーンをジャンプ先とした操作情報を送信している場合、そのシーンを見所とした動画別見所分類情報を生成してグループ情報に記録し、見所検出部137は、この動画別見所分類情報に基づいて、見所を検出する。つまり、見所検出部137は、再生対象動画を視聴したグループメンバーの、当該再生対象動画に対する操作情報に、共通するジャンプ操作がある場合に、そのジャンプ先に対応するシーンを見所として検出する。
この場合、ユーザが、再生対象動画を始めてみる場合等、ユーザの視聴履歴に基づいた見所の検出が困難である場合でも、ユーザが属するグループの他のグループメンバーの視聴実績に基づいて、その動画に対する見所を好適に検出できる。
The highlight detection unit 137 detects highlights based on operation information of a plurality of users belonging to the group.
More specifically, in the present embodiment, the viewing tendency determination unit 132 determines, for each group, a video that has been watched by at least a first number of users, and at least a second number of users have selected the same scene as a jump destination. When the transmitted operation information is transmitted, the highlight classification information for each moving image with the scene as a highlight is generated and recorded in the group information, and the highlight detecting unit 137 detects the highlight based on the highlight classification information for each moving image. I do. That is, when there is a common jump operation in the operation information on the playback target moving image of the group member who has watched the playback target moving image, the highlight detection unit 137 detects the scene corresponding to the jump destination as a highlight.
In this case, even when it is difficult to detect a highlight based on the user's viewing history, such as when the user starts a playback target video, the video is displayed based on the viewing results of other group members to which the user belongs. Can be suitably detected.

さらには、本実施形態では、視聴傾向判定部132は、各グループに対して、第三数以上のユーザが視聴した同一カテゴリの動画で、第四数以上のユーザが、同じシーンをジャンプ先とした操作情報を送信している場合、そのシーンのシーンタグを、動画カテゴリと関連付けたカテゴリ別見所分類情報を生成してグループ情報に記録する。そして、見所検出部137は、このカテゴリ別見所分類情報に基づいて、見所を検出する。つまり、見所検出部137は、再生対象動画と同一カテゴリの動画(類似動画)を視聴したグループメンバーで、当該カテゴリの動画に対して共通するジャンプ操作が有る場合に、そのジャンプ操作のジャンプ先に対するシーンのシーンタグに基づいて、見所を検出する。
この場合、再生対象動画に対する動画別見所分類情報が記録されていない場合でも、グループメンバーの再生対象動画と同一カテゴリの動画に対するシーンタグに基づいて、見所を検出することができる。
Furthermore, in the present embodiment, the viewing tendency determination unit 132 determines that, for each group, in the videos of the same category that are viewed by the third or more users, the fourth or more users select the same scene as the jump destination. If the operation information is transmitted, the scene tag of the scene is generated as category-specific high-level classification information associated with the moving image category and recorded in the group information. Then, the highlight detection unit 137 detects a highlight based on the category-specific highlight classification information. In other words, if a group member who has watched a video (similar video) in the same category as the video to be played back has a common jump operation with respect to the video in the category, the highlight detection unit 137 determines that the jump destination of the jump operation is The highlight is detected based on the scene tag of the scene.
In this case, even when the moving image-specific highlight classification information for the playback target video is not recorded, the highlight can be detected based on the scene tag for the video in the same category as the playback target video of the group member.

そして、本実施形態では、制御部13は、さらに、動画の見所に挿入する広告を選択する広告選択部138、及び、選択された広告を見所の始まり位置を中心とした所定範囲内の位置に挿入して送信する動画送信部139としても機能する。
これにより、ユーザが見所の位置にジャンプ操作を行った際に、動画に広告が挿入されることになる。動画の見所は、ユーザにとって興味度が高い部分であり、広告が挿入されていても広告を視聴する確率が高く、広告効果の向上を図れる。
Then, in the present embodiment, the control unit 13 further selects an advertisement to be inserted into the highlight of the moving image, and sets the selected advertisement to a position within a predetermined range around the start position of the highlight. It also functions as a moving image transmitting unit 139 for inserting and transmitting.
Thus, when the user performs a jump operation to the position of the highlight, the advertisement is inserted into the moving image. The highlight of the moving image is a portion that is highly interesting for the user, and even if the advertisement is inserted, the probability of viewing the advertisement is high, and the advertisement effect can be improved.

この際、広告選択部138は、ユーザ特性情報に基づいて、広告を選択する。このため、見所となるシーンや、ユーザ属性に対して関連性が高い広告が挿入される。つまり、見所となるシーンを視聴するユーザにとって興味度が高い広告を挿入することができるので、広告効果の更なる向上を図れる。   At this time, the advertisement selecting unit 138 selects an advertisement based on the user characteristic information. For this reason, an advertisement having high relevance to a highlight scene or a user attribute is inserted. That is, it is possible to insert an advertisement having a high degree of interest for a user who views a scene as a highlight, so that the advertisement effect can be further improved.

そして、動画送信部139は、ジャンプ操作のジャンプ先が、見所の始まり位置を中心とした所定の判定値以内の位置である場合に、当該ジャンプ操作が見所へのジャンプ操作であるとして判定し、見所の始まり位置を中心とした所定範囲内の位置に挿入して動画を送信する。
つまり、図7に示すように、時間表示バー21Cに対する再生位置カーソル21Dの位置を移動させて、動画の再生位置(ジャンプ先)を指定する場合、見所のシーン始まり位置に再生位置カーソル21Dを移動させてジャンプ先を指定しても、シーン始まり位置からずれる場合がある。また、ユーザが意図的に、シーン始まり位置からずらして、再生位置カーソル21Dを移動させる場合もある。本実施形態では、このような場合でも、ジャンプ先が見所に対する移動であると判定することができ、見所から視聴するユーザに広告を視聴させることができる。
また、判定値としては、乱数を設定することが好ましい。これによって、ユーザが、広告が挿入されないように、ジャンプ先を調整することが困難となり、ユーザが意図的に広告を外して見所を視聴しようとする操作を抑制することができる。
さらに、動画送信部139は、ジャンプ操作によって指定されたジャンプ先の位置に広告を挿入する。例えば、見所の始まり位置に広告を挿入すると、見所の始まり位置よりも少し先の位置をジャンプ先と指定すると、広告が再生されない。これに対して、ジャンプ先を広告挿入位置とすることで、確実にユーザに広告を視聴させることができる。
Then, the moving image transmitting unit 139 determines that the jump operation is a jump operation to a highlight when the jump destination of the jump operation is a position within a predetermined determination value around the start position of the highlight, The moving image is inserted at a position within a predetermined range around the start position of the highlight.
That is, as shown in FIG. 7, when the position of the reproduction position cursor 21D with respect to the time display bar 21C is moved to specify the reproduction position (jump destination) of the moving image, the reproduction position cursor 21D is moved to the scene start position of the highlight. Even if a jump destination is specified, the position may deviate from the scene start position. In some cases, the user intentionally moves the playback position cursor 21 </ b> D so as to be shifted from the scene start position. In the present embodiment, even in such a case, it can be determined that the jump destination is a movement to a highlight, and a user viewing from the highlight can view the advertisement.
Also, it is preferable to set a random number as the determination value. This makes it difficult for the user to adjust the jump destination so that the advertisement is not inserted, and it is possible to suppress an operation in which the user intentionally removes the advertisement and tries to view the highlight.
Further, the moving image transmitting unit 139 inserts an advertisement at a position of a jump destination specified by a jump operation. For example, if an advertisement is inserted at the start position of the highlight, if the position slightly ahead of the start position of the highlight is designated as the jump destination, the advertisement is not reproduced. On the other hand, by setting the jump destination to the advertisement insertion position, the user can be surely viewed the advertisement.

[第二実施形態]
次に、本発明の第二実施形態について説明する。
上述した第一実施形態では、ユーザ操作に、見所に対するジャンプ操作が含まれる場合に、必ず見所の位置に広告が挿入される例であるが、これに限定さない。すなわち、第二実施形態では、見所にジャンプした際の広告の再生条件が第一実施形態と異なり、条件によっては、見所にジャンプした場合でも広告が挿入されない点で上記第一実施形態と相違する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described.
In the first embodiment described above, when the user operation includes a jump operation for a highlight, an advertisement is always inserted at the position of the highlight, but the present invention is not limited to this. That is, the second embodiment differs from the first embodiment in the reproduction condition of the advertisement when jumping to the highlight, and differs from the first embodiment in that the advertisement is not inserted even when jumping to the highlight depending on the condition. .

本実施形態では、図5のステップS33において、さらに、ジャンプ先へのジャンプ量に基づいた広告挿入判定を実施する。
第二実施形態では、図5のステップS33において、以下の処理を実施する。
つまり、本実施形態では、ステップS32においてYesと判定(操作情報に含まれるジャンプ操作が、見所へのジャンプ先であると判定)された場合、まず、現在の動画の再生位置からジャンプ先までの時間(ジャンプ先へのジャンプ量)を算出する。例えば、開始位置(00:00:00)から、見所に対応したジャンプ先(00:50:00)に移動する操作情報を受信した場合、ジャンプ量は50分となる。
In the present embodiment, in step S33 of FIG. 5, an advertisement insertion determination is further performed based on the jump amount to the jump destination.
In the second embodiment, the following processing is performed in step S33 of FIG.
That is, in the present embodiment, when it is determined to be Yes in step S32 (the jump operation included in the operation information is determined to be a jump destination to a highlight), first, the current playback position of the moving image to the jump destination is determined. Calculate the time (the amount of jump to the jump destination). For example, when operation information for moving from the start position (00: 00: 00: 00) to the jump destination (00:50:00) corresponding to the highlight is received, the jump amount is 50 minutes.

そして、算出されたジャンプ量が、予め設定された所定値以上である場合に、動画送信部139は、ジャンプ先を広告の挿入位置として、広告コンテンツを再生させた後、ジャンプ先から動画が再生されるように動画送信を行う。
なお、動画における再生位置をフレーム画像の配置順で判定する場合は、現在再生中のフレーム番号と、ジャンプ先のフレーム番号との差(または、現在再生中のフレーム画像と、ジャンプ先のフレーム画像との間に配置されるフレーム画像の数)を算出して、所定値以上であるか否かを判定すればよい。
Then, when the calculated jump amount is equal to or larger than a predetermined value, the moving image transmitting unit 139 sets the jump destination as the insertion position of the advertisement, reproduces the advertisement content, and then reproduces the moving image from the jump destination. Video transmission so that
When the playback position in the moving image is determined based on the arrangement order of the frame images, the difference between the currently playing frame number and the jump destination frame number (or the currently playing frame image and the jump destination frame image). (The number of frame images arranged between the two) may be calculated to determine whether the number is equal to or greater than a predetermined value.

このような本実施形態では、見所に近い再生位置から、見所の位置にジャンプ操作を行った場合には、広告が挿入されず、現在の再生位置から見所の位置とが所定値以上離れている場合に、広告の挿入を行う。したがって、例えば、ユーザが何度も見所を繰り返して再生したい場合等に、見所にジャンプする毎に広告が挿入されることがなく、ユーザの動画視聴を妨げず、ユーザ満足度を向上させることができる。   In this embodiment, when a jump operation is performed from a reproduction position close to the highlight to a position of the highlight, no advertisement is inserted, and the position of the highlight is separated from the current reproduction position by a predetermined value or more. If so, insert the ad. Therefore, for example, when the user wants to reproduce the highlight repeatedly, the advertisement is not inserted every time the user jumps to the highlight, the user's viewing of the moving image is not hindered, and the user satisfaction is improved. it can.

[その他の実施形態]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
[Other Embodiments]
Note that the present invention is not limited to the above-described embodiment, and includes the following modifications as long as the object of the present invention can be achieved.

[変形例1]
第二実施形態では、動画送信部139は、現在の再生位置から、ジャンプ操作によるジャンプ先までのジャンプ量を算出し、見所に近い再生位置から見所にジャンプした場合には、広告の挿入を行わない例を示した。これに対して、見所へのジャンプ回数によって、広告を挿入するか否かを判定してもよい。
例えば、動画送信部139は、見所へジャンプ操作が1回目である場合に、ジャンプ先(見所の始まり位置を中心とした所定範囲内)に広告を挿入し、同じ見所に対する2回目以降のジャンプ操作では、ジャンプ先での広告挿入を行わずに動画を送信してもよい。
[Modification 1]
In the second embodiment, the moving image transmission unit 139 calculates a jump amount from a current playback position to a jump destination by a jump operation, and inserts an advertisement when a jump from a playback position close to a highlight to a highlight occurs. No examples were given. On the other hand, whether to insert the advertisement may be determined based on the number of jumps to the highlight.
For example, when the jump operation to the highlight is the first time, the moving image transmitting unit 139 inserts an advertisement into the jump destination (within a predetermined range centering on the start position of the highlight), and performs the second and subsequent jump operations on the same highlight. Then, the moving image may be transmitted without inserting the advertisement at the jump destination.

或いは、同じ見所へのジャンプ操作の回数によって、広告を挿入するか否かを判定してもよい。例えば、4k+1(kは0以上の整数)回目のジャンプ操作を取得した場合に、ジャンプ先に広告を挿入して動画送信を行い、それ以外(4k回目、4k+2回目,4k+3回目)のジャンプ操作を取得した場合には、広告を挿入せずにジャンプ先から動画が再生されるように動画送信を行ってもよい。
この際、動画のカテゴリやシーンタグによって、係数kを変更してもよい。例えば、シーンタグ「料理レシピ」が関連付けられた見所に対しては、k=5が設定され、シーンタグ「音楽」が関連付けられた見所に対しては、k=3が設定されていてもよい。
Alternatively, whether to insert an advertisement may be determined based on the number of jump operations to the same highlight. For example, when the 4k + 1 (k is an integer of 0 or more) jump operation is acquired, an advertisement is inserted at the jump destination and a moving image is transmitted, and the other (4k, 4k + 2, 4k + 3) jump operations are performed. When the moving image is acquired, the moving image may be transmitted so that the moving image is reproduced from the jump destination without inserting the advertisement.
At this time, the coefficient k may be changed according to the category or scene tag of the moving image. For example, k = 5 may be set for a highlight associated with the scene tag “cooking recipe”, and k = 3 may be set for a highlight associated with the scene tag “music”. .

また、ユーザ特性に基づいて、動画のカテゴリやシーンタグに対する係数kがユーザ毎に設定されていてもよい。例えば、上記実施形態では、動画視聴傾向は、視聴履歴に基づいて、ジャンプ先のシーンタグののべ抽出回数に基づいて設定される。のべ抽出回数が多いシーンタグは、ユーザが特に好むシーンであり、広告を挿入しても動画を視聴する傾向が高い。よって、のべ抽出回数に応じて係数kの値を小さくしてもよい。   Further, a coefficient k for a category of a moving image or a scene tag may be set for each user based on the user characteristics. For example, in the above embodiment, the moving image viewing tendency is set based on the total number of times the scene tag at the jump destination is extracted based on the viewing history. A scene tag with a high total number of times of extraction is a scene particularly preferred by the user, and tends to watch a moving image even if an advertisement is inserted. Therefore, the value of the coefficient k may be reduced according to the total number of extractions.

さらに、見所に対する広告挿入を行った際の、複数のユーザの操作情報に基づいて、係数kを変更してもよい。例えば広告を挿入した後、見所へのジャンプ回数が減少した場合係数kを大きくしてもよい。   Further, the coefficient k may be changed based on operation information of a plurality of users when an advertisement is inserted for a highlight. For example, after the advertisement is inserted, the coefficient k may be increased when the number of jumps to the highlight decreases.

[変形例2]
ステップS50及びステップS51においてNoと判定された場合、見所を検出しないとしたが、これに限定されない。例えば、動画別見所分類情報やカテゴリ別見所分類情報としては登録されていないが、グループメンバーの視聴履歴に、再生対象動画に含まれるシーンタグを有するシーンをジャンプ先とした操作情報が有るか否かを判定して、ある場合にそのシーンタグを見所と検出してもよい。さらに、グループメンバー以外(ユーザ属性や動画視聴傾向が異なるユーザ)の視聴履歴に基づいて、見所を検出してもよい。
[Modification 2]
When it is determined No in Step S50 and Step S51, the highlight is not detected, but the present invention is not limited to this. For example, whether or not there is operation information in which the scene having the scene tag included in the reproduction target video is a jump destination in the viewing history of the group member, although the registration is not registered as the highlight classification information by moving image or the highlight classification information by category. Then, the scene tag may be detected as a highlight in a certain case. Further, highlights may be detected based on viewing histories of members other than group members (users having different user attributes and moving image viewing trends).

[変形例3]
上記実施形態では、見所検出部137は、ユーザが動画に対する操作を行った際の操作情報(ジャンプ操作)に基づいて見所を検出する例を示したが、これに限定されない。
見所検出部137は、動画を視聴中の、ユーザのジャンプ操作以外の操作に基づいて見所を検出してもよい。例えば、動画の視聴画面、または別ウインドウに、検索ボックスを表示させ、検索ボックスで検索キーワードが入力されて、ユーザ端末20から検索要求を受信した場合に、検索要求を受信した際に再生されていたシーンのシーンタグを、動画視聴傾向に加えてもよい。または、動画の視聴終了後等に実施された検索処理の検索キーワードに対応するシーンタグを動画視聴傾向に加えてもよい。
また、動画再生時に、再生されているシーンのシーンタグを表示させ、ユーザによって当該シーンタグが選択されることで、シーンタグに関する検索処理が実施される態様としてもよい。この場合も同様に、見所検出部137は、選択されたシーンタグを動画視聴傾向に加えてもよい。
さらに、検索履歴の他、ネットショッピング等のユーザのインターネット上での行動履歴等に基づいて、見所を検出してもよい。
[Modification 3]
In the above-described embodiment, an example has been described in which the highlight detection unit 137 detects a highlight based on operation information (jump operation) when a user performs an operation on a moving image. However, the present disclosure is not limited thereto.
The highlight detection unit 137 may detect a highlight based on an operation other than the user's jump operation while watching a moving image. For example, when a search box is displayed on a video viewing screen or a separate window, a search keyword is input in the search box, and a search request is received from the user terminal 20, playback is performed when the search request is received. The scene tag of the scene that has been added may be added to the moving image viewing tendency. Alternatively, a scene tag corresponding to a search keyword of a search process performed after the end of viewing of a moving image may be added to the moving image viewing tendency.
Further, at the time of moving image reproduction, a scene tag of a scene being reproduced may be displayed, and the scene tag may be selected by the user, so that a search process regarding the scene tag may be performed. In this case, similarly, the highlight detection unit 137 may add the selected scene tag to the moving image viewing tendency.
Furthermore, highlights may be detected based on a user's action history on the Internet, such as online shopping, in addition to the search history.

また、上記例は、見所検出部137による、検索履歴等のインターネット上の行動履歴に基づいた見所の検出処理であるが、ユーザ特性取得部である視聴傾向判定部132がインターネット上の行動履歴に基づいてユーザ特性情報を取得してもよい。
つまり、上記実施形態では、操作情報取得部134は、動画に対する操作情報のほか、ユーザのインターネット上の行動履歴をも取得する。視聴傾向判定部132は、このようなインターネット上の行動履歴に基づいて、ユーザ属性を判定し、ユーザ情報に記録してもよい。例えば、ユーザが実施した検索処理において、同じ検索キーワードを用いた検索処理が複数回実施された場合、当該検索キーワードをユーザ特性情報として記録してもよい。また、ユーザの購入履歴において、複数回、同じ商品を購入している場合、当該購入された商品や商品カテゴリを、ユーザ特性情報として記録してもよい。
In the above example, the highlight detection process is performed by the highlight detection unit 137 based on the history of the Internet such as the search history. User characteristic information may be obtained based on the information.
That is, in the above embodiment, the operation information acquisition unit 134 acquires the user's action history on the Internet in addition to the operation information for the moving image. The viewing tendency determination unit 132 may determine a user attribute based on such an action history on the Internet and record the attribute in the user information. For example, in a search process performed by a user, when a search process using the same search keyword is performed a plurality of times, the search keyword may be recorded as user characteristic information. When the same product is purchased a plurality of times in the user's purchase history, the purchased product or product category may be recorded as user characteristic information.

また、視聴傾向判定部132は、インターネット上の行動履歴等に基づいたユーザ属性と、動画に対する操作情報のジャンプ操作に対応したシーンのシーンタグとに基づいて、ユーザ特性情報を取得してもよい。例えば、シーンタグと、ユーザ属性との関連度を示したタグ関連データベースを記憶部12に記憶しておく。そして、視聴傾向判定部132は、ジャンプ操作に対応したシーンのシーンタグのうち、ユーザ属性と関連度が高いシーンタグを抽出して、ユーザ特性情報として記録する。この場合、ユーザ特性情報に記録されている各ユーザ属性や、動画視聴傾向(シーンタグ)において、優先度を設定し、ユーザ属性と関連性が高いシーンタグに対する優先度を多より高くする等の処理を行ってもよい。   In addition, the viewing tendency determination unit 132 may acquire the user characteristic information based on a user attribute based on an action history on the Internet or the like and a scene tag of a scene corresponding to a jump operation of operation information on a moving image. . For example, a tag-related database indicating the degree of relevance between a scene tag and a user attribute is stored in the storage unit 12. Then, the viewing tendency determination unit 132 extracts a scene tag having a high degree of association with the user attribute from scene tags of a scene corresponding to the jump operation, and records the extracted scene tag as user characteristic information. In this case, priority is set in each user attribute recorded in the user characteristic information or in the moving image viewing tendency (scene tag), and the priority for a scene tag having a high relevance to the user attribute is set to be higher than many. Processing may be performed.

具体例を挙げて説明すると、操作情報取得部134が、ユーザが視聴した動画に関して、「芸能人Y」「料理」「アーティストX」「曲名Z」のシーンタグを有するシーンをジャンプ先とした操作情報を取得する。また、操作情報取得部134は、当該ユーザの普段のインターネット上での行動履歴として、検索キーワードを「アイドル」とした複数回の検索処理を実施する旨の操作情報を取得しているものとする。ここで、タグ関連データベースとして、各シーンタグの検索キーワード「アイドル」に対する関連度として、「芸能人Y:1.0」、「料理:0.3」、「アーティストX:0.4」、「曲名Z:0.4」が記録されている場合、視聴傾向判定部132は、「芸能人Y」を動画視聴傾向のシーンタグとして抽出し、ユーザ特性情報を更新する。   More specifically, the operation information obtaining unit 134 sets the operation information with the scenes having the scene tags of “Entertainer Y”, “Cooking”, “Artist X”, and “Song Title Z” as the jump destination for the moving picture watched by the user. To get. It is also assumed that the operation information acquisition unit 134 has acquired operation information indicating that the search keyword is to be executed a plurality of times with the search keyword being “idle”, as the user's usual action history on the Internet. . Here, as the tag-related database, as the degree of relevance to the search keyword “idol” of each scene tag, “entertainer Y: 1.0”, “dish: 0.3”, “artist X: 0.4”, “song name” When “Z: 0.4” is recorded, the viewing tendency determination unit 132 extracts “entertainer Y” as a scene tag of the moving image viewing tendency and updates the user characteristic information.

[変形例4]
第一実施形態では、複数の操作情報に基づいて、ジャンプ先のシーンタグを抽出し、のべ抽出回数が所定の第一値以上となったシーンタグを、動画視聴傾向として記録した。これに対して、のべ抽出回数が所定の第二値以上となったシーンタグを、ユーザ属性として、ユーザ情報に記録してもよい。ここで、第一値と第二値とは同じ数値であってもよく、異なる値であってもよい。同じ値である場合、のべ抽出回数が第一値以上となるシーンタグは、動画視聴傾向としても、ユーザ属性としても記録される。
また、第二値が第一値よりも大きくてもよい。この場合、視聴傾向判定部132は、抽出されたシーンタグののべ抽出回数が第一値以上となった場合に、当該シーンタグを動画視聴傾向として記録し、のべ抽出回数がさらに多い場合は、ユーザがより好む分野である可能性が高いので、ユーザ属性として記録する。
[Modification 4]
In the first embodiment, a scene tag at a jump destination is extracted based on a plurality of pieces of operation information, and a scene tag whose total number of extractions is equal to or greater than a predetermined first value is recorded as a moving image viewing tendency. On the other hand, a scene tag for which the total number of extractions is equal to or more than a predetermined second value may be recorded as user attributes in the user information. Here, the first value and the second value may be the same numerical value or different values. In the case of the same value, a scene tag for which the total number of extractions is equal to or more than the first value is recorded as a moving image viewing tendency or as a user attribute.
Further, the second value may be larger than the first value. In this case, the viewing tendency determining unit 132 records the scene tag as a moving image viewing tendency when the total number of times of the extracted scene tag is equal to or greater than the first value. Is highly likely to be a field that the user prefers, so it is recorded as a user attribute.

また、サーバ装置10は、ユーザ情報に基づいたレコメンド情報をユーザ端末20に送信してもよい。この場合、サーバ装置10の制御部13は、ユーザ端末に、ユーザ情報に基づいたお勧め商品やお勧めサービスをレコメンドするレコメンド情報を送信するレコメンド送信部として機能する。このレコメンド送信部は、複数のレコメンド情報を記録するレコメンドDBから、ユーザ情報に対応したレコメンド情報を選択して、ユーザ端末20に送信する。
このような構成では、レコメンド情報を送信する際のユーザ属性と、過去の動画視聴履歴に基づいて、ユーザにとっての見所を高い精度で検出することができる。これに加え、過去の動画の視聴履歴に基づくユーザの好む見所に対応したキーワードが、ユーザ属性として追加されるので、レコメンド情報の配信においても、ユーザの好みに対応したレコメンド情報を高精度に選択することができ、ユーザ満足度をより高めることができる。
In addition, the server device 10 may transmit recommendation information based on the user information to the user terminal 20. In this case, the control unit 13 of the server device 10 functions as a recommendation transmission unit that transmits recommendation information for recommending recommended products and services based on the user information to the user terminal. The recommendation transmission unit selects recommendation information corresponding to the user information from a recommendation DB that records a plurality of recommendation information, and transmits the selected recommendation information to the user terminal 20.
With such a configuration, highlights for the user can be detected with high accuracy based on the user attribute when transmitting the recommendation information and the past video viewing history. In addition, a keyword corresponding to the user's favorite highlight based on the viewing history of the past video is added as a user attribute, so that even in the distribution of recommendation information, the recommendation information corresponding to the user's preference is selected with high accuracy. And user satisfaction can be further increased.

[変形例5]
上記実施形態では、図6に示すように、ユーザが動画を初めて閲覧するものか否か、再生対象動画にユーザ特性に対応するシーンタグが含まれるか否か、再生対象動画が動画別分類見所情報に記録された動画であるか否か、再生対象動画のカテゴリに対応するカテゴリ別分類見所情報があり、そのシーンタグが再生対象動画に有るか否か、のそれぞれを順に判定して、見所を検出する例を示したが、これに限定されない。これらのうちの1つまたは複数の処理によって見所を検出してもよい。
[Modification 5]
In the above embodiment, as shown in FIG. 6, whether or not the user browses a moving image for the first time, whether or not the reproduction target moving image includes a scene tag corresponding to the user characteristic, whether the reproduction target moving image is classified by moving image Whether or not the video is recorded in the information, there is classified highlight information by category corresponding to the category of the video to be played back, and whether or not the scene tag is in the video to be played back, each is sequentially determined, Although the example which detects is shown, it is not limited to this. The highlight may be detected by one or more of these processes.

また、例えば、動画に対してユーザが実施した操作情報(ジャンプ操作)と、ユーザ特性情報と、を教師データとして蓄積し、動画ID及びユーザ特性情報を入力、再生対象動画に対する見所のシーンを出力とした学習モデルを機械学習により生成してもよい。この場合、見所検出部は、学習モデルに対して、動画ID及びユーザ特性情報を入力するだけで、見所を検出することができる。
さらに、上記実施形態では、ユーザ特性情報は、ユーザ属性及び動画視聴傾向である例を示したが、操作情報を含む動画の視聴履歴がユーザ特性情報に含まれてもよい。この場合、見所検出部は、ユーザ属性、過去に視聴した動画のカテゴリ、及び、その動画に対して実施したジャンプ操作から、再生対象動画において、ユーザがジャンプ操作するシーン(見所)を推測する学習モデルを用いて、見所を検出する。
In addition, for example, operation information (jump operation) performed by the user on a moving image and user characteristic information are accumulated as teacher data, a moving image ID and user characteristic information are input, and a highlight scene for the reproduction target moving image is output. May be generated by machine learning. In this case, the highlight detection unit can detect the highlight only by inputting the moving image ID and the user characteristic information to the learning model.
Furthermore, in the above-described embodiment, an example has been described in which the user characteristic information is a user attribute and a moving image viewing tendency, but a viewing history of a moving image including operation information may be included in the user characteristic information. In this case, the highlight detection unit estimates the scene (the highlight) where the user performs the jump operation in the video to be reproduced from the user attribute, the category of the video that has been viewed in the past, and the jump operation performed on the video. The highlight is detected using the model.

[変形例6]
上記実施形態では、サーバ装置10は、ユーザ端末20で動画をストリーミング方式で送信する例を示し、ストリーミング再生中の動画に対してユーザが操作を行った際に、ステップS28からステップS33の処理を実施することで、見所に広告を挿入した。これに対して、ストリーミング方式ではなく、プログレッシブダウンロード方式による動画を送信してもよい。
この場合、動画送信部139は、動画の開始位置や、見所の位置に広告を挿入した動画コンテンツを生成して、ユーザ端末20に送信すればよい。また、動画に対する操作を実施した際の広告挿入動作を制御するプログラムを動画に組み込んで送信してもよい。
[Modification 6]
In the above embodiment, the server device 10 shows an example in which a moving image is transmitted by the user terminal 20 by the streaming method. When the user performs an operation on the moving image during the streaming reproduction, the server device 10 performs the processing from step S28 to step S33. By doing so, an advertisement was inserted at the highlight. On the other hand, a moving image may be transmitted not by the streaming method but by the progressive download method.
In this case, the moving image transmitting unit 139 may generate moving image content in which an advertisement is inserted at a start position of a moving image or a position of a highlight, and transmit the generated moving image content to the user terminal 20. In addition, a program for controlling an advertisement insertion operation when an operation on a moving image is performed may be transmitted by being incorporated into the moving image.

その他、本発明の実施の際の具体的な構造及び手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。   In addition, specific structures and procedures for implementing the present invention can be appropriately changed to other structures or the like as long as the object of the present invention can be achieved.

1…情報処理システム、10…サーバ装置(情報処理装置)、12…記憶部、13…制御部、20…ユーザ端末、21…ディスプレイ、21A…動画再生画面、21B…動画表示枠、21C…時間表示バー、21D…再生位置カーソル、21F…見所表示部、131…ユーザ登録部(ユーザ特性取得部)、132…視聴傾向判定部(ユーザ特性取得部)、133…グループ分類部、134…操作情報取得部、135…動画取得部、136…動画解析部(シーン特定部)、137…見所検出部、138…広告選択部、139…動画送信部。   DESCRIPTION OF SYMBOLS 1 ... Information processing system, 10 ... Server apparatus (information processing apparatus), 12 ... Storage part, 13 ... Control part, 20 ... User terminal, 21 ... Display, 21A ... Moving picture reproduction screen, 21B ... Moving picture display frame, 21C ... Time Display bar, 21D: playback position cursor, 21F: highlight display unit, 131: user registration unit (user characteristic acquisition unit), 132: viewing tendency determination unit (user characteristic acquisition unit), 133: group classification unit, 134: operation information Acquisition unit, 135: video acquisition unit, 136: video analysis unit (scene specifying unit), 137: highlight detection unit, 138: advertisement selection unit, 139: video transmission unit

Claims (22)

動画に含まれる複数のシーンを特定するシーン特定部と、
前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部と、
前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた見所を検出する見所検出部と、
を備えることを特徴とする情報処理装置。
A scene identification unit that identifies a plurality of scenes included in the video,
A user characteristic acquisition unit that acquires user characteristic information relating to characteristics of a user who views the video,
Among a plurality of the scenes in the moving image, a highlight detection unit that detects a highlight according to a characteristic of the user,
An information processing apparatus comprising:
請求項1に記載の情報処理装置において、
前記シーン特定部は、前記動画を解析して前記シーンを特定するとともに、各前記シーンに対して当該シーンに関連するタグを付与し、
前記見所検出部は、前記ユーザの特性に対応する前記タグが含まれる前記シーンを、前記見所として検出する
ことを特徴とする情報処理装置。
The information processing device according to claim 1,
The scene identification unit analyzes the moving image to identify the scene, and assigns a tag related to the scene to each of the scenes,
The information processing apparatus, wherein the highlight detection unit detects, as the highlight, the scene including the tag corresponding to the characteristic of the user.
請求項2に記載の情報処理装置において、
前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報を取得する操作情報取得部を備え、
前記ユーザ特性取得部は、過去に視聴した前記動画に対する前記操作情報から、前記ジャンプ操作の前記ジャンプ先に対応する前記シーンの前記タグを前記ユーザ特性情報として取得する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 2,
An operation information acquisition unit that acquires operation information including a jump operation of changing a playback position in the video to a predetermined jump destination,
The information processing apparatus, wherein the user characteristic acquisition unit acquires, as the user characteristic information, the tag of the scene corresponding to the jump destination of the jump operation from the operation information on the moving image viewed in the past. .
請求項3に記載の情報処理装置において、
前記ユーザ特性取得部は、過去に視聴した前記動画に対する前記操作情報から、前記ジャンプ操作の前記ジャンプ先に対応する前記シーンの前記タグを抽出し、抽出された回数が第一値以上となる前記タグを前記ユーザ特性情報として取得する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 3,
The user characteristic acquisition unit extracts the tag of the scene corresponding to the jump destination of the jump operation from the operation information on the moving image viewed in the past, and the number of times of extraction is equal to or greater than a first value. An information processing apparatus, wherein a tag is acquired as the user characteristic information.
請求項4に記載の情報処理装置において、
前記ユーザ特性情報は、前記ユーザの属性と、前記ユーザの前記動画に対する視聴傾向とを含み、
前記ユーザ特性取得部は、過去に視聴した前記動画に対する前記操作情報から、前記ジャンプ操作の前記ジャンプ先に対応する前記シーンの前記タグを抽出し、抽出された回数が第二値以上となる前記タグを前記ユーザの属性として取得する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 4,
The user characteristic information includes an attribute of the user and a viewing tendency of the user for the moving image,
The user characteristic acquisition unit extracts the tag of the scene corresponding to the jump destination of the jump operation from the operation information on the moving image viewed in the past, and the number of times the extracted number is equal to or greater than a second value. An information processing apparatus, wherein a tag is acquired as an attribute of the user.
請求項5に記載の情報処理装置において、
前記ユーザの属性に基づいて前記ユーザが操作するユーザ端末にレコメンド情報を送信するレコメンド送信部をさらに備える
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 5,
An information processing apparatus, further comprising: a recommendation transmission unit that transmits recommendation information to a user terminal operated by the user based on the attribute of the user.
請求項2に記載の情報処理装置において、
前記ユーザ特性取得部は、前記ユーザの属性を前記ユーザ特性情報として取得する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 2,
The information processing apparatus according to claim 1, wherein the user characteristic acquiring unit acquires an attribute of the user as the user characteristic information.
請求項7に記載の情報処理装置において、
前記ユーザの属性は、前記ユーザのインターネット上における行動履歴を含む
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 7,
The information processing apparatus, wherein the attribute of the user includes an action history of the user on the Internet.
請求項1に記載の情報処理装置において、
前記ユーザを、前記ユーザの特性に応じて複数のグループのいずれかに分類するグループ分類部を有し、
前記見所検出部は、前記ユーザが分類された前記グループに属する複数のユーザであるグループメンバーの前記動画の視聴履歴に基づいて、前記見所を検出する
ことを特徴とする情報処理装置。
The information processing device according to claim 1,
A group classification unit that classifies the user into any of a plurality of groups according to characteristics of the user,
The information processing apparatus, wherein the highlight detection unit detects the highlight based on a viewing history of the moving image of a group member that is a plurality of users belonging to the group into which the user is classified.
請求項9に記載の情報処理装置において、
前記視聴履歴には、前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報が含まれ、
前記見所検出部は、前記グループメンバーの前記操作情報に基づいて、前記見所を検出する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 9,
The viewing history includes operation information including a jump operation for changing a playback position in the moving image to a predetermined jump destination,
The information processing apparatus, wherein the highlight detection unit detects the highlight based on the operation information of the group member.
請求項10に記載の情報処理装置において、
前記見所検出部は、前記ユーザにより指定された再生対象動画を視聴した前記グループメンバーで共通する前記ジャンプ操作に基づいた前記見所を検出する
ことを特徴とする情報処理装置。
The information processing device according to claim 10,
The information processing apparatus, wherein the highlight detection unit detects the highlight based on the jump operation common to the group members who have watched the reproduction target moving image specified by the user.
請求項11に記載の情報処理装置において、
前記動画のカテゴリを解析するカテゴリ解析部を備え、
前記シーン特定部は、前記動画を解析して前記シーンを特定するとともに、各前記シーンに対して当該シーンに関連するタグを付与し、
前記見所検出部は、前記ユーザにより指定された再生対象動画と同一の前記カテゴリである類似動画を視聴した前記グループメンバーで共通する前記ジャンプ操作の、前記ジャンプ先の前記シーンに関連付けられた前記タグに基づいて、前記見所を検出する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 11,
A category analysis unit for analyzing a category of the video,
The scene identification unit analyzes the moving image to identify the scene, and assigns a tag related to the scene to each of the scenes,
The highlight detection unit, the tag associated with the scene of the jump destination of the jump operation of the jump operation common to the group members who have watched similar videos in the same category as the video to be played specified by the user The information processing apparatus, wherein the highlight is detected based on the information.
請求項1から請求項12のいずれか1項に記載の情報処理装置において、
前記動画の前記見所に挿入する広告を選択する広告選択部と、
選択された前記広告を、前記見所の始まり位置を中心とした所定範囲内の位置に挿入して、前記ユーザが操作するユーザ端末に前記動画を送信する動画送信部と、を備える
ことを特徴とする情報処理装置。
The information processing apparatus according to any one of claims 1 to 12,
An advertisement selection unit that selects an advertisement to be inserted into the highlight of the video,
A moving image transmitting unit that inserts the selected advertisement into a position within a predetermined range around the start position of the highlight, and transmits the moving image to a user terminal operated by the user. Information processing device.
動画に含まれる複数のシーンを特定するシーン特定部と、
前記動画における見所となる前記シーンを検出する見所検出部と、
前記動画の前記見所に挿入する広告を選択する広告選択部と、
選択された前記広告を、前記見所の始まり位置を中心とした所定範囲内の位置に挿入して、ユーザが操作するユーザ端末に前記動画を送信する動画送信部と、を備える
ことを特徴とする情報処理装置。
A scene identification unit that identifies a plurality of scenes included in the video,
A highlight detection unit that detects the scene that becomes a highlight in the moving image;
An advertisement selection unit that selects an advertisement to be inserted into the highlight of the video,
A moving image transmitting unit that inserts the selected advertisement into a position within a predetermined range around the start position of the highlight and transmits the moving image to a user terminal operated by a user. Information processing device.
請求項13又は請求項14に記載の情報処理装置において、
前記動画を視聴する前記ユーザの特性に関するユーザ特性情報を取得するユーザ特性取得部を備え、
前記広告選択部は、複数の前記広告を記憶する広告記憶部から、前記ユーザ特性情報に関連する前記広告を選択する
ことを特徴とする情報処理装置。
In the information processing apparatus according to claim 13 or 14,
A user characteristic acquisition unit that acquires user characteristic information related to the characteristic of the user who views the video,
The information processing device, wherein the advertisement selection unit selects the advertisement related to the user characteristic information from an advertisement storage unit that stores a plurality of the advertisements.
請求項13から請求項15のいずれか1項に記載の情報処理装置において、
前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報を取得する操作情報取得部を備え、
前記動画送信部は、前記ジャンプ操作の前記ジャンプ先に選択された前記広告を挿入した前記動画を送信する
ことを特徴とする情報処理装置。
The information processing apparatus according to any one of claims 13 to 15,
An operation information acquisition unit that acquires operation information including a jump operation of changing a playback position in the video to a predetermined jump destination,
The information processing apparatus, wherein the moving image transmitting unit transmits the moving image in which the advertisement selected at the jump destination of the jump operation is inserted.
請求項16に記載の情報処理装置において、
前記動画送信部は、前記見所の始まり位置と、前記ジャンプ先との間が、所定の判定値以内である場合に、選択された前記広告を前記ジャンプ先に挿入した前記動画を送信する
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 16,
The moving image transmitting unit transmits the moving image in which the selected advertisement is inserted into the jump destination when the distance between the start position of the highlight and the jump destination is within a predetermined determination value. Characteristic information processing device.
請求項17に記載の情報処理装置において、
前記判定値は、乱数である
ことを特徴とする情報処理装置。
The information processing apparatus according to claim 17,
The information processing device, wherein the determination value is a random number.
請求項13から請求項18のいずれか1項に記載の情報処理装置において、
前記動画内の再生位置を所定のジャンプ先に変更するジャンプ操作を含む操作情報を取得する操作情報取得部を備え、
前記動画送信部は、前記ジャンプ操作による前記ジャンプ先が前記見所に対応する位置であり、現在の再生位置と前記ジャンプ先との間が、所定値以上離れている場合に、選択された前記広告を前記ジャンプ先に挿入した前記動画を送信する
ことを特徴とする情報処理装置。
The information processing apparatus according to any one of claims 13 to 18, wherein
An operation information acquisition unit that acquires operation information including a jump operation of changing a playback position in the video to a predetermined jump destination,
The moving image transmission unit may be configured to select the advertisement when the jump destination by the jump operation is a position corresponding to the highlight and the current playback position and the jump destination are separated by a predetermined value or more. And transmitting the moving image in which is inserted into the jump destination.
コンピューターにより動画の見所を検出させる情報処理方法であって、
前記コンピューターは、シーン特定部と、ユーザ特性取得部と、見所検出部とを備え、
前記コンピューターは、
前記シーン特定部が、前記動画に含まれる複数のシーンを特定するステップと、
前記ユーザ特性取得部が、前記動画を視聴するユーザの特性に関するユーザ特性情報を取得するステップと、
前記見所検出部が、前記動画内の複数の前記シーンのうち、前記ユーザの特性に応じた見所を検出するステップと、を実施する
ことを特徴とする情報処理方法。
An information processing method for detecting highlights of a moving image by a computer,
The computer includes a scene identification unit, a user characteristic acquisition unit, and a highlight detection unit,
The computer is
The scene identification unit identifies a plurality of scenes included in the video,
The user characteristic acquisition unit acquires user characteristic information on characteristics of a user who views the video,
An information processing method, wherein the highlight detection unit detects a highlight according to a characteristic of the user from among the plurality of scenes in the moving image.
コンピューターにより動画を所定のユーザ端末に送信する情報処理方法であって、
前記コンピューターは、シーン特定部と、見所検出部と、広告選択部と、動画送信部と、を備え、
前記コンピューターは、
前記シーン特定部が、前記動画に含まれる複数のシーンを特定するステップと、
前記見所検出部が、前記動画における見所となる前記シーンを検出するステップと、
前記広告選択部が、前記動画の前記見所に挿入する広告を選択するステップと、
前記動画送信部が、選択された前記広告を前記動画に挿入して、前記ユーザ端末に前記動画を送信するステップと、を実施する
ことを特徴とする情報処理方法。
An information processing method of transmitting a moving image to a predetermined user terminal by a computer,
The computer includes a scene identification unit, a highlight detection unit, an advertisement selection unit, and a video transmission unit,
The computer is
The scene identification unit identifies a plurality of scenes included in the video,
The highlight detection unit detects the scene that becomes a highlight in the moving image;
The advertisement selecting unit selects an advertisement to be inserted into the highlight of the video,
Transmitting the selected moving image to the user terminal by inserting the selected advertisement into the moving image.
コンピューターにより読み込み実行される情報処理プログラムであって、
前記コンピューターを、請求項1から請求項19のいずれか1項に記載の情報処理装置として機能させる
ことを特徴とする情報処理プログラム。
An information processing program read and executed by a computer,
An information processing program that causes the computer to function as the information processing apparatus according to any one of claims 1 to 19.
JP2018112463A 2018-06-13 2018-06-13 Information processing device, information processing method, and information processing program Active JP7158902B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018112463A JP7158902B2 (en) 2018-06-13 2018-06-13 Information processing device, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018112463A JP7158902B2 (en) 2018-06-13 2018-06-13 Information processing device, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP2019216355A true JP2019216355A (en) 2019-12-19
JP7158902B2 JP7158902B2 (en) 2022-10-24

Family

ID=68918050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018112463A Active JP7158902B2 (en) 2018-06-13 2018-06-13 Information processing device, information processing method, and information processing program

Country Status (1)

Country Link
JP (1) JP7158902B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023060977A (en) * 2021-10-19 2023-05-01 ヤフー株式会社 Information providing device, application program, information providing method, and program
JP7483784B2 (en) 2022-04-22 2024-05-15 ソフトバンク株式会社 Information processing device, information processing method, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013755A (en) * 1998-06-17 2000-01-14 Jisedai Joho Hoso System Kenkyusho:Kk Broadcasting system
JP2004007342A (en) * 2002-03-29 2004-01-08 Fujitsu Ltd Automatic digest preparation method
JP2011217197A (en) * 2010-03-31 2011-10-27 Sony Corp Electronic apparatus, reproduction control system, reproduction control method, and program thereof
JP2012049875A (en) * 2010-08-27 2012-03-08 Fujitsu Ltd Video distribution server and video distribution method
JP2012160788A (en) * 2011-01-28 2012-08-23 Sony Computer Entertainment Inc Broadcast program processor, broadcast program processing method, and program
JP2016035607A (en) * 2012-12-27 2016-03-17 パナソニック株式会社 Apparatus, method and program for generating digest
JP2016103714A (en) * 2014-11-27 2016-06-02 三星電子株式会社Samsung Electronics Co.,Ltd. Video recording and reproducing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013755A (en) * 1998-06-17 2000-01-14 Jisedai Joho Hoso System Kenkyusho:Kk Broadcasting system
JP2004007342A (en) * 2002-03-29 2004-01-08 Fujitsu Ltd Automatic digest preparation method
JP2011217197A (en) * 2010-03-31 2011-10-27 Sony Corp Electronic apparatus, reproduction control system, reproduction control method, and program thereof
JP2012049875A (en) * 2010-08-27 2012-03-08 Fujitsu Ltd Video distribution server and video distribution method
JP2012160788A (en) * 2011-01-28 2012-08-23 Sony Computer Entertainment Inc Broadcast program processor, broadcast program processing method, and program
JP2016035607A (en) * 2012-12-27 2016-03-17 パナソニック株式会社 Apparatus, method and program for generating digest
JP2016103714A (en) * 2014-11-27 2016-06-02 三星電子株式会社Samsung Electronics Co.,Ltd. Video recording and reproducing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023060977A (en) * 2021-10-19 2023-05-01 ヤフー株式会社 Information providing device, application program, information providing method, and program
JP7410105B2 (en) 2021-10-19 2024-01-09 Lineヤフー株式会社 Information provision device, application program, information provision method, and program
JP7483784B2 (en) 2022-04-22 2024-05-15 ソフトバンク株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP7158902B2 (en) 2022-10-24

Similar Documents

Publication Publication Date Title
US8612866B2 (en) Information processing apparatus, information processing method, and information processing program
JP2008165759A (en) Information processing unit, method and program
JP4423568B2 (en) Display control processing apparatus and method, and program
JP4466733B2 (en) Content processing apparatus and method, program, and recording medium
RU2595520C2 (en) Coordinated automatic arrangement of advertisements for personal content channels
CN100578566C (en) Tutorial generation unit
US20170220570A1 (en) Adjusting media content based on collected viewer data
US20220269723A1 (en) Song similarity determination
JP2007528038A (en) Method and apparatus for generating user profile based on playlist
KR101825498B1 (en) Contents recommendation system and method
CN103686344A (en) Enhanced video system and method
US10462508B2 (en) Method of recommending personal broadcasting contents
JP4742366B2 (en) Program presentation system
US20210082382A1 (en) Method and System for Pairing Visual Content with Audio Content
KR102164836B1 (en) Apparatus for contents recommendation, and control method
JP5553232B2 (en) Music playback system
KR20100116412A (en) Apparatus and method for providing advertisement information based on video scene
US11609738B1 (en) Audio segment recommendation
CN112507163A (en) Duration prediction model training method, recommendation method, device, equipment and medium
JP7158902B2 (en) Information processing device, information processing method, and information processing program
JP4496690B2 (en) VIDEO INFORMATION RECOMMENDATION SYSTEM, METHOD, AND DEVICE, VIDEO INFORMATION RECOMMENDATION PROGRAM, AND PROGRAM RECORDING MEDIUM
JP5013161B2 (en) Information processing apparatus, information processing method, providing apparatus, providing method, and program
KR102386817B1 (en) Apparatus for music sorting based on User preference and device applied to the same
TW201322740A (en) Digitalized TV commercial product display system, method, and recording medium thereof
CN115834959A (en) Video recommendation information determination method and device, electronic equipment and medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221012

R150 Certificate of patent or registration of utility model

Ref document number: 7158902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350