JP2021163292A - Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof - Google Patents

Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof Download PDF

Info

Publication number
JP2021163292A
JP2021163292A JP2020065530A JP2020065530A JP2021163292A JP 2021163292 A JP2021163292 A JP 2021163292A JP 2020065530 A JP2020065530 A JP 2020065530A JP 2020065530 A JP2020065530 A JP 2020065530A JP 2021163292 A JP2021163292 A JP 2021163292A
Authority
JP
Japan
Prior art keywords
story
series data
time
objects
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020065530A
Other languages
Japanese (ja)
Inventor
陽子 西原
Yoko Nishihara
良典 山西
Yoshinori Yamanishi
毅弘 韓
Kiko Kan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Original Assignee
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust filed Critical Ritsumeikan Trust
Priority to JP2020065530A priority Critical patent/JP2021163292A/en
Publication of JP2021163292A publication Critical patent/JP2021163292A/en
Pending legal-status Critical Current

Links

Images

Abstract

To allow a user to grasp story development, without depending on presentation of a story itself.SOLUTION: A disclosed method is a method for presenting to a user, development of a story in which plural objects make their appearance, in which a processor 110 reads time series data 201M from a database 200 storing time series data 201M which indicates time variant change of an appearance degree of each object out of the plural objects, and the processor 110 creates a graphical image 512 which indicates time variant change of the appearance degree of one or more objects included in the plural objects, on the basis of the time series data 201M read, and then the processor 110 sets the graphical image 512 to the user, as the development of the story.SELECTED DRAWING: Figure 4

Description

本開示は、ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、そのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、そのコンピュータプログラムに関する。 The present disclosure relates to a method of presenting story development to a user, a story development presentation device, its computer program, a method of analyzing story development, a story development analysis device, and its computer program.

特許文献1は、文字、イメージ、図形及び音声といった各種メディアの出現時間関係情報の時間的変化を用い、複数のメディアを空間的且つ時間的に組み合わせてなる複数のシーンの中から条件に合ったシーンを検索することを開示している。 Patent Document 1 meets the conditions from a plurality of scenes in which a plurality of media are spatially and temporally combined by using temporal changes in appearance time-related information of various media such as characters, images, figures, and sounds. It discloses to search the scene.

特開平8−137900号公報Japanese Unexamined Patent Publication No. 8-137900

漫画、小説、映画などのコンテンツのストーリー展開の把握・解析が望まれる場合がある。ストーリー展開の把握には、ストーリー自体の概略を文章で記述した説明、すなわち「あらすじ」が用いられることがある。 It may be desirable to understand and analyze the story development of content such as manga, novels, and movies. In order to grasp the story development, an explanation that describes the outline of the story itself in sentences, that is, a "synopsis" may be used.

しかし、ストーリー自体の概略を文章で記述した説明は、ストーリー展開の客観的な把握に欠けることがある。しかも、ストーリーを説明する文章の安易な提示は、未読者又は未視聴者への、いわゆるネタバレにつながるおそれがある。 However, the explanation that describes the outline of the story itself in sentences may lack an objective grasp of the story development. Moreover, the easy presentation of sentences explaining the story may lead to so-called spoilers to unreaders or unviewed viewers.

したがって、ストーリー自体を説明した文章に依拠しなくても、ストーリー展開を把握又は解析できることが望まれる。 Therefore, it is desirable to be able to grasp or analyze the story development without relying on the sentences that explain the story itself.

本発明者らは、ストーリーに登場するオブジェクト(登場人物など)の登場度の時間的変化が、ストーリー展開に関する基礎的な因子である、という着想を得た。したがって、オブジェクトの登場度の時間的変化を用いると、ストーリー自体を説明した文章に依拠しなくてもストーリー展開の把握又は解析が可能になる。本開示は、かかる着想に基づくものである。 The present inventors have come up with the idea that the temporal change in the appearance of objects (characters, etc.) appearing in the story is a basic factor for story development. Therefore, by using the temporal change of the appearance degree of the object, it is possible to grasp or analyze the story development without relying on the sentence explaining the story itself. The present disclosure is based on such an idea.

本開示のある側面は、ストーリーの展開をユーザに提示する方法である。開示の方法は、複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法であって、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示することを備える。 One aspect of the disclosure is how to present the storyline to the user. The disclosure method is a method of presenting the development of a story in which a plurality of objects appear to the user, from a database in which a processor stores time-series data indicating a temporal change in the appearance degree of each of the plurality of objects. , The processor reads the time-series data, and based on the read time-series data, generates a graphical image showing the temporal change of the appearance degree of one or more objects included in the plurality of objects. The processor comprises presenting the graphical image to the user as said development of the story.

本開示の他の側面は、ストーリー展開提示装置である。開示の装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、を備える。 Another aspect of the disclosure is a story development presentation device. The disclosed device is a database in which time-series data indicating the temporal change of the appearance degree of each of the plurality of objects appearing in the story is stored, and the plurality of objects based on the time-series data read from the database. It comprises a processor configured to generate a graphical image showing the temporal change of the appearance of one or more objects included, and to execute the process of presenting the graphical image to the user as the development of the story. ..

本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させる。 Another aspect of the disclosure is a computer program. The disclosed computer program is included in the plurality of objects based on the time-series data read from the database in which the time-series data indicating the temporal change of the appearance degree of each of the plurality of objects appearing in the story is stored. A computer is made to generate a graphical image showing the temporal change of the appearance degree of one or more objects, and present the graphical image to the user as the development of the story.

本開示の他の側面は、複数のオブジェクトが登場するストーリーの展開を解析する方法である。開示の方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することを備える。 Another aspect of the disclosure is how to analyze the evolution of a story in which multiple objects appear. In the method of disclosure, the processor reads the time-series data from a database in which the time-series data, which is non-negative matrix data and shows the temporal change of the appearance degree of each of the plurality of objects, is stored, and the processor reads the time-series data. In order to analyze the story, it is provided to apply a non-negative matrix factorization algorithm to the time series data.

本開示の他の側面は、ストーリー展開解析装置である。開示の装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、を備える。 Another aspect of the disclosure is a story development analysis device. The disclosed device shows the temporal change of the appearance degree of each of the plurality of objects appearing in the story, and for the database in which the time-series data which is the non-negative matrix data is stored and the time-series data read from the database. It comprises a processor configured to perform processing that applies a non-negative matrix factorization algorithm.

本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させる。 Another aspect of the disclosure is a computer program. The disclosed computer program shows the temporal change of the appearance degree of each of the plurality of objects appearing in the story, and is non-negative with respect to the time-series data read from the database in which the time-series data which is the non-negative matrix data is stored. Have the computer perform the process of applying the value matrix factor decomposition algorithm.

更なる詳細は、後述の実施形態として説明される。 Further details will be described as embodiments described below.

図1は、第1実施形態に係るストーリー展開提示装置を含むシステムの概略構成図である。FIG. 1 is a schematic configuration diagram of a system including a story development presentation device according to the first embodiment. 図2は、複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データのデータ構造図である。FIG. 2 is a data structure diagram of time-series data showing changes in the appearance of each of the plurality of objects over time. 図3は、ストーリー展開提示処理のフローチャートである。FIG. 3 is a flowchart of the story development presentation process. 図4は、ユーザ端末において表示される画面の一例を示す概略図である。FIG. 4 is a schematic view showing an example of a screen displayed on the user terminal. 図5は、ユーザ端末において表示される画面の他の例を示す概略図である。FIG. 5 is a schematic view showing another example of the screen displayed on the user terminal. 図6は、ユーザ端末において表示される画面のさらに他の例を示す概略図である。FIG. 6 is a schematic view showing still another example of the screen displayed on the user terminal. 図7は、第2実施形態に係る時系列データのデータ構造図である。FIG. 7 is a data structure diagram of time series data according to the second embodiment. 図8は、第1非負値行列データ(基底行列)のデータ構造図である。FIG. 8 is a data structure diagram of the first non-negative matrix data (base matrix). 図9は、第2非負値行列データ(アクティベーション行列)のデータ構造図である。FIG. 9 is a data structure diagram of the second non-negative matrix data (activation matrix). 図10は、第3実施形態に係るストーリー展開解析装置を含むシステムの概略構成図である。FIG. 10 is a schematic configuration diagram of a system including the story development analysis device according to the third embodiment. 図11は、第3実施形態に係るストーリー展開解析処理のフローチャートである。FIG. 11 is a flowchart of the story development analysis process according to the third embodiment. 図12は、ユーザ端末において表示される画面の一例を示す概略図である。FIG. 12 is a schematic view showing an example of a screen displayed on the user terminal. 図13は、ユーザ端末において表示される画面の一例を示す概略図である。FIG. 13 is a schematic view showing an example of a screen displayed on the user terminal.

<1.ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、ストーリー展開提示のためのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、ストーリー展開解析のためのコンピュータプログラムの概要> <1. How to present story development to users, story development presentation device, computer program for story development presentation, method to analyze story development, story development analysis device, computer program overview for story development analysis>

(1)実施形態に係る方法は、複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法である。前記方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出すことを備える。複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データは、ストーリー展開を示す。前記方法は、前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示することを備える。オブジェクトの登場度がグラフィカルイメージによってユーザに提示されることで、ユーザは容易にストーリー展開を把握できる。 (1) The method according to the embodiment is a method of presenting to the user the development of a story in which a plurality of objects appear. The method comprises reading the time-series data from a database in which the processor stores the time-series data indicating the temporal changes in the appearance of each of the plurality of objects. Time-series data showing the temporal changes in the appearance of each of the plurality of objects indicates story development. In the method, the processor generates a graphical image showing the temporal change of the appearance degree of one or more objects included in the plurality of objects based on the time-series data read by the processor. A graphical image is provided to the user as the development of the story. By presenting the appearance degree of the object to the user by a graphical image, the user can easily grasp the story development.

(2)前記グラフィカルイメージは、前記ストーリーを説明する文章が付属することなく、前記ユーザに提示されるのが好ましい。ストーリーを説明する文章が付属することなく、オブジェクトの登場度の時間的変化が示されることで、ストーリー展開を示しつつもネタバレを防止することができる。 (2) It is preferable that the graphical image is presented to the user without accompanying a sentence explaining the story. Spoilers can be prevented while showing the story development by showing the temporal change of the appearance degree of the object without attaching a sentence explaining the story.

(3)実施形態に係る前記方法は、前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを更に備えるのが好ましい。この場合、時系列データに含まれるオブジェクトの数が膨大であっても、選択されたオブジェクトの登場度の時間的変化だけがグラフィカルイメージとして提示される。したがって、オブジェクトの数が膨大であっても、視認性の低下を防止できる。 (3) It is preferable that the method according to the embodiment further comprises selecting the one or more objects from the plurality of objects by the processor. In this case, even if the number of objects included in the time series data is huge, only the temporal change of the appearance degree of the selected objects is presented as a graphical image. Therefore, even if the number of objects is huge, it is possible to prevent the visibility from being lowered.

(4)前記1つ以上のオブジェクトは、前記ユーザから入力されたデータに基づいて選択されてもよい。この場合、ユーザが任意にオブジェクトを選択できる。 (4) The one or more objects may be selected based on the data input from the user. In this case, the user can arbitrarily select the object.

(5)前記1つ以上のオブジェクトは、前記時系列データを解析した結果に基づいて選択されてもよい。この場合、時系列データの内容に応じて、オブジェクトが選択される。 (5) The one or more objects may be selected based on the result of analyzing the time series data. In this case, the object is selected according to the contents of the time series data.

(6)前記1つ以上のオブジェクトは、前記時系列データが示す前記登場度に基づいて選択されてもよい。この場合、時系列データが示す登場度に応じて、オブジェクトが選択される。 (6) The one or more objects may be selected based on the appearance degree indicated by the time series data. In this case, the objects are selected according to the appearance degree indicated by the time series data.

(7)前記時系列データは、非負値行列データであってもよい。前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるのが好ましい。この場合、オブジェクトは、非負値行列因子分解アルゴリズムによる解析結果に基づいて選択される。 (7) The time series data may be non-negative matrix data. The one or more objects are preferably selected based on at least one of the two non-negative matrices obtained from the time series data by the non-negative matrix factorization algorithm. In this case, the object is selected based on the analysis result by the non-negative matrix factorization algorithm.

(8)実施形態に係る前記方法は、前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備えるのが好ましい。前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成されてもよい。この場合、長いストーリーであっても、選択された一部の時間範囲における部分時系列データのグラフィカルイメージがユーザに示されるため、視認性の低下を防止できる。 (8) It is preferable that the method according to the embodiment further comprises selecting a time range of a part of the entire time range of the time series data by the processor. The graphical image may be generated based on the partial time series data in the partial time range of the time series data. In this case, even if the story is long, the user is shown a graphical image of the partial time series data in a selected part of the time range, so that the deterioration of visibility can be prevented.

(9)前記一部の時間範囲は、前記ユーザから入力されたデータに基づいて選択されてもよい。この場合、ユーザが任意に一部の時間範囲を選択できる。 (9) The part of the time range may be selected based on the data input from the user. In this case, the user can arbitrarily select a part of the time range.

(10)前記一部の時間範囲は、前記時系列データを解析した結果に基づいて選択されてもよい。この場合、時系列データの内容に応じて、一部の時間範囲が選択される。 (10) The part of the time range may be selected based on the result of analyzing the time series data. In this case, a part of the time range is selected according to the contents of the time series data.

(11)前記時系列データは、非負値行列データであってもよい。前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるのが好ましい。この場合、一部の時間範囲は、非負値行列因子分解アルゴリズムによる解析結果に基づいて選択される。 (11) The time series data may be non-negative matrix data. The partial time range is preferably selected based on at least one of the two non-negative matrices obtained from the time series data by the non-negative matrix factorization algorithm. In this case, some time ranges are selected based on the results of analysis by the non-negative matrix factorization algorithm.

(12)実施形態に係る前記方法は、前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択すること、前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択すること、を更に備えることができる。前記グラフィカルイメージは、前記一部の時間範囲における前記1つ以上のオブジェクトの登場度の時間的変化を示すよう生成されるのが好ましい。 (12) In the method according to the embodiment, the processor selects the one or more objects from the plurality of objects, and the processor selects one of the entire time ranges of the time series data. It can be further provided to select the time range of the unit. The graphical image is preferably generated to show the temporal variation of the appearance of the one or more objects in the part of the time range.

(13)実施形態に係るストーリー展開提示装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、を備える。 (13) The story development presenting device according to the embodiment has a database in which time-series data indicating the temporal change of the appearance degree of each of a plurality of objects appearing in the story is stored, and the time-series data read from the database. Based on this, a graphical image showing the temporal change of the appearance degree of one or more objects included in the plurality of objects is generated, and the process of presenting the graphical image to the user as the development of the story is executed. It includes a configured processor.

(14)実施形態に係るコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させる。 (14) The computer program according to the embodiment is based on the time-series data read from the database in which the time-series data indicating the temporal change of the appearance degree of each of the plurality of objects appearing in the story is stored. A computer is made to generate a graphical image showing a time change of the appearance degree of one or more objects included in the object, and present the graphical image to the user as the development of the story.

(15)実施形態に係る方法は、複数のオブジェクトが登場するストーリーの展開を解析する方法である。前記方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することを備える。この場合、ストーリー展開の解析手法としては、新規な手法、すなわち、非負値行列因子分解アルゴリズムを用いた解析手法が得られる。後述のように、本発明者らは、非負値行列因子分解アルゴリズムを用いた解析手法が、ストーリー展開の解析に有用であることを見出した。 (15) The method according to the embodiment is a method of analyzing the development of a story in which a plurality of objects appear. In the method, the processor reads the time-series data from a database in which the time-series data, which is non-negative matrix data and shows the temporal change of the appearance degree of each of the plurality of objects, is stored, and the processor reads the time-series data. In order to analyze the story, it is provided to apply a non-negative matrix factorization algorithm to the time series data. In this case, as an analysis method for story development, a new method, that is, an analysis method using a non-negative matrix factorization algorithm can be obtained. As will be described later, the present inventors have found that an analysis method using a non-negative matrix factorization algorithm is useful for analyzing story development.

(16)実施形態に係るストーリー展開解析装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、を備える。 (16) The story development analysis device according to the embodiment shows a temporal change in the appearance degree of each of a plurality of objects appearing in the story, and from a database in which time-series data which is non-negative matrix data is stored and the database. It includes a processor configured to execute a process of applying a non-negative matrix factorization algorithm to the read time-series data.

(17)実施形態に係るコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させる。 (17) The computer program according to the embodiment shows the temporal change of the appearance degree of each of the plurality of objects appearing in the story, and the time-series data read from the database in which the time-series data which is the non-negative matrix data is stored. On the other hand, the computer is made to execute the process of applying the non-negative matrix factor decomposition algorithm.

<2.ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、ストーリー展開提示のためのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、ストーリー展開解析のためのコンピュータプログラムの例> <2. Example of how to present story development to users, story development presentation device, computer program for story development presentation, method to analyze story development, story development analysis device, computer program for story development analysis>

<2.1 第1実施形態> <2.1 First Embodiment>

図1は、第1実施形態に係るシステム10を示している。第1実施形態に係るシステム10は、ストーリー展開提示装置100を備える。ストーリー展開提示装置100は、コンテンツのストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示する。コンテンツは、例えば、漫画、小説、映画、テレビ番組などである。コンテンツは、漫画等に限られず、ストーリー性のあるコンテンツであれば足りる。ストーリー性のあるコンテンツの他の例は、チャットアプリにおける会話データである。チャットアプリにおける会話の流れは、漫画又は小説中の会話と同様に、ストーリー性を持つ。 FIG. 1 shows the system 10 according to the first embodiment. The system 10 according to the first embodiment includes a story development presentation device 100. The story development presentation device 100 presents data indicating the story development of the content to the user via the network 400. The content is, for example, comics, novels, movies, television programs, and the like. The content is not limited to comics and the like, and any content with a story is sufficient. Another example of story-like content is conversation data in a chat app. The flow of conversation in the chat application has a story, similar to the conversation in a cartoon or a novel.

第1実施形態において、ユーザは、例えば、漫画若しくは小説の読者、又は、映画若しくはテレビ番組の視聴者である。ユーザは、ユーザ端末300を用いて、ストーリー展開提示装置100にアクセスすることができる。ユーザ端末300は、例えば、スマートフォン、タブレット、デスクトップコンピュータ、又はラップトップコンピュータである。ユーザ端末300は、プロセッサ310と、記憶装置320と、入出力装置330と、を備えている。 In the first embodiment, the user is, for example, a reader of a cartoon or a novel, or a viewer of a movie or a television program. The user can access the story development presentation device 100 by using the user terminal 300. The user terminal 300 is, for example, a smartphone, tablet, desktop computer, or laptop computer. The user terminal 300 includes a processor 310, a storage device 320, and an input / output device 330.

システム10は、ストーリー展開提示装置100に対してネットワーク400を介して接続されるユーザ端末300を備える。ネットワーク400は、例えば、インターネットである。ストーリー展開提示装置100は、例えば、インターネット上に設置されたサーバである。 The system 10 includes a user terminal 300 connected to the story development presentation device 100 via the network 400. The network 400 is, for example, the Internet. The story development presentation device 100 is, for example, a server installed on the Internet.

ストーリー展開提示装置100は、プロセッサ110及び記憶装置120を備えるコンピュータによって構成されている。プロセッサ110は、例えば、CPUである。記憶装置120は、例えば、一次記憶装置及び二次記憶装置を有する。一次記憶装置は、例えば、RAMである。二次記憶装置は、例えば、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SDD)である。 The story development presentation device 100 is composed of a computer including a processor 110 and a storage device 120. The processor 110 is, for example, a CPU. The storage device 120 includes, for example, a primary storage device and a secondary storage device. The primary storage device is, for example, a RAM. The secondary storage device is, for example, a hard disk drive (HDD) or a solid state drive (SDD).

記憶装置120には、コンピュータをストーリー展開提示装置100として動作させるためのコンピュータプログラム121が格納されている。コンピュータプログラム121は、ストーリー展開提示処理111をプロセッサ110に実行させるためのプログラムコードを備える。ストーリー展開提示処理111は、コンテンツのストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示することを含む処理である。ストーリー展開提示処理111については、後述する。 The storage device 120 stores a computer program 121 for operating the computer as the story development presentation device 100. The computer program 121 includes a program code for causing the processor 110 to execute the story development presentation process 111. The story development presentation process 111 is a process including presenting data indicating the story development of the content to the user via the network 400. The story development presentation process 111 will be described later.

ストーリー展開提示装置100は、データベース200を備える。データベース200は、記憶装置120内に格納されていてもよいし、プロセッサ110及び記憶装置120を備えるコンピュータに接続された他のコンピュータ(例えば、インターネット上のデータベースサーバ)に格納されていてもよい。 The story development presentation device 100 includes a database 200. The database 200 may be stored in the storage device 120, or may be stored in another computer (for example, a database server on the Internet) connected to the computer equipped with the processor 110 and the storage device 120.

データベース200は、複数のコンテンツデータ201,202,203を備える。コンテンツが漫画であれば、コンテンツデータは、漫画のイメージデータ、及び、作品名などの作品情報を含む。コンテンツが、小説であれば、コンテンツデータは、小説のテキストデータ、及び作品名などの作品情報を含む。コンテンツが映画又テレビ番組であれば、コンテンツデータは、映像・音声データ、及び、作品名などの作品情報を含む。実施形態において、コンテンツは、デジタルコンテンツでもよいし、紙又はその他の媒体のコンテンツであってもよい。 The database 200 includes a plurality of content data 201, 202, 203. If the content is a cartoon, the content data includes the image data of the cartoon and the work information such as the work name. If the content is a novel, the content data includes the text data of the novel and the work information such as the work name. If the content is a movie or a television program, the content data includes video / audio data and work information such as a work name. In embodiments, the content may be digital content or content in paper or other media.

図1においては、第1コンテンツ(作品名:xxx)の第1コンテンツデータ201と、第2コンテンツ(作品名:yyy)の第2コンテンツデータ202と、第3コンテンツ(作品名:zzz)の第3コンテンツデータ203と、が示されている。 In FIG. 1, the first content data 201 of the first content (work name: xxx), the second content data 202 of the second content (work name: yyy), and the third content (work name: zzz) are the first. 3 Content data 203 and.

実施形態に係るコンテンツデータ201,202,203は、それぞれ、時系列データ201M,202M,203Mを更に含む。各時系列データ201M,202M,203Mは、コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す。例えば、第1コンテンツデータ201は、第1コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第1時系列データ201Mを含む。第2コンテンツデータ202は、第2コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第2時系列データ202Mを含む。第3コンテンツデータ203は、第3コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第3時系列データ203Mを含む。 The content data 201, 202, 203 according to the embodiment further includes time series data 201M, 202M, 203M, respectively. Each time-series data 201M, 202M, 203M indicates a temporal change in the appearance degree of each of the plurality of objects appearing in the content. For example, the first content data 201 includes the first time series data 201M indicating the temporal change of the appearance degree of each of the plurality of objects appearing in the first content. The second content data 202 includes the second time series data 202M showing the temporal change of the appearance degree of each of the plurality of objects appearing in the second content. The third content data 203 includes the third time series data 203M indicating the temporal change of the appearance degree of each of the plurality of objects appearing in the third content.

オブジェクトは、例えば、コンテンツに登場する人(キャラクター)、動物、その他の物体、概念、決め言葉、その他の言葉、音、風景、背景である。オブジェクトは、図として表される物体又は映像中の物体であってもよいし、文章中の言葉、又は会話によって表される物体又は概念等であってもよい。 Objects are, for example, people (characters), animals, other objects, concepts, deciding words, other words, sounds, landscapes, and backgrounds that appear in the content. The object may be an object represented as a figure or an object in an image, or may be an object or a concept represented by words in a sentence or conversation.

登場度は、コンテンツにおいて、オブジェクトが登場する度合いを示す。登場度は、オブジェクトの登場回数であってもよいし、オブジェクトの登場割合であってもよい。登場度は、単に、登場の有無を示してもよい。 Appearance indicates the degree to which an object appears in the content. The appearance degree may be the number of appearances of the object or the appearance ratio of the object. The degree of appearance may simply indicate the presence or absence of appearance.

コンテンツにおける「時間」は、コンテンツのストーリーの進行度を示す指標であれば足り、物理的な時間である必要はない。例えば、コンテンツが漫画又は小説であれば、ページ番号、話数、及び巻番号は、それぞれ、ストーリーの進行度を示す指標であり、コンテンツにおける「時間」として扱うことができる。コンテンツが映画又はテレビ番組であれば、そのコンテンツの開始からの経過時間を、コンテンツにおける「時間」として扱うことができる。また、コンテンツのストーリーが特定の日付と時間を示しつつ展開される場合、その日付等を、コンテンツにおける「時間」として扱ってもよい。 The "time" in the content need not be a physical time, as long as it is an index showing the progress of the story of the content. For example, if the content is a manga or a novel, the page number, the number of stories, and the volume number are indicators of the progress of the story, and can be treated as "time" in the content. If the content is a movie or a television program, the elapsed time from the start of the content can be treated as "time" in the content. Further, when the story of the content is developed while indicating a specific date and time, the date or the like may be treated as "time" in the content.

登場度は、例えば、コンテンツのストーリーの流れにおける単位期間あたりの登場回数、登場割合、又は登場の有無である。単位期間は、例えば、1ページ、1話、1巻など、コンテンツが掲載された媒体の形態に基づく単位長さであってもよいし、1分、10分、1時間などの単位時間長さであってもよい。 The degree of appearance is, for example, the number of appearances per unit period, the appearance ratio, or the presence or absence of appearance in the flow of the story of the content. The unit period may be a unit length based on the form of the medium on which the content is posted, such as one page, one episode, one volume, or a unit time length such as one minute, ten minutes, or one hour. It may be.

単位期間における登場回数は、単位期間内において特定のオブジェクトが何回登場したかを示す。単位期間における登場頻度は、単位期間内において登場した全オブジェクトの登場総回数のうち、単位期間内における特定のオブジェクトの登場回数が占める割合である。単位期間における登場の有無は、単位期間内において特定のオブジェクトが登場したか否かを示す。 The number of appearances in a unit period indicates how many times a specific object has appeared in the unit period. The frequency of appearance in a unit period is the ratio of the number of appearances of a specific object in the unit period to the total number of appearances of all objects that appeared in the unit period. The presence or absence of appearance in the unit period indicates whether or not a specific object has appeared in the unit period.

図2は、第1コンテンツの第1時系列データ201Mのデータ構造の例を示している。他の時系列データ202M,203Mについては、図示を省略するが、同様のデータ構造を有している。ここで、第1コンテンツは、漫画とする。 FIG. 2 shows an example of the data structure of the first time series data 201M of the first content. The other time series data 202M and 203M have the same data structure, although not shown. Here, the first content is a cartoon.

第1時系列データ201Mは、時間情報Tと、オブジェクト情報Sと、を備える。時間情報Tは、第1コンテンツのストーリーの進行度(進行位置)を示す指標であり、ページ番号、話数、巻番号の組み合わせによって表される。すなわち、時間情報Tは、第1時間情報であるページ番号T1と、第2時間情報である話数T2と、第3時間情報である巻番号T3と、を備える。ここでは、登場度のための単位期間は、時間情報Tにおける最小時間単位である1ページである。図2では、t1からtxへと時間が進行する。 The first time series data 201M includes time information T and object information S. The time information T is an index indicating the progress (progress position) of the story of the first content, and is represented by a combination of the page number, the number of stories, and the volume number. That is, the time information T includes a page number T1 which is the first time information, a number of talks T2 which is the second time information, and a volume number T3 which is the third time information. Here, the unit period for the appearance degree is one page, which is the minimum time unit in the time information T. In FIG. 2, time progresses from t1 to tx.

オブジェクト情報Sは、複数のオブジェクトそれぞれの登場度を示す。オブジェクト情報Sには、第1コンテンツに登場する全オブジェクトについての登場度が含まれる。図2では、オブジェクトとして、キャラクターA、キャラクターB、キャラクターC、キャラクターD、建物E、建物F、道具G、及び道具Hが示されている。 The object information S indicates the appearance degree of each of the plurality of objects. The object information S includes the appearance degree of all the objects appearing in the first content. In FIG. 2, character A, character B, character C, character D, building E, building F, tool G, and tool H are shown as objects.

登場度は、各単位期間(各ページ)に対応付けられている。例えば、図2の第1行P1は、第1コンテンツの第1巻・第1話・第1ページという単位期間における各オブジェクトの登場度(登場回数)を示している。具体的には、図2の第1行p1においては、第1巻・第1話・第1ページにおいて、キャラクターAが2回、キャラクターBが1回、キャラクターCが1回、キャラクターDが0回、建物Eが0回、建物Fが0回、道具Gが0回、道具Hが1回登場したことを示している。このように、図2の第1行P1では、第1コンテンツの第1巻・第1話・第1ページという単位期間に対して、その単位期間内における各オブジェクトの登場度が対応付けられている。同様に、他の単位期間にも、その単位期間内における各オブジェクトの登場度が対応付けられている。 The appearance degree is associated with each unit period (each page). For example, the first line P1 of FIG. 2 shows the appearance degree (number of appearances) of each object in the unit period of the first volume, the first episode, and the first page of the first content. Specifically, in the first line p1 of FIG. 2, in Volume 1, Episode 1, and Page 1, character A is twice, character B is once, character C is once, and character D is 0. It shows that the building E appeared 0 times, the building F 0 times, the tool G 0 times, and the tool H appeared 1 time. In this way, in the first line P1 of FIG. 2, the appearance degree of each object within the unit period of the first volume, the first episode, and the first page of the first content is associated with each other. There is. Similarly, the appearance degree of each object in the other unit period is associated with the other unit period.

第1時系列データ201Mは、上記のように構成されているため、第1コンテンツに登場する複数のオブジェクトA,B,C,D,E,F,G,Hそれぞれの登場度の時間的変化を示す。このような時系列データ201M,202M,203Mは、オブジェクトの登場度の時間的変化を示すとともに、ストーリー展開の定量的に表したものになっている。したがって、時系列データ201M,202M,203Mは、ストーリー展開の把握・解析に有用である。 Since the first time series data 201M is configured as described above, the temporal changes in the appearance degrees of each of the plurality of objects A, B, C, D, E, F, G, and H appearing in the first content. Is shown. Such time-series data 201M, 202M, 203M show the temporal change of the appearance degree of the object and quantitatively represent the story development. Therefore, the time series data 201M, 202M, and 203M are useful for grasping and analyzing the story development.

図3は、時系列データを用いたストーリー展開提示処理111の例を示している。ストーリー展開提示処理111は、ストーリー展開提示装置100のプロセッサ110によって実行される。実施形態に係るストーリー展開提示装置100は、ユーザから入力されるクエリに応じて読み出された時系列データから、ストーリー展開を示すグラフィカルイメージを生成する。ストーリー展開提示装置100は、グラフィカルイメージを、コンテンツのストーリー展開を示す情報として、ユーザに提示する。 FIG. 3 shows an example of story development presentation processing 111 using time series data. The story development presentation process 111 is executed by the processor 110 of the story development presentation device 100. The story development presentation device 100 according to the embodiment generates a graphical image showing the story development from the time series data read in response to the query input from the user. The story development presentation device 100 presents a graphical image to the user as information indicating the story development of the content.

時系列データがグラフィカルイメージとしてユーザに提示されることで、ユーザは、オブジェクトの登場度の時間的変化によって示されるストーリー展開を、グラフィカルイメージを介して、容易に認識することができる。グラフィカルイメージによるストーリー展開の提示は、文章又は数値によるストーリー展開の提示に比べて、視覚的、かつ、直感的な理解が可能である。 By presenting the time series data to the user as a graphical image, the user can easily recognize the story development indicated by the temporal change of the appearance degree of the object through the graphical image. The presentation of the story development by the graphical image can be visually and intuitively understood as compared with the presentation of the story development by the text or the numerical value.

第1実施形態に係るストーリー展開提示処理111においては、まず、ストーリー展開提示装置100のプロセッサ110が、検索処理を実行する(ステップS111)。検索処理は、ユーザが探しているコンテンツを検索する処理である。検索処理においては、ストーリー展開提示装置100が、ユーザ端末300からのコンテンツ検索要求を受け付け、データベース200において検索を実行する。以下では、検索されたコンテンツを、対象コンテンツということがある。 In the story development presentation process 111 according to the first embodiment, first, the processor 110 of the story development presentation device 100 executes the search process (step S111). The search process is a process of searching for the content that the user is looking for. In the search process, the story development presentation device 100 receives the content search request from the user terminal 300 and executes the search in the database 200. In the following, the searched content may be referred to as target content.

コンテンツ検索要求は、例えば、検索のためのクエリを含む。クエリは、コンテンツの検索のために用いられる検索データを含む。検索データは、コンテンツを識別するためのデータであり、例えば、作品名を示すデータである。クエリは、自然言語からなる文書であってもよい。 The content search request includes, for example, a query for searching. The query contains search data used to search for content. The search data is data for identifying the content, for example, data indicating a work name. The query may be a document in natural language.

プロセッサ110は、データベース200における検索結果として、検索データに合致する特定のコンテンツデータを取得する。すなわち、プロセッサ110は、対象コンテンツのコンテンツデータをデータベース200から読み出す。読み出したコンテンツデータには、前述の時系列データが含まれる。時系列データを含むコンテンツデータは、記憶装置120に保存される(ステップS112)。 The processor 110 acquires specific content data that matches the search data as the search result in the database 200. That is, the processor 110 reads the content data of the target content from the database 200. The read content data includes the above-mentioned time series data. The content data including the time series data is stored in the storage device 120 (step S112).

プロセッサ110は、保存された時系列データから、時系列データをグラフィカルに表すイメージデータ(グラフィカルイメージ)を生成する(ステップS115)。実施形態において、グラフィカルイメージは、登場度の時間的変化を示すグラフのイメージデータである(図4参照)。 The processor 110 generates image data (graphical image) that graphically represents the time series data from the stored time series data (step S115). In an embodiment, the graphical image is image data of a graph showing the temporal change of the appearance degree (see FIG. 4).

データベース200に格納された時系列データは、対応するコンテンツの全オブジェクトの登場度の時間的変化を示すデータを含んでいる。しかし、ユーザの視認性又はストーリー展開の把握容易性の観点からは、対象コンテンツにおける全てのオブジェクトの登場度の時間的変化を示すよりも、少ない数のオブジェクトの登場度の時間的変化を示した方がよい場合がある。 The time-series data stored in the database 200 includes data indicating the temporal change of the appearance degree of all the objects of the corresponding contents. However, from the viewpoint of the user's visibility or the ease of grasping the story development, the time change of the appearance degree of a small number of objects is shown rather than the time change of the appearance degree of all the objects in the target content. It may be better.

そこで、実施形態に係るプロセッサ110は、グラフィカルイメージにおいて示されるオブジェクトを絞り込むため、グラフィカルイメージの生成に用いられるオブジェクトを選択する(ステップS113)。ステップS113において選択されたオブジェクトを対象オブジェクトという。実施形態において、グラフィカルイメージは、対象オブジェクトの登場度の時間的変化を示すグラフのイメージデータとして生成される。なお、対象オブジェクトとして、全てのオブジェクトが選択されてもよい。 Therefore, the processor 110 according to the embodiment selects an object to be used for generating the graphical image in order to narrow down the objects shown in the graphical image (step S113). The object selected in step S113 is referred to as a target object. In the embodiment, the graphical image is generated as image data of a graph showing the temporal change of the appearance degree of the target object. All objects may be selected as the target objects.

対象オブジェクトの選択は、所定の選択アルゴリズムをプロセッサ110が実行することよって選択される自動選択であってもよいし、端末300からのユーザ入力によって選択される手動選択であってもよい。自動選択であれば、ユーザ負担が軽減され、手動選択であれば、ユーザの関心に応じた自由な選択が可能になる。対象オブジェクトの自動選択には、ステップS111の検索処理の結果又は検索データが用いられてもよい。 The selection of the target object may be an automatic selection selected by the processor 110 executing a predetermined selection algorithm, or a manual selection selected by user input from the terminal 300. The automatic selection reduces the burden on the user, and the manual selection enables free selection according to the user's interests. The result of the search process in step S111 or the search data may be used for the automatic selection of the target object.

対象オブジェクトの自動選択は、対象コンテンツの時系列データを解析した結果に基づくことができる。時系列データの解析は、例えば、オブジェクト毎の登場度の解析である。プロセッサ110は、オブジェクト毎の登場度を解析し、オブジェクトの登場度の大きさ又は登場度の変化度合いに基づいて、対象オブジェクトを選択することができる。なお、時系列データの解析は、後述の第2実施形態において説明されるように、非負値行列因子分解によって行われてもよい。 The automatic selection of the target object can be based on the result of analyzing the time series data of the target content. The analysis of time series data is, for example, an analysis of the appearance degree of each object. The processor 110 can analyze the appearance degree of each object and select the target object based on the magnitude of the appearance degree of the object or the change degree of the appearance degree. The analysis of the time series data may be performed by non-negative matrix factorization as described in the second embodiment described later.

対象オブジェクトの選択基準は、例えば、オブジェクトの登場度が閾値よりも大きいこと、又はオブジェクトの登場度の大きさが上位所定数内(例えば、登場度の大きさが上位3位以内)にあること、である。登場度が高いオブジェクトは、対象コンテンツにおける主要なオブジェクトといえる。主要なオブジェクトの登場度の時間的変化を示すことで、主要なオブジェクトを軸にしたストーリー展開を示すことができる。 The selection criteria for the target object are, for example, that the appearance degree of the object is larger than the threshold value, or that the appearance degree of the object is within the upper predetermined number (for example, the appearance degree is within the top 3). ,. Objects with a high degree of appearance can be said to be the main objects in the target content. By showing the change in the appearance of the main objects over time, it is possible to show the story development centered on the main objects.

対象オブジェクトの他の選択基準は、オブジェクトの登場度が閾値よりも小さいこと、又はオブジェクトの登場度の大きさが下位所定数内(例えば、登場度の大きさが下位3位以内)にあること、である。登場度が低いオブジェクトが、ストーリー展開における重要な地位を占めるキーオブジェクトであることもあるため、登場度が低いオブジェクトの登場度の時間的変化を示すことも有用である。 Other selection criteria of the target object are that the appearance degree of the object is smaller than the threshold value, or that the appearance degree of the object is within the lower predetermined number (for example, the appearance degree is within the lower 3rd place). ,. Since low-appearance objects may be key objects that occupy an important position in story development, it is also useful to show the temporal changes in the appearance of low-appearance objects.

また、データベース200に格納された時系列データは、対応するコンテンツの全時間範囲(コンテンツの開始から終了まで)における登場度の時間的変化を示すデータを含んでいる。しかし、ユーザの視認性又はストーリー展開の把握容易性の観点からは、全時間範囲における登場度の時間的変化を示すよりも、より短い時間範囲(全時間範囲における一部の時間範囲)における登場度の時間的変化を示した方がよい場合がある。 Further, the time-series data stored in the database 200 includes data indicating a temporal change in the appearance degree of the corresponding content in the entire time range (from the start to the end of the content). However, from the viewpoint of user visibility or ease of grasping the story development, the appearance in a shorter time range (a part of the time range in the whole time range) than showing the temporal change of the appearance degree in the whole time range. It may be better to show a change in degree over time.

そこで、実施形態に係るプロセッサ110は、グラフィカルイメージにおいて示される時間範囲を一部の時間範囲に絞り込むため、グラフィカルイメージ生成に用いられる時間範囲を選択する(ステップS114)。ステップS114において選択された時間範囲を対象時間範囲という。時系列データにおいて対象時間範囲における登場度の時間的変化を示すデータを、部分時系列データという。実施形態において、グラフィカルイメージは、部分時系列データから、対象時間範囲における、オブジェクトの登場度の時間的変化を示すグラフのイメージデータとして生成される。なお、対象時間範囲として、対象コンテンツの全時間範囲が選択されてもよい。全時間範囲は、例えば、コンテンツの全巻、全話、及び全ページを示す。対象時間範囲となる一部の時間範囲は、例えば、特定の1又は複数の巻番号、特定の巻中の1又は複数の話数、特定の1又は複数のページ番号である。 Therefore, the processor 110 according to the embodiment selects the time range used for the graphical image generation in order to narrow down the time range shown in the graphical image to a part of the time range (step S114). The time range selected in step S114 is referred to as a target time range. In the time series data, the data showing the temporal change of the appearance degree in the target time range is called the partial time series data. In the embodiment, the graphical image is generated from the partial time series data as image data of a graph showing the temporal change of the appearance degree of the object in the target time range. The entire time range of the target content may be selected as the target time range. The full time range indicates, for example, the entire volume, the entire story, and the entire page of the content. Some time ranges that are the target time range are, for example, specific one or more volume numbers, one or more episodes in a specific volume, and specific one or more page numbers.

対象時間範囲の選択は、所定の選択アルゴリズムをプロセッサ110が実行することよって選択される自動選択であってもよいし、端末300からのユーザ入力によって選択される手動選択であってもよい。自動選択であれば、ユーザ負担が軽減され、手動選択であれば、ユーザの関心に応じた自由な選択が可能になる。対象時間範囲の自動選択には、ステップS111の検索処理の結果又は検索データが用いられてもよい。 The selection of the target time range may be an automatic selection selected by the processor 110 executing a predetermined selection algorithm, or a manual selection selected by user input from the terminal 300. The automatic selection reduces the burden on the user, and the manual selection enables free selection according to the user's interests. The result of the search process in step S111 or the search data may be used for the automatic selection of the target time range.

対象時間範囲の自動選択は、対象コンテンツの時系列データを解析した結果に基づくことができる。時系列データの解析は、例えば、オブジェクト毎の登場度の解析である。プロセッサ110は、オブジェクト毎の登場度を解析し、オブジェクトの登場度の大きさ又は登場度の変化度合いに基づいて、対象時間範囲を選択することができる。解析対象となるオブジェクトは、対象オブジェクトであってもよいし、対象オブジェクト以外のオブジェクトを含んでもよい。なお、時系列データの解析は、後述の第2実施形態において説明されるように、非負値行列因子分解によって行われてもよい。 The automatic selection of the target time range can be based on the result of analyzing the time series data of the target content. The analysis of time series data is, for example, an analysis of the appearance degree of each object. The processor 110 can analyze the appearance degree of each object and select the target time range based on the magnitude of the appearance degree of the object or the change degree of the appearance degree. The object to be analyzed may be a target object or may include an object other than the target object. The analysis of the time series data may be performed by non-negative matrix factorization as described in the second embodiment described later.

対象時間範囲は、例えば、対象オブジェクトが閾値よりも多く登場する時間を含む時間範囲として選択される。また、対象時間範囲は、対象オブジェクトの登場度の変化度合いが閾値よりも大きくなった時間を含む時間範囲として選択される。対象オブジェクトが多く登場する時間範囲を選択することで、適切なストーリー展開提示となる。また、対象オブジェクトの登場度が変化(増加又は減少)したタイミングは、ストーリー展開の重要なタイミングであることがあるため、対象オブジェクトの登場度の変化度合いが大きい時間範囲を選択することで、適切なストーリー展開提示となる。 The target time range is selected, for example, as a time range that includes the time when the target object appears more than the threshold value. Further, the target time range is selected as a time range including the time when the degree of change in the appearance degree of the target object becomes larger than the threshold value. By selecting the time range in which many target objects appear, an appropriate story development presentation will be made. In addition, the timing at which the appearance of the target object changes (increases or decreases) may be an important timing for story development, so it is appropriate to select a time range in which the appearance of the target object changes significantly. It will be a story development presentation.

なお、図3では、ステップS112において時系列データを読み出した後に、対象オブジェクトの選択(ステップS113)及び対象時間範囲(ステップS114)の選択を行ったが、逆でもよい。すなわち、対象オブジェクトの選択及び対象時間範囲の選択を行った後、データベース200に格納されている時系列データのうち、対象時間範囲における対象オブジェクトの登場度の時間的変化を示すデータだけを読み出してもよい。 In FIG. 3, after reading the time series data in step S112, the target object is selected (step S113) and the target time range (step S114) is selected, but the reverse is also possible. That is, after selecting the target object and the target time range, only the data indicating the temporal change of the appearance degree of the target object in the target time range is read out from the time series data stored in the database 200. May be good.

ステップS115において、プロセッサ110は、対象時間範囲における、対象オブジェクトの登場度の時間的変化を示すグラフのイメージデータ(グラフィカルイメージ)を生成する。 In step S115, the processor 110 generates image data (graphical image) of a graph showing the temporal change of the appearance degree of the target object in the target time range.

ステップS116において、プロセッサ110は、グラフィカルイメージを構成するイメージデータを、その他の必要なデータとともに、ユーザ端末300へ送信する。ユーザ端末300は、グラフィカルイメージのためのイメージデータを含むデータを受信する。ユーザ端末300において、グラフィカルイメージ等を、提示対象のコンテンツのストーリー展開を示すデータとして、ユーザ端末300が備えるディスプレイ(入出力装置330)に表示する(ステップS131)。 In step S116, the processor 110 transmits the image data constituting the graphical image to the user terminal 300 together with other necessary data. The user terminal 300 receives data including image data for a graphical image. In the user terminal 300, a graphical image or the like is displayed on the display (input / output device 330) included in the user terminal 300 as data indicating the story development of the content to be presented (step S131).

その後、プロセッサ110は、ユーザ端末300におけるユーザ操作を受け付けて、ユーザ端末300に表示されるグラフィカルイメージ等を随時更新することができる(ステップS117)。 After that, the processor 110 can accept the user operation on the user terminal 300 and update the graphical image or the like displayed on the user terminal 300 at any time (step S117).

図4は、ユーザ端末300のディスプレイに表示される画面500の例を示している。画面500は、グラフィカルユーザインタフェース(GUI)画面である。画面500においては、時系列データのグラフィカルイメージ512等の表示と、ユーザ操作の受付と、が行われる。 FIG. 4 shows an example of the screen 500 displayed on the display of the user terminal 300. The screen 500 is a graphical user interface (GUI) screen. On the screen 500, the graphical image 512 and the like of the time series data are displayed, and the user operation is accepted.

画面500は、ストーリー展開提示装置100から受信したデータの表示領域501を備えている。表示領域501は、時系列データのグラフィカルイメージ512を有する。グラフィカルイメージ512は、対象コンテンツにおけるオブジェクトの登場度の変化からみたストーリー展開を示している。 The screen 500 includes a display area 501 of data received from the story development presentation device 100. The display area 501 has a graphical image 512 of time series data. The graphical image 512 shows the story development from the viewpoint of the change in the appearance of the object in the target content.

表示領域501は、グラフィカルイメージ512以外に、作品名表示部510と、対象オブジェクトの名称表示部511と、シークバー516と、を有する。 In addition to the graphical image 512, the display area 501 includes a work name display unit 510, a target object name display unit 511, and a seek bar 516.

作品名表示部510は、対象コンテンツの作品名を表示するための領域である。名称表示部511は、対象コンテンツにおける対象オブジェクトの名称を表示するための領域である。対象オブジェクトの名称は、例えば、キャラクター名である。図4は、対象オブジェクトとして、キャラクターA、キャラクターB、及びキャラクターCの3つのオブジェクトが選択された場合を示している。図4に示す表示領域501において、キャラクターAには、「O−1」の参照記号が付され、キャラクターBには、「O−2」の参照記号が付され、キャラクターCには、「O−3」の参照記号が付されている。 The work name display unit 510 is an area for displaying the work name of the target content. The name display unit 511 is an area for displaying the name of the target object in the target content. The name of the target object is, for example, a character name. FIG. 4 shows a case where three objects, character A, character B, and character C, are selected as the target objects. In the display area 501 shown in FIG. 4, the character A is given a reference symbol of "O-1", the character B is given a reference symbol of "O-2", and the character C is given a reference symbol of "O-2". The reference symbol of "-3" is attached.

図4に示すグラフィカルイメージ512は、対象時間範囲における対象オブジェクトの登場度の時間的変動を示すグラフとして構成されている。グラフィカルイメージ512であるグラフの横軸は、時間を示し、縦軸は、各対象オブジェクトの登場度(登場割合)を示す。ここでは、複数(3個)の対象オブジェクトが選択されており、対象時間範囲は、第1話から第20話である。 The graphical image 512 shown in FIG. 4 is configured as a graph showing the temporal variation of the appearance degree of the target object in the target time range. The horizontal axis of the graph, which is the graphical image 512, indicates the time, and the vertical axis indicates the appearance degree (appearance ratio) of each target object. Here, a plurality of (three) target objects are selected, and the target time range is from the first episode to the twentieth episode.

図4に示すグラフィカルイメージ512は、各時間範囲(1話分の範囲)における、選択された全対象オブジェクトの登場総数に対して、各対象オブジェクトの登場回数が占める割合として示されている。つまり、各時間範囲(1話分の範囲)における3つの対象オブジェクトの登場総数を100とした場合に、各対象オブジェクトがどの程度の割合で登場したかを示す。例えば、第9話においては、3つのキャラクターA,B,Cのうち、キャラクターA(O−1)の登場割合は53.77%であり、キャラクターB(O−2)の登場割合は46.23%であり、キャラクターC(O−3)の登場割合は0%であったことが示される。 The graphical image 512 shown in FIG. 4 is shown as a ratio of the number of appearances of each target object to the total number of appearances of all the selected target objects in each time range (range for one episode). That is, when the total number of appearances of the three target objects in each time range (range for one episode) is 100, it indicates the rate at which each target object appears. For example, in the ninth episode, of the three characters A, B, and C, the appearance rate of the character A (O-1) is 53.77%, and the appearance rate of the character B (O-2) is 46. It is 23%, which indicates that the appearance rate of character C (O-3) was 0%.

図4に示すグラフィカルイメージ512では、各対象オブジェクトの登場割合の大きさの時間的変化が、グラフにおいて各対象オブジェクトが占める面積の大きさの時間的変化によって示される。したがって、登場割合の時間的変化の視覚的かつ直感的な理解が容易である。しかも、図4に示すグラフィカルイメージ512では、選択された複数の対象オブジェクトだけに限って、登場割合の時間的変化が示されているため、選択された複数の対象オブジェクトによるストーリー展開の変化を、視覚的かつ直感的に把握することができる。 In the graphical image 512 shown in FIG. 4, the temporal change in the size of the appearance ratio of each target object is shown by the temporal change in the size of the area occupied by each target object in the graph. Therefore, it is easy to visually and intuitively understand the temporal change of the appearance rate. Moreover, in the graphical image 512 shown in FIG. 4, since the time change of the appearance ratio is shown only for the plurality of selected target objects, the change in the story development due to the plurality of selected target objects can be seen. It can be grasped visually and intuitively.

実施形態に係るストーリー展開提示装置100によれば、ユーザは、ストーリー展開の変化を、視覚的かつ直感的に把握できるため、コンテンツを直接見ることなく、ストーリー中の特定の箇所(特定のシーン)を探すことが可能となる。例えば、ユーザが、キャラクターAとキャラクターBとが共演する特定のシーンの箇所がどこにあるか思い出せない場合であっても、グラフィカルイメージ512を参照することで、キャラクターA及びキャラクターBの登場度が共に高い箇所から、そのようなシーンを見つけることができる。 According to the story development presenting device 100 according to the embodiment, the user can visually and intuitively grasp the change in the story development, so that a specific part (specific scene) in the story can be grasped without directly viewing the content. It becomes possible to search for. For example, even if the user cannot remember where the specific scene where character A and character B co-star is, by referring to the graphical image 512, both character A and character B appear. You can find such a scene from a high place.

図4に示す画面500は、対象コンテンツのストーリーを説明する文章(例えば、あらすじ)が付属することなく、登場度のグラフィカルイメージ512がユーザに提示される。したがって、ユーザへのネタバレを防止しつつ、ユーザへストーリー展開を提示することができる。 On the screen 500 shown in FIG. 4, a graphical image 512 of the appearance degree is presented to the user without attaching a sentence (for example, a synopsis) explaining the story of the target content. Therefore, it is possible to present the story development to the user while preventing spoilers to the user.

例えば、ユーザが、ユーザ端末300を用いて、オンラインで閲覧されるコンテンツ(例えば、オンラインで読める漫画)の第18話を読み、誤って第19話を読み飛ばして第20話を読もうとすることがある。そのような誤りの可能性が、コンテンツを提供するサーバによって検出された場合、ストーリー展開提示装置100が、誤りである可能性の警告として、第19話における各オブジェクトの登場度の時間的変化を示すグラフィカルイメージ512をユーザ端末300に示すことができる。 For example, the user uses the user terminal 300 to read the 18th episode of the content viewed online (for example, a cartoon that can be read online), mistakenly skips the 19th episode, and tries to read the 20th episode. Sometimes. When the possibility of such an error is detected by the server that provides the content, the story development presenting device 100 gives a warning of the possibility of the error by changing the appearance of each object in the 19th episode over time. The graphical image 512 to be shown can be shown to the user terminal 300.

グラフィカルイメージ512を見たユーザは、もし第19話を既読していれば、グラフィカルイメージ512が示す情報(各オブジェクトの登場割合、及びその時間的変化)をヒントにして、第19話のストーリーを容易に思い出すことができる。反対に、ユーザが第19話を既読していなければ、グラフィカルイメージ512が示す情報を見たとしても、第19話のストーリーを思い出すことはない。このように、グラフィカルイメージ512を用いることで、ユーザは、コンテンツの特定の箇所が既読又は既視聴であるかを確認することができる。 If the user who sees the graphical image 512 has already read the 19th episode, the story of the 19th episode is inspired by the information (the appearance ratio of each object and its temporal change) shown by the graphical image 512. Can be easily remembered. On the contrary, if the user has not read the 19th episode, the information shown by the graphical image 512 does not remind the story of the 19th episode. In this way, by using the graphical image 512, the user can confirm whether a specific part of the content has been read or viewed.

仮に、第19話が既読かどうかの確認のために、第19話のあらすじを確認する方法を採用した場合、ユーザは、既読ではない第19話のあらすじを事前に知ってしまう、いわゆるネタバレが生じる。しかし、本実施形態によれば、ネタバレを防止しつつ、コンテンツの特定の箇所が既読又は既視聴であるかを確認することができる。 If the method of checking the synopsis of the 19th episode is adopted to confirm whether the 19th episode has been read, the user knows the synopsis of the 19th episode that has not been read in advance, so-called. Spoilers occur. However, according to the present embodiment, it is possible to confirm whether or not a specific part of the content has been read or viewed while preventing spoilers.

なお、上記のような場合、コンテンツを提供するサーバ自体が、ストーリー展開提示装置100としての機能を備えていても良いし、コンテンツを提供するサーバとストーリー展開提示装置100とがネットワークを介して接続されていてもよい。ストーリー展開提示装置100は、既読又は既視聴であるかの確認の必要性が検出されると、確認が必要な箇所のグラフィカルイメージ512をユーザ端末300へ送信する。 In the above case, the server itself that provides the content may have a function as the story development presentation device 100, or the server that provides the content and the story development presentation device 100 are connected via the network. It may have been done. When the story development presenting device 100 detects the necessity of confirming whether the story has been read or has been viewed, the story development presenting device 100 transmits a graphical image 512 of the portion requiring confirmation to the user terminal 300.

また、実施形態においては、グラフの横軸の各時点における登場割合を、より正確に把握できるようにするため、画面500は、各対象オブジェクトの登場割合を数値で表示することができる。登場割合の数値表示のため、画面500は、シークバー516及び選択線Rを備える。シークバー516は、グラフの横軸方向に沿って移動可能なスライダ516Aを備える。 Further, in the embodiment, in order to more accurately grasp the appearance ratio at each time point on the horizontal axis of the graph, the screen 500 can display the appearance ratio of each target object numerically. The screen 500 includes a seek bar 516 and a selection line R for numerically displaying the appearance ratio. The seek bar 516 includes a slider 516A that is movable along the horizontal axis direction of the graph.

ユーザは、GUI機能によって、スライダ516Aを移動させる操作を行うことで、グラフの横軸の各時点(話数)を選択することができる。図4では、第9話が選択されている。選択線Rは、スライダ516Aと連動して移動する。ユーザは、GUI機能によって、選択線を移動させることもできる。シークバー516は、グラフ外に配置されているのに対して、選択線Rは、グラフ上に配置されており、どの話数が選択されているのかをより明確に示すことができる。 The user can select each time point (number of talks) on the horizontal axis of the graph by performing an operation of moving the slider 516A by the GUI function. In FIG. 4, the ninth episode is selected. The selection line R moves in conjunction with the slider 516A. The user can also move the selection line by the GUI function. While the seek bar 516 is arranged outside the graph, the selection line R is arranged on the graph, and it is possible to more clearly indicate which number of episodes is selected.

画面500は、選択された時点(話数)における登場度(登場割合)を示す表示部513,514,515を表示することができる。表示部513,514,515は、例えば、吹き出しの形状を持つことができる。図4では、選択された第9話における登場割合を示す第1表示部513、第2表示部514、及び第3表示部515が示されている。第1表示部513は、キャラクターA(O−1)の登場割合を数値(53.77%)で示す。第2表示部514は、キャラクターB(O−2)の登場割合を数値(46.23%)で示す。第3表示部515は、キャラクターC(O−3)の登場割合を数値(0%)で示す。これにより、対象コンテンツにおける第9巻において、キャラクターAとキャラクターBの登場頻度が高く、キャラクターCは登場していないことがわかる。 The screen 500 can display the display units 513, 514, 515 showing the appearance degree (appearance ratio) at the selected time point (number of talks). The display units 513, 514 and 515 can have, for example, the shape of a balloon. In FIG. 4, a first display unit 513, a second display unit 514, and a third display unit 515 showing the appearance ratio in the selected episode 9 are shown. The first display unit 513 indicates the appearance ratio of the character A (O-1) as a numerical value (53.77%). The second display unit 514 indicates the appearance ratio of the character B (O-2) as a numerical value (46.23%). The third display unit 515 indicates the appearance ratio of the character C (O-3) as a numerical value (0%). As a result, it can be seen that in Volume 9 of the target content, character A and character B appear frequently, and character C does not appear.

図5は、スライダ516Aを第13話の位置に移動させるユーザ操作が行われた後の画面500の表示領域501を示している。第13話においては、第1表示部513によって示されるキャラクターAの登場割合は58.77%であり、第2表示部514によって示されるキャラクターBの登場割合は23.16%であり、第3表示部515によって示されるキャラクターCの登場割合は、21.35%である。第13話においては、キャラクターAとキャラクターBに加え、キャラクターCが登場していることがわかる。また、図5に示すグラフィカルイメージ512によれば、第12話まではキャラクターCが登場していなかったが、第13話から登場していたことがわかる。 FIG. 5 shows the display area 501 of the screen 500 after the user operation to move the slider 516A to the position of the thirteenth episode is performed. In the thirteenth episode, the appearance ratio of the character A indicated by the first display unit 513 is 58.77%, the appearance ratio of the character B indicated by the second display unit 514 is 23.16%, and the third The appearance ratio of the character C indicated by the display unit 515 is 21.35%. In the thirteenth episode, it can be seen that character C appears in addition to character A and character B. Further, according to the graphical image 512 shown in FIG. 5, it can be seen that the character C did not appear until the 12th episode, but appeared from the 13th episode.

このように、登場度の時間的変化をイメージデータでユーザに提示することで、ストーリー自体を示さなくても、対象オブジェクトの登場話数(登場時点)をユーザに提示できる。また、時系列データに含まれるオブジェクトが膨大であっても、選択された対象オブジェクトの登場度の時間的変化だけがイメージデータとして提示されるため、視認性が向上する。 In this way, by presenting the temporal change of the appearance degree to the user as image data, the number of appearance stories (at the time of appearance) of the target object can be presented to the user without showing the story itself. Further, even if the number of objects included in the time series data is enormous, only the temporal change of the appearance degree of the selected target object is presented as image data, so that the visibility is improved.

図6は、画面500における表示領域501の他の例を示している。図6は、対象オブジェクトとして、キャラクター以外の物も選択されている場合を示している。図6は、対象オブジェクトとして、キャラクターD、建物E、及び道具Gの3つのオブジェクトが選択された場合を示している。図6に示す表示領域501において、キャラクターDには、「O−1」の参照記号が付され、建物Eには、「O−2」の参照記号が付され、道具Gには、「O−3」の参照記号が付されている。 FIG. 6 shows another example of the display area 501 on the screen 500. FIG. 6 shows a case where an object other than the character is also selected as the target object. FIG. 6 shows a case where three objects, a character D, a building E, and a tool G, are selected as target objects. In the display area 501 shown in FIG. 6, the character D is given a reference symbol of "O-1", the building E is given a reference symbol of "O-2", and the tool G is given a reference symbol of "O-2". The reference symbol of "-3" is attached.

このように、実施形態によれば、自動的選択された、又はユーザが任意に選択した対象オブジェクトの登場度の時系列データをグラフィカルイメージ512として表示できるため、任意のオブジェクトからみたストーリー展開を容易に提示することができる。 As described above, according to the embodiment, since the time series data of the appearance degree of the target object automatically selected or arbitrarily selected by the user can be displayed as the graphical image 512, it is easy to develop the story from the viewpoint of any object. Can be presented to.

<2.2 第2実施形態> <2.2 Second Embodiment>

第2実施形態においては、対象オブジェクトの選択(図3のステップS113)及び対象時間範囲の選択(図3のステップS114)の少なくともいずれか一方の選択が、対象コンテンツの時系列データ201Mに対して非負値行列因子分解(NMF)アルゴリズムを適用した結果に基づいて行われる。つまり、第2実施形態は、第1実施形態における時系列データ201Mの解析を、NMFによって行ったものである。なお、第2実施形態において特に説明しない点については、第1実施形態と同様である。 In the second embodiment, at least one of the selection of the target object (step S113 in FIG. 3) and the selection of the target time range (step S114 in FIG. 3) is performed with respect to the time series data 201M of the target content. It is based on the result of applying a non-negative matrix factorization (NMF) algorithm. That is, in the second embodiment, the analysis of the time series data 201M in the first embodiment is performed by NMF. The points not particularly described in the second embodiment are the same as those in the first embodiment.

図7は、第2実施形態に係るストーリー展開提示処理111において用いられる時系列データ201Mのデータ構造を示している。第2実施形態において、時系列データ201Mは、行列データとして扱われる。 FIG. 7 shows the data structure of the time series data 201M used in the story development presentation process 111 according to the second embodiment. In the second embodiment, the time series data 201M is treated as matrix data.

図7に示す時系列データ201Mにおいては、複数の行それぞれが、各オブジェクトの登場度の時間的変化を示しており、複数の列それぞれが、コンテンツにおける「時間」を示している。図7では、オブジェクトとして、第1実施形態と同様に、キャラクターA、キャラクターB、キャラクターC、キャラクターD、建物E、建物F、道具G、及び道具Hが含まれている。時間は、簡略化のため、1以上の整数で示されているが、第1実施形態における時間情報Tと同様に、ページ番号、話数、巻番号の組み合わせによって表されてもよい。以下では、時間を示す数値は、話数を表しているものとする。 In the time-series data 201M shown in FIG. 7, each of the plurality of rows indicates the temporal change of the appearance degree of each object, and each of the plurality of columns indicates the "time" in the content. In FIG. 7, as the first embodiment, the character A, the character B, the character C, the character D, the building E, the building F, the tool G, and the tool H are included as the objects. Although the time is indicated by an integer of 1 or more for simplification, it may be represented by a combination of a page number, a number of talks, and a volume number as in the time information T in the first embodiment. In the following, it is assumed that the numerical value indicating the time represents the number of stories.

例えば、キャラクターAについては、第1話における登場度がmA1で表され、第2話における登場度がmA2で表され、第3話における登場度がmA3で表され、第4話における登場度がmA4で表され、第5話における登場度がmA5で表され、第tx話における登場度がmAxで表される。これにより、キャラクターAの登場度の時間的変化が表されている。キャラクターAの登場度の時間的変化は、x次元のベクトルとして表されている。同様に、他のオブジェクトについても登場度の時間的変化が表されている。 For example, for character A, the degree of appearance in the first episode is represented by mA1 , the degree of appearance in the second episode is represented by mA2 , the degree of appearance in the third episode is represented by mA3 , and the degree of appearance in the fourth episode is represented by mA3. appeared degree is represented by m A4, appeared degree in the fifth episode is represented by m A5, appeared degree in the tx story is represented by m Ax. As a result, the time change of the appearance degree of the character A is represented. The temporal change in the appearance of character A is represented as an x-dimensional vector. Similarly, for other objects, the change in appearance over time is shown.

第2実施形態においては、時系列データ201Mは、オブジェクトの数×時間数(1からtx)の大きさを持つ行列データとして扱われる。行列データにおける行列要素は、前述のmA1等の登場度を示す。 In the second embodiment, the time series data 201M is treated as matrix data having a size of the number of objects × the number of hours (1 to tx). The matrix element in the matrix data indicates the degree of appearance of the above-mentioned mA1 and the like.

行列データとして扱われる時系列データ201Mは、その全ての行列要素(登場度mA1等)が非負値である非負値行列データとして作成される。時系列データ201Mが非負値行列データであることで、非負値行列因子分解(NMF)アルゴリズムの適用が可能になる。 The time-series data 201M treated as matrix data is created as non-negative matrix data in which all the matrix elements (appearance degree mA1 and the like) are non-negative values. Since the time series data 201M is non-negative matrix data, the non-negative matrix factorization (NMF) algorithm can be applied.

NMFアルゴリズムでは、与えられた非負値行列Xから、第1非負値行列W及び第2非負値行列Hという2つの非負値行列を得ることができる。つまり、NMFアルゴリズムは、与えられた非負値行列Xを、第1非負値行列W及び第2非負値行列Hという2つの非負値行列の積で近似するためのアルゴリズムである。 In the NMF algorithm, two non-negative matrices, a first non-negative matrix W and a second non-negative matrix H, can be obtained from a given non-negative matrix X. That is, the NMF algorithm is an algorithm for approximating a given non-negative matrix X by the product of two non-negative matrices, a first non-negative matrix W and a second non-negative matrix H.

与えられた非負値行列Xが、N×M行列である場合、第1非負値行列Wは、N×r行列となり、第2非負値行列Hは、r×M行列となる。rは、事前に与えられる値であり、好ましくは、2以上の整数である。第1非負値行列Wは、r個の基底ベクトルを有する基底行列である。第2非負値行列Hは、各基底ベクトルの重みを示すアクティベーション行列である。 When the given non-negative matrix X is an N × M matrix, the first non-negative matrix W becomes an N × r matrix, and the second non-negative matrix H becomes an r × M matrix. r is a value given in advance, preferably an integer of 2 or more. The first non-negative matrix W is a basis matrix having r basis vectors. The second non-negative matrix H is an activation matrix showing the weights of each basis vector.

図8は、非負値行列データである時系列データ201Mに対して、NMFアルゴリズムを適用して得られた第1非負値行列データW(基底行列)の例を示している。ここでは、r=3である。したがって、図8に示す第1非負値行列データWは、3個の基底ベクトルF1,F2,F3を有している。ここでは、複数の基底ベクトルF1,F3,F3を、トピックと呼ぶ。 FIG. 8 shows an example of the first non-negative matrix data W (base matrix) obtained by applying the NMF algorithm to the time-series data 201M which is the non-negative matrix data. Here, r = 3. Therefore, the first non-negative matrix data W shown in FIG. 8 has three basis vectors F1, F2, and F3. Here, a plurality of basis vectors F1, F3, and F3 are referred to as topics.

本発明者らは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データに対して、NMFを適用することで、ストーリー展開において重要な複数のトピックF1,F2,F3を分解して抽出できることを見出した。抽出されたトピックF1,F2,F3は、コンテンツのストーリー展開を基底する重要な因子である。時系列データ201Mに対してNMFを適用することで、人間がコンテンツを直接読んだり視聴したりしても容易には得られないストーリー展開解析結果を、容易に得ることができる。 By applying NMF to the time-series data showing the temporal change of the appearance degree of each of the plurality of objects appearing in the story, the present inventors apply NMF to a plurality of topics F1, F2, F3 that are important in story development. It was found that can be decomposed and extracted. The extracted topics F1, F2, and F3 are important factors that are the basis of the story development of the content. By applying NMF to the time-series data 201M, it is possible to easily obtain a story development analysis result that cannot be easily obtained even if a human directly reads or views the content.

複数のトピックF1,F2,F3は、ストーリーを構成するメインストーリー及びサブストーリーとして解釈することもできる。これは、一つのコンテンツであっても、複数のストーリーが混在している場合に当てはまる。例えば、漫画であれば、1話又は数話ごとに、単発的なストーリーは完結するものの、コンテンツ全体を通じた基軸的なストーリーが設定されていることがある。このような場合、一つのコンテンツの中で、単発的なストーリーと基軸的なストーリーとが混在してストーリーが進行することになる。NMFを利用することで、一つのコンテンツの中に混在する複数のストーリーを、トピックF1,F2,F3として抽出することができる。 The plurality of topics F1, F2, and F3 can also be interpreted as the main story and the sub-story that compose the story. This is true when multiple stories are mixed, even for a single piece of content. For example, in the case of manga, a one-shot story may be completed for each episode or several episodes, but a basic story may be set throughout the content. In such a case, the story progresses by mixing a single story and a basic story in one content. By using NMF, a plurality of stories mixed in one content can be extracted as topics F1, F2, and F3.

図8に示す第1トピックF1(基底ベクトル)は、第1トピックF1における各オブジェクトの登場度を示しており、全オブジェクトの中でキャラクターBの登場度が最も大きい。したがって、第1トピックF1は、キャラクターBを主とするトピックであることがわかる。 The first topic F1 (base vector) shown in FIG. 8 shows the appearance degree of each object in the first topic F1, and the appearance degree of the character B is the largest among all the objects. Therefore, it can be seen that the first topic F1 is a topic mainly composed of the character B.

第2トピックF2(基底ベクトル)は、第2トピックF2における各オブジェクトの登場度を示しており、全オブジェクトの中でキャラクターAの登場度が最も大きい。したがって、第2トピックF2は、キャラクターAを主とするトピックであることがわかる。 The second topic F2 (base vector) shows the appearance degree of each object in the second topic F2, and the appearance degree of the character A is the largest among all the objects. Therefore, it can be seen that the second topic F2 is a topic mainly composed of the character A.

第3トピックF3(基底ベクトル)は、第3トピックF3における各オブジェクトの登場度を示しており、全オブジェクトの中で、キャラクターCの登場度が最も大きく、キャラクターBもある程度登場している。したがって、第3トピックは、キャラクターB及びキャラクターCを主とし、キャラクターCのほうが、キャラクターBよりも重要度が高いことがわかる。 The third topic F3 (base vector) shows the appearance degree of each object in the third topic F3, and among all the objects, the appearance degree of the character C is the largest, and the character B also appears to some extent. Therefore, it can be seen that the third topic is mainly character B and character C, and character C is more important than character B.

図9は、非負値行列データである時系列データ201Mに対して、NMFアルゴリズムを適用して得られた第2非負値行列データH(アクティベーション行列)の例を示している。ここでは、r=3であるため、第2非負値行列データHは、各時間における3個のトピックF1,F2,F3それぞれの重み(活性化度)を示している。つまり、第2非負値行列データH(アクティベーション行列)は、各時間(話数)において、各トピックF1,F2,F3がどの程度の重みを持つかの時間的変化、換言すると、どの程度活性化しているかの時間的変化、を示す。 FIG. 9 shows an example of the second non-negative matrix data H (activation matrix) obtained by applying the NMF algorithm to the time-series data 201M which is the non-negative matrix data. Here, since r = 3, the second non-negative matrix data H shows the weights (activation degree) of each of the three topics F1, F2, and F3 at each time. That is, the second non-negative matrix data H (activation matrix) is a temporal change of how much weight each topic F1, F2, F3 has at each time (number of talks), in other words, how active it is. It shows the temporal change of whether or not it has become.

第2実施形態のストーリー展開提示処理111においては、プロセッサ110は、第1非負値行列Wを用いて、対象オブジェクトを選択する(図3のステップS113)。例えば、プロセッサ110は、複数のトピックF1,F2,F3の中から、いずれかのトピックを自動選択する。 In the story development presentation process 111 of the second embodiment, the processor 110 selects the target object using the first non-negative matrix W (step S113 in FIG. 3). For example, the processor 110 automatically selects any topic from a plurality of topics F1, F2, and F3.

なお、トピックF1,F2,F3の選択は、ユーザ端末300に表示されたNMFの結果を参照したユーザの操作による手動選択でもよい。この場合、ユーザによる選択に先立って、NMFの結果が、ユーザ端末300に表示される(後述の第3実施形態参照)。 The topics F1, F2, and F3 may be manually selected by the user's operation with reference to the NMF result displayed on the user terminal 300. In this case, the result of NMF is displayed on the user terminal 300 prior to the selection by the user (see the third embodiment described later).

そして、プロセッサ110は、第1非負値行列Wにおいて、選択されたトピックにおいて登場度の高い1又は複数のオブジェクトを選択する。なお、登場度の低い1又は複数のオブジェクトが選択されてもよい。以上の処理により、選択されたトピックに関連するオブジェクトが自動的に、対象オブジェクトとして選択される。 Then, the processor 110 selects one or a plurality of objects having a high appearance in the selected topic in the first non-negative matrix W. In addition, one or a plurality of objects having a low appearance degree may be selected. By the above processing, the object related to the selected topic is automatically selected as the target object.

また、第2実施形態のストーリー展開提示処理111においては、プロセッサ110は、第2非負値行列Hを用いて、対象時間範囲を選択する(図3のステップS114)。例えば、プロセッサ110は、第2非負値行列Hを参照し、前述のようにして選択されたトピックの重み(活性化度)が閾値よりも大きい時間を含む時間範囲を、対象時間範囲として選択する。対象時間範囲の選択は、ユーザ端末300に表示されたNMFの結果を参照したユーザの操作による手動選択でもよい。 Further, in the story development presentation process 111 of the second embodiment, the processor 110 selects the target time range using the second non-negative matrix H (step S114 in FIG. 3). For example, the processor 110 refers to the second non-negative matrix H, and selects a time range including a time in which the weight (activation degree) of the topic selected as described above is larger than the threshold value as the target time range. .. The selection of the target time range may be a manual selection by the user's operation referring to the result of the NMF displayed on the user terminal 300.

第2実施形態において生成されるグラフィカルイメージ512は、NMFの結果を用いて選択された対象時間範囲において、NMFの結果を用いて選択された対象オブジェクトの登場度の時間的変化を示すことができる。つまり、第2実施形態では、選択された特定のトピックにおけるストーリー展開が提示されることになる。 The graphical image 512 generated in the second embodiment can show the temporal change of the appearance degree of the target object selected by using the NMF result in the target time range selected by using the NMF result. .. That is, in the second embodiment, the story development on the selected specific topic is presented.

<2.3 第3実施形態> <2.3 Third Embodiment>

図10は、第3実施形態に係るシステム10を示している。第3実施形態において、特に説明しない点については、第1実施形態及び第2実施形態と同様である。 FIG. 10 shows the system 10 according to the third embodiment. In the third embodiment, the points not particularly described are the same as those in the first embodiment and the second embodiment.

第3実施形態に係るシステム10は、ストーリー展開解析装置100Aを備える。ストーリー展開解析装置100Aは、コンテンツのストーリー展開を解析し、解析結果としてストーリー展開を示すデータを生成する。第3実施形態に係るストーリー展開解析装置100Aは、一例として、非負値行列因子分解(NMF)を用いて、コンテンツのストーリー展開を解析する。ストーリー展開解析装置100Aは、解析結果として得られたストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示するストーリー展開提示装置としても動作する。 The system 10 according to the third embodiment includes a story development analysis device 100A. The story development analysis device 100A analyzes the story development of the content and generates data indicating the story development as the analysis result. The story development analysis device 100A according to the third embodiment analyzes the story development of the content by using non-negative matrix factorization (NMF) as an example. The story development analysis device 100A also operates as a story development presentation device that presents the data indicating the story development obtained as the analysis result to the user via the network 400.

第2実施形態においては、時系列データにNMFを適用することにより得られる解析結果が、対象オブジェクト又は対象時間範囲の選択に用いられていたが、第3実施形態においては、時系列データにNMFを適用することにより得られる解析結果が、ストーリー展開を示すデータとして用いられる。ストーリー展開解析装置100Aは、NMFにより得られた解析結果から、ストーリー展開を示すグラフィカルイメージを生成する。ストーリー展開解析装置100Aは、グラフィカルイメージを、コンテンツのストーリー展開を示す情報として、ユーザに提示する。 In the second embodiment, the analysis result obtained by applying NMF to the time series data was used for selecting the target object or the target time range, but in the third embodiment, the NMF is applied to the time series data. The analysis result obtained by applying is used as data showing the story development. The story development analysis device 100A generates a graphical image showing the story development from the analysis result obtained by the NMF. The story development analysis device 100A presents a graphical image to the user as information indicating the story development of the content.

第3実施形態において、ユーザは、例えば、コンテンツの作者及び編集者など、コンテンツの制作にかかわる者である。ユーザは、漫画若しくは小説の読者、又は、映画若しくはテレビ番組の視聴者であってもよい。ストーリー展開解析装置100Aは、ユーザに対して、ストーリー展開の解析結果を提示することで、ストーリー展開の発案又は変更を行うユーザを支援する。 In the third embodiment, the user is a person involved in the production of the content, for example, the author and the editor of the content. The user may be a reader of a cartoon or a novel, or a viewer of a movie or television program. The story development analysis device 100A supports the user who proposes or changes the story development by presenting the analysis result of the story development to the user.

システム10は、ストーリー展開解析装置100Aに対してネットワーク400を介して接続されるユーザ端末300を備える。ユーザは、ユーザ端末300を用いて、ストーリー展開解析装置100Aにアクセスすることができる。ユーザ端末300は、プロセッサ310と、記憶装置320と、入出力装置330と、を備えている。 The system 10 includes a user terminal 300 connected to the story development analysis device 100A via the network 400. The user can access the story development analysis device 100A by using the user terminal 300. The user terminal 300 includes a processor 310, a storage device 320, and an input / output device 330.

ストーリー展開解析装置100Aは、プロセッサ110及び記憶装置120を備えるコンピュータによって構成されている。記憶装置120には、コンピュータをストーリー展開解析装置100A(ストーリー展開提示装置)として動作させるためのコンピュータプログラム121Aが格納されている。コンピュータプログラム121Aは、ストーリー展開解析処理111A(ストーリー展開提示処理)をプロセッサ110に実行させるためのプログラムコードを備える。ストーリー展開解析処理111Aは、コンテンツのストーリー展開を解析することを含む処理である。ストーリー展開解析処理111Aについては、後述する。 The story development analysis device 100A is composed of a computer including a processor 110 and a storage device 120. The storage device 120 stores a computer program 121A for operating the computer as a story development analysis device 100A (story development presentation device). The computer program 121A includes a program code for causing the processor 110 to execute the story development analysis process 111A (story development presentation process). The story development analysis process 111A is a process including analyzing the story development of the content. The story development analysis process 111A will be described later.

ストーリー展開解析装置100Aは、データベース200を備える。データベース200は、複数のコンテンツデータ201,202,203を備える。図10においては、図1と同様に、第1コンテンツ(作品名:xxx)の第1コンテンツデータ201と、第2コンテンツ(作品名:yyy)の第2コンテンツデータ202と、第3コンテンツ(作品名:zzz)の第3コンテンツデータ203と、が示されている。実施形態に係るコンテンツデータ201,202,203は、それぞれ、時系列データ201M,202M,203Mを更に含む。各時系列データ201M,202M,203Mは、コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す。 The story development analysis device 100A includes a database 200. The database 200 includes a plurality of content data 201, 202, 203. In FIG. 10, similarly to FIG. 1, the first content data 201 of the first content (work name: xxx), the second content data 202 of the second content (work name: yyy), and the third content (work). The third content data 203 of the name: zzz) is shown. The content data 201, 202, 203 according to the embodiment further includes time series data 201M, 202M, 203M, respectively. Each time-series data 201M, 202M, 203M indicates a temporal change in the appearance degree of each of the plurality of objects appearing in the content.

第3実施形態に係る各時系列データ201M,202M,203Mのデータ構造は、第2実施形態における時系列データ201Mのデータ構造(図7参照)と同様である。第3実施形態に係る各時系列データ201M,202M,203Mは、第2実施形態と同様に、非負値行列データである。 The data structure of each time series data 201M, 202M, 203M according to the third embodiment is the same as the data structure of the time series data 201M in the second embodiment (see FIG. 7). The time series data 201M, 202M, and 203M according to the third embodiment are non-negative matrix data as in the second embodiment.

図11は、時系列データを用いたストーリー展開解析処理111Aの例を示している。ストーリー展開解析処理111Aは、ストーリー展開解析装置100Aのプロセッサ110によって実行させる。実施形態に係るストーリー展開解析装置100Aは、ストーリー展開の解析のため、非負値行列データである時系列データ201M,202M,203Mに対して、NMFアルゴリズムを適用する。 FIG. 11 shows an example of the story development analysis process 111A using the time series data. The story development analysis process 111A is executed by the processor 110 of the story development analysis device 100A. The story development analysis device 100A according to the embodiment applies the NMF algorithm to the time series data 201M, 202M, 203M which are non-negative matrix data for the analysis of the story development.

第3実施形態に係るストーリー展開解析処理111Aにおいては、まず、プロセッサ110が、検索処理を実行する(ステップS311)。検索処理は、第1実施形態と同様に、検索処理は、データベース200から、ユーザが探しているコンテンツ(対象コンテンツ)を検索する処理である。 In the story development analysis process 111A according to the third embodiment, the processor 110 first executes the search process (step S311). The search process is the same as that of the first embodiment, and the search process is a process of searching the database 200 for the content (target content) that the user is looking for.

プロセッサ110は、データベース200における検索結果として、検索データに合致する特定のコンテンツのデータを取得する。すなわち、プロセッサ110は、対象コンテンツのデータをデータベース200から読み出す。読み出したコンテンツデータには、前述の時系列データが含まれる。時系列データを含むコンテンツデータは、記憶装置120に保存される(ステップS312)。 The processor 110 acquires data of specific contents matching the search data as the search result in the database 200. That is, the processor 110 reads the data of the target content from the database 200. The read content data includes the above-mentioned time series data. The content data including the time series data is stored in the storage device 120 (step S312).

プロセッサ110は、保存された時系列データ(図7参照)に対して、NMFアルゴリズムを適用する(ステップS313)。プロセッサ110は、NMFによる解析結果として、図8に示す第1非負値行列データWと、図9に示す第2非負値行列データHと、を得る。前述のように、第1非負値行列Wは、r個の基底ベクトルを有する基底行列である。第2非負値行列Hは、各基底ベクトルの重みを示すアクティベーション行列である。 The processor 110 applies the NMF algorithm to the stored time series data (see FIG. 7) (step S313). The processor 110 obtains the first non-negative matrix data W shown in FIG. 8 and the second non-negative matrix data H shown in FIG. 9 as the analysis result by the NMF. As described above, the first non-negative matrix W is a basis matrix having r basis vectors. The second non-negative matrix H is an activation matrix showing the weights of each basis vector.

プロセッサ110は、第1非負値行列データW及び第2非負値行列データHから、対象コンテンツのストーリー展開を示すイメージデータ(グラフィカルイメージ)を生成する(ステップS314)。プロセッサ110は、グラフィカルイメージを構成するイメージデータを、その他の必要なデータとともに、ユーザ端末300へ送信する。 The processor 110 generates image data (graphical image) indicating the story development of the target content from the first non-negative matrix data W and the second non-negative matrix data H (step S314). The processor 110 transmits the image data constituting the graphical image to the user terminal 300 together with other necessary data.

ユーザ端末300は、グラフィカルイメージのためのイメージデータを含むデータを受信する。ユーザ端末300において、グラフィカルイメージ等を、提示対象のコンテンツのストーリー展開の解析結果を示すデータとして、ユーザ端末300が備えるディスプレイ(入出力装置300)に表示する。 The user terminal 300 receives data including image data for a graphical image. In the user terminal 300, a graphical image or the like is displayed on a display (input / output device 300) included in the user terminal 300 as data showing an analysis result of story development of the content to be presented.

図12は、ユーザ端末300のディスプレイに表示される画面500Aの例を示している。画面500Aは、グラフィカルユーザインタフェース(GUI)画面である。画面500Aにおいては、解析結果の表示と、ユーザ操作の受付とが行われる。 FIG. 12 shows an example of the screen 500A displayed on the display of the user terminal 300. The screen 500A is a graphical user interface (GUI) screen. On the screen 500A, the analysis result is displayed and the user operation is accepted.

画面500Aは、作品名表示部510と、トピック表示部601と、ストーリー展開表示部602と、を有する。 The screen 500A has a work name display unit 510, a topic display unit 601 and a story development display unit 602.

トピック表示部601は、対象コンテンツに含まれる1又は複数のトピックを表示する。トピック表示部601は、ストーリー展開表示部602において表示されるグラフの凡例表示にもなっている。 The topic display unit 601 displays one or a plurality of topics included in the target content. The topic display unit 601 is also a legend display of the graph displayed in the story development display unit 602.

トピック表示部601において表示されるトピックは、第1非負値行列データWから生成される。図8に示す第1非負値行列データWは、3個の基底ベクトルF1,F2,F3を有している。したがって、トピック表示部601には、3つのトピックF1,F2,F3が、表示される。 The topic displayed in the topic display unit 601 is generated from the first non-negative matrix data W. The first non-negative matrix data W shown in FIG. 8 has three basis vectors F1, F2, and F3. Therefore, three topics F1, F2, and F3 are displayed on the topic display unit 601.

トピック表示部601は、各トピックF1,F2,F3におけるオブジェクトを示す。図12に示すトピック表示部601では、第1トピックF1における主要なオブジェクトはキャラクターBであり、第2トピックF2における主要なオブジェクトはキャラクターAであり、第3トピックF3における主要なオブジェクトはキャラクターB及びキャラクターCであることが示されている。トピック表示部601に各トピックF1,F2,F3における主要なオブジェクトが表示されていることで、ユーザは、各トピックF1,F2,F3に寄与する主要なオブジェクトを把握できる。 The topic display unit 601 indicates an object in each topic F1, F2, F3. In the topic display unit 601 shown in FIG. 12, the main object in the first topic F1 is the character B, the main object in the second topic F2 is the character A, and the main objects in the third topic F3 are the character B and It is shown to be character C. Since the main objects in each topic F1, F2, F3 are displayed on the topic display unit 601, the user can grasp the main objects contributing to each topic F1, F2, F3.

プロセッサ110は、トピック表示部601に表示される主要なオブジェクトを、第1非負値行列Wに基づいて決定する。主要なオブジェクトは、第1非負値行列Wの行列要素の値に基づいて、決定される。第1非負値行列Wの行列要素の値は、各トピックにおけるオブジェクトの寄与度を示している。したがって、プロセッサ110は、各基底ベクトル(トピック)において、例えば、寄与度が最も大きいオブジェクト、又は、寄与度が閾値よりも大きいオブジェクトを、そのトピックにおける主要なオブジェクトとして決定できる。 The processor 110 determines the main objects displayed on the topic display unit 601 based on the first non-negative matrix W. The main object is determined based on the value of the matrix element of the first nonnegative matrix W. The value of the matrix element of the first non-negative matrix W indicates the contribution of the object in each topic. Therefore, in each basis vector (topic), the processor 110 can determine, for example, the object having the largest contribution or the object having the contribution greater than the threshold value as the main object in the topic.

ストーリー展開表示部602は、各トピックF1,F2,F3の活性化度(以下、「アクティベーション値」ともいう)の時間的変化をグラフィカルイメージであるグラフによって示す。図10のストーリー展開表示部602において、横軸は、時間の一例として話数を示し、縦軸は、活性化度を示す。図10のストーリー展開表示部602では、3つのトピックF1,F2,F3それぞれの活性化度の時間的変化を可視化した折れ線グラフのイメージデータとして示されている。 The story development display unit 602 shows the temporal change of the activation degree (hereinafter, also referred to as “activation value”) of each topic F1, F2, F3 by a graph which is a graphical image. In the story development display unit 602 of FIG. 10, the horizontal axis indicates the number of stories as an example of time, and the vertical axis indicates the degree of activation. In the story development display unit 602 of FIG. 10, it is shown as image data of a line graph that visualizes the temporal change of the activation degree of each of the three topics F1, F2, and F3.

図12のストーリー展開表示部602において、キャラクターBが主要なオブジェクトである第1トピックF1とキャラクターAが主要なオブジェクトである第2トピックF2については、時間的に安定した活性化度を示している。したがって、ストーリー展開表示部602を観察したユーザは、キャラクターA及びキャラクターBが、対象コンテンツにおいて常に登場する主要なオブジェクト(いわゆる主人公)であることを把握できる。また、対象コンテンツにおいて、キャラクターA,Bに関するトピックF1,F2は、時間的に安定した活性化度を示していることから、対象コンテンツにおいては、主人公であるキャラクターA,Bは、ストーリー展開の起伏にかかわらず、安定的に登場していることがわかる。 In the story development display unit 602 of FIG. 12, the first topic F1 in which the character B is the main object and the second topic F2 in which the character A is the main object show a time-stable activation degree. .. Therefore, the user who observes the story development display unit 602 can grasp that the character A and the character B are the main objects (so-called heroes) that always appear in the target content. Further, in the target content, the topics F1 and F2 related to the characters A and B show a stable degree of activation in time. Therefore, in the target content, the characters A and B, which are the main characters, have undulations in the story development. Regardless, it can be seen that it has appeared stably.

また、ストーリー展開表示部602において、第3トピックF3は、時間的に大きく変動して起伏が生じていることを示している。したがって、ストーリー展開表示部602を観察したユーザは、キャラクターC(メイン)及びキャラクターB(サブ)の絡みによってストーリー展開の起伏が作られていることを把握できる。 Further, in the story development display unit 602, the third topic F3 shows that the undulations occur due to a large change in time. Therefore, the user who observes the story development display unit 602 can grasp that the undulations of the story development are created by the entanglement of the character C (main) and the character B (sub).

つまり、ユーザは、キャラクターA,Bが主人公である一方、ストーリー展開の肝は、キャラクターC(メイン)及びキャラクターB(サブ)の絡みにあることを客観的に把握できる。このように、ユーザは、対象コンテンツのストーリー展開のパターンを容易に把握することができる。このようなストーリー展開のパターンは、人間がコンテンツを直接読んだり視聴したりしても容易には得られないおそれがあるが、NMFアルゴリズムを用いた解析により、ストーリー展開のパターンを容易に得ることができる。 That is, the user can objectively grasp that the characters A and B are the main characters, while the heart of the story development lies in the entanglement of the characters C (main) and the character B (sub). In this way, the user can easily grasp the story development pattern of the target content. Such a story development pattern may not be easily obtained even if a human directly reads or views the content, but it is possible to easily obtain a story development pattern by analysis using an NMF algorithm. Can be done.

しかも、NMFアルゴリズムにより得られたストーリー展開の解析結果は、数値データであるため、異なるコンテンツ間のストーリー展開の類似性の検討に有用である。例えば、制作しようとするコンテンツを、他のコンテンツのストーリーに似せたい場合、又は、他のコンテンツのストーリーに似せたくない場合、ユーザである制作者は、ストーリー展開解析装置100Aにより得られた他のコンテンツのストーリー展開を参考に、制約しようとするコンテンツのストーリー展開を考えることができる。 Moreover, since the analysis result of the story development obtained by the NMF algorithm is numerical data, it is useful for examining the similarity of the story development between different contents. For example, when the content to be produced is desired to resemble the story of other content, or when the content to be produced does not want to resemble the story of other content, the creator who is the user can use another content obtained by the story development analysis device 100A. With reference to the story development of the content, it is possible to think about the story development of the content to be constrained.

また、NMFアルゴリズムにより得られたストーリー展開の解析結果は、数値データであって、コンテンツのストーリー展開を定量的に表したものである。したがって、コンテンツの解析結果間の同一性又は類似性を用いて、あるコンテンツに似た他のコンテンツを検索することもできる。 Further, the analysis result of the story development obtained by the NMF algorithm is numerical data and quantitatively represents the story development of the content. Therefore, it is also possible to search for other contents similar to one content by using the sameness or similarity between the analysis results of the contents.

なお、画面500Aは、図8に示す第1非負値行列データW及び図9に示す第2非負値行列Hを数値データとして示す表示を含んでもよい。この場合、ユーザは、解析結果の詳細を確認することができる。 The screen 500A may include a display showing the first non-negative matrix data W shown in FIG. 8 and the second non-negative matrix H shown in FIG. 9 as numerical data. In this case, the user can confirm the details of the analysis result.

さらに、第3実施形態に係るストーリー展開解析装置100Aは、ストーリー展開の見直し又は修正のために、対象コンテンツにおけるオブジェクト(キャラクター)の登場度をどのように調整すればよいかという値を表示する機能も有する。かかる機能によって、制作者等であるユーザは、ストーリー展開を変更した際のシミュレーションをすることができる。また、ユーザは、ストーリー展開の提案のヒントを得ることができる。 Further, the story development analysis device 100A according to the third embodiment has a function of displaying a value of how to adjust the appearance degree of an object (character) in the target content in order to review or correct the story development. Also has. With such a function, a user such as a creator can perform a simulation when the story development is changed. In addition, the user can obtain hints for suggesting story development.

オブジェクトの登場度の調整を支援するため、第3実施形態に係るプロセッサ110は、ストーリー展開解析処理111Aにおいて、ステップS315以降の処理を実行可能である。ここでは、NMFにより得られた各トピックのアクティベーション値(活性化度)を変更することで、調整後のオブジェクト登場度を得る。 In order to support the adjustment of the appearance degree of the object, the processor 110 according to the third embodiment can execute the processes after step S315 in the story development analysis process 111A. Here, the adjusted object appearance degree is obtained by changing the activation value (activation degree) of each topic obtained by NMF.

図13は、オブジェクトの登場度の調整を支援する機能を含む画面500Aを示している。この画面500Aは、図12と同様に、作品名表示部510と、トピック表示部601と、ストーリー展開表示部602と、を備える。更に、図13に示す画面500Aは、オブジェクト寄与度表示部701と、ストーリー展開調整部702と、調整結果表示部703と、を備える。 FIG. 13 shows a screen 500A including a function for supporting adjustment of the appearance degree of the object. Similar to FIG. 12, the screen 500A includes a work name display unit 510, a topic display unit 601 and a story development display unit 602. Further, the screen 500A shown in FIG. 13 includes an object contribution display unit 701, a story development adjustment unit 702, and an adjustment result display unit 703.

オブジェクト寄与度表示部701は、第1非負値行列Wを示す数値データを表示する領域である。ユーザは、ストーリー展開表示部602に加えて、オブジェクト寄与度表示部701を参照することで、NMFアルゴリズムによる解析結果をより詳細に把握できる。 The object contribution display unit 701 is an area for displaying numerical data indicating the first non-negative matrix W. The user can grasp the analysis result by the NMF algorithm in more detail by referring to the object contribution display unit 701 in addition to the story development display unit 602.

ストーリー展開調整部702は、調整の対象トピックの選択部702Aと、調整の対象話数(対象時間範囲)の選択部702Bと、アクティベーション値の入力部702Cと、を備える。トピックの選択部702Aでは、NMFにより得られた複数のトピックF1,F2,F3のうち、アクティベーション値(活性化度)が調整されるトピックが選択される。トピックの選択部702Aでは、抽出されたトピックF1,F2,F3がラジオボタン等を用いて選択可能に示されている。 The story development adjustment unit 702 includes a selection unit 702A for the topic to be adjusted, a selection unit 702B for the number of episodes to be adjusted (target time range), and an activation value input unit 702C. In the topic selection unit 702A, a topic whose activation value (activation degree) is adjusted is selected from a plurality of topics F1, F2, and F3 obtained by NMF. In the topic selection unit 702A, the extracted topics F1, F2, and F3 are shown so as to be selectable by using radio buttons or the like.

ストーリー展開解析装置100Aのプロセッサ110は、ユーザ端末300から、選択された対象トピックF3に示すデータを受け付ける。プロセッサ110は、ユーザ端末300から受け付けたデータに基づいて、第2非負値行列Hにおいてアクティベーション値が変更される対象トピックとして、例えば、第3トピックF3を選択する(ステップS315)。 The processor 110 of the story development analysis device 100A receives the data shown in the selected target topic F3 from the user terminal 300. The processor 110 selects, for example, the third topic F3 as the target topic whose activation value is changed in the second non-negative matrix H based on the data received from the user terminal 300 (step S315).

話数の選択部702Bでは、対象コンテンツにおいてオブジェクトの登場度が調整される対象話数が、例えば数値で、ユーザによって入力される。プロセッサ110は、ユーザ端末300から、選択された対象話数(対象時間範囲)を示すデータを受け付ける。プロセッサ110は、ユーザ端末300あら受け付けたデータに基づいて、第2非負値行列Hにおいてアクティベーション値が変更される話数(時間範囲)として、例えば、第3話を選択する(ステップS316)。 In the story number selection unit 702B, the target story number for which the appearance degree of the object is adjusted in the target content is input by the user, for example, numerically. The processor 110 receives data indicating the number of selected target talks (target time range) from the user terminal 300. The processor 110 selects, for example, the third episode as the number of episodes (time range) in which the activation value is changed in the second non-negative matrix H based on the data received by the user terminal 300 (step S316).

アクティベーション値の入力部702Cでは、変更後のアクティベーション値が、例えば数値で、ユーザによって入力される。変更後のアクティベーション値は、ユーザにより、任意の値が入力される。変更後のアクティベーション値としては、例えば、NMFにより得られた対象トピックのアクティベーション値(例えば、0)とは異なる値(例えば、0.7)に設定される。 In the activation value input unit 702C, the changed activation value is input by the user, for example, as a numerical value. As the activation value after the change, an arbitrary value is input by the user. The changed activation value is set to a value (for example, 0.7) different from the activation value (for example, 0) of the target topic obtained by NMF, for example.

プロセッサ110は、ユーザ端末300から、変更後のアクティベーション値を受け付ける。プロセッサ110は、第2非負値行列Hにおいて、対象トピックF3の対象話数(第3話)のアクティベーション値だけを、変更前の0(図9参照)から変更後の値(0.7)に変更した、変更後の第2非負値行列Hを生成する。プロセッサ110は、図8に示す第1非負値行列Wに変更後の第2非負値行列を乗じる行列演算を実行する。この行列演算によって、図7に示す時系列データ201M(非負値行列データ)のうち、対象話数である第3話における各オブジェクトの登場度が更新される(ステップS317)。なお、更新後の時系列データ201Mにおいて、対象話数以外の各オブジェクトの登場度に変化はないため、行列演算において、対象話数以外の登場度を更新する演算は省略してもよい。 The processor 110 receives the changed activation value from the user terminal 300. In the second non-negative matrix H, the processor 110 changes only the activation value of the number of target episodes (episode 3) of the target topic F3 from 0 before the change (see FIG. 9) to the value after the change (0.7). The changed second non-negative matrix H is generated. The processor 110 executes a matrix operation in which the first non-negative matrix W shown in FIG. 8 is multiplied by the changed second non-negative matrix. By this matrix operation, the appearance degree of each object in the third episode, which is the number of target episodes, is updated in the time series data 201M (non-negative matrix data) shown in FIG. 7 (step S317). Since there is no change in the appearance degree of each object other than the target story number in the updated time series data 201M, the operation of updating the appearance degree other than the target story number may be omitted in the matrix operation.

プロセッサ110は、対象話数である第3話における各オブジェクトの更新後の登場度を調整結果として、ユーザ端末300へ送信する(ステップS318)。ユーザ端末300は、調整結果を受信し、その調整結果を、画面500Aの調整結果表示部703に表示させる。調整結果表示部703では、対象話数である第3話における第3トピックF3のアクティベーション値を0.7にするための各オブジェクトの登場度(登場回数)が表示される。ユーザは、調整結果表示部703を参照することで、調整後のオブジェクトの登場度を把握することができる。 The processor 110 transmits the updated appearance degree of each object in the third episode, which is the number of target episodes, to the user terminal 300 as an adjustment result (step S318). The user terminal 300 receives the adjustment result and displays the adjustment result on the adjustment result display unit 703 of the screen 500A. The adjustment result display unit 703 displays the appearance degree (number of appearances) of each object for setting the activation value of the third topic F3 in the third episode, which is the number of target episodes, to 0.7. The user can grasp the appearance degree of the adjusted object by referring to the adjustment result display unit 703.

<3.付記> <3. Addendum>

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。 The present invention is not limited to the above embodiment, and various modifications are possible.

10 :システム
100 :ストーリー展開提示装置
100A :ストーリー展開解析装置
110 :プロセッサ
111 :ストーリー展開提示処理
111A :ストーリー展開解析処理
120 :記憶装置
121 :コンピュータプログラム
121A :コンピュータプログラム
200 :データベース
201 :第1コンテンツデータ
201M :第1時系列データ
202 :第2コンテンツデータ
202M :第2時系列データ
203 :第3コンテンツデータ
203M :第3時系列データ
300 :ユーザ端末
310 :プロセッサ
320 :記憶装置
330 :入出力装置
400 :ネットワーク
500 :画面
500A :画面
501 :表示領域
510 :作品名表示部
511 :名称表示部
512 :グラフィカルイメージ
513 :第1表示部
514 :第2表示部
515 :第3表示部
516 :シークバー
516A :スライダ
601 :トピック表示部
602 :ストーリー展開表示部
701 :オブジェクト寄与度表示部
702 :ストーリー展開調整部
702A :選択部
702B :選択部
702C :入力部
703 :調整結果表示部
A :キャラクター
B :キャラクター
C :キャラクター
D :キャラクター
E :建物
F :建物
G :道具
H :道具
F1 :第1トピック
F2 :第2トピック
F3 :第3トピック
R :選択線
S :オブジェクト情報
T :時間情報
10: System 100: Story development presentation device 100A: Story development analysis device 110: Processor 111: Story development presentation process 111A: Story development analysis process 120: Storage device 121: Computer program 121A: Computer program 200: Database 201: First content Data 201M: First time series data 202: Second content data 202M: Second time series data 203: Third content data 203M: Third time series data 300: User terminal 310: Processor 320: Storage device 330: Input / output device 400: Network 500: Screen 500A: Screen 501: Display area 510: Work name display unit 511: Name display unit 512: Graphical image 513: First display unit 514: Second display unit 515: Third display unit 516: Seek bar 516A : Slider 601: Topic display unit 602: Story development display unit 701: Object contribution display unit 702: Story development adjustment unit 702A: Selection unit 702B: Selection unit 702C: Input unit 703: Adjustment result display unit A: Character B: Character C: Character D: Character E: Building F: Building G: Tool H: Tool F1: First topic F2: Second topic F3: Third topic R: Selection line S: Object information T: Time information

Claims (17)

複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法であって、
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、
前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示する
ことを備える、ストーリーの展開をユーザに提示する方法。
It is a method of presenting the development of a story in which multiple objects appear to the user.
The processor reads the time-series data from the database in which the time-series data indicating the temporal change of the appearance degree of each of the plurality of objects is stored.
Based on the time-series data read by the processor, the processor generates a graphical image showing the temporal change of the appearance degree of one or more objects included in the plurality of objects.
A method of presenting a story development to a user, wherein the processor presents the graphical image to the user as the development of the story.
前記グラフィカルイメージは、前記ストーリーを説明する文章が付属することなく、前記ユーザに提示される
請求項1に記載のストーリーの展開をユーザに提示する方法。
The graphical image is a method of presenting a user with the development of the story according to claim 1, which is presented to the user without being accompanied by a sentence explaining the story.
前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを更に備える
請求項1又は請求項2に記載の、ストーリーの展開をユーザに提示する方法。
The method of presenting a storyline development according to claim 1 or 2, wherein the processor further comprises selecting the one or more objects from the plurality of objects.
前記1つ以上のオブジェクトは、前記ユーザから入力されたデータに基づいて選択される
請求項3に記載のストーリーの展開をユーザに提示する方法。
The method of presenting the user with a storyline according to claim 3, wherein the one or more objects are selected based on data input by the user.
前記1つ以上のオブジェクトは、前記時系列データを解析した結果に基づいて選択される
請求項3に記載のストーリーの展開をユーザに提示する方法。
The method of presenting the user with the development of the story according to claim 3, wherein the one or more objects are selected based on the result of analyzing the time series data.
前記1つ以上のオブジェクトは、前記時系列データが示す前記登場度に基づいて選択される
請求項3に記載のストーリーの展開をユーザに提示する方法。
The method of presenting to the user the development of the story according to claim 3, wherein the one or more objects are selected based on the appearance degree indicated by the time series data.
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される
請求項3に記載のストーリーの展開をユーザに提示する方法。
The time series data is non-negative matrix data and is
The story development according to claim 3, wherein the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm. How to present.
前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備え、
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成される
請求項1から請求項6のいずれか1項に記載のストーリーの展開をユーザに提示する方法。
The processor further comprises selecting a time range of a portion of the entire time range of the time series data.
The graphical image tells the user the development of the story according to any one of claims 1 to 6, which is generated based on the partial time series data in the partial time range of the time series data. How to present.
前記一部の時間範囲は、前記ユーザから入力されたデータに基づいて選択される
請求項8に記載のストーリーの展開をユーザに提示する方法。
The method of presenting the user with the development of the story according to claim 8, wherein the partial time range is selected based on the data input by the user.
前記一部の時間範囲は、前記時系列データを解析した結果に基づいて選択される
請求項8に記載のストーリーの展開をユーザに提示する方法。
The method of presenting the user with the development of the story according to claim 8, wherein the partial time range is selected based on the result of analyzing the time series data.
前記時系列データは、非負値行列データであり、
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される
請求項8に記載のストーリーの展開をユーザに提示する方法。
The time series data is non-negative matrix data and is
The development of the story according to claim 8, wherein the partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm. How to present.
前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択すること、
前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択すること、
を更に備え、
前記グラフィカルイメージは、前記一部の時間範囲における前記1つ以上のオブジェクトの登場度の時間的変化を示すよう生成される
請求項1又は請求項2に記載のストーリー展開をユーザに提示する方法。
The processor selects the one or more objects from the plurality of objects.
The processor selects a time range of a part of the entire time range of the time series data.
Further prepare
The method of presenting the user with the story development according to claim 1 or 2, wherein the graphical image is generated to indicate a temporal change in the appearance of the one or more objects in the part of the time range.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、
前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、
を備えるストーリー展開提示装置。
A database that stores time-series data that shows the temporal changes in the appearance of each of the multiple objects that appear in the story, and
Based on the time-series data read from the database, a graphical image showing the temporal change of the appearance degree of one or more objects included in the plurality of objects is generated, and the graphical image is used as the development of the story. , A processor configured to perform the processing presented to the user,
A story development presentation device equipped with.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させるためのコンピュータプログラム。 Appearance of one or more objects included in the plurality of objects based on the time series data read from the database in which the time series data indicating the temporal change of the appearance degree of each of the plurality of objects appearing in the story is stored. A computer program for causing a computer to generate a graphical image showing a change over time and present the graphical image to a user as a development of the story. 複数のオブジェクトが登場するストーリーの展開を解析する方法であって、
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用する
ことを備える、ストーリーの展開を解析する方法。
It is a method to analyze the development of a story in which multiple objects appear.
The processor reads the time-series data from the database in which the time-series data, which is the non-negative matrix data and shows the temporal change of the appearance degree of each of the plurality of objects, is stored.
A method of analyzing story evolution, comprising the processor applying a non-negative matrix factorization algorithm to the time series data to analyze the story.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、
前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、
を備えるストーリー展開解析装置。
A database that shows the temporal changes in the appearance of each of the multiple objects that appear in the story and stores time-series data that is non-negative matrix data.
A processor configured to execute a process that applies a non-negative matrix factorization algorithm to the time series data read from the database.
A story development analysis device equipped with.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させるためのコンピュータプログラム。 A non-negative matrix factor decomposition algorithm is applied to the time-series data read from the database in which the time-series data, which is non-negative matrix data, is stored while showing the temporal change of the appearance degree of each of the plurality of objects appearing in the story. A computer program that lets a computer perform the processing it applies.
JP2020065530A 2020-04-01 2020-04-01 Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof Pending JP2021163292A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020065530A JP2021163292A (en) 2020-04-01 2020-04-01 Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020065530A JP2021163292A (en) 2020-04-01 2020-04-01 Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof

Publications (1)

Publication Number Publication Date
JP2021163292A true JP2021163292A (en) 2021-10-11

Family

ID=78003497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020065530A Pending JP2021163292A (en) 2020-04-01 2020-04-01 Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof

Country Status (1)

Country Link
JP (1) JP2021163292A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058576A1 (en) 2021-10-04 2023-04-13 ダイキン工業株式会社 Low-molecular-weight-compound search method, program, device, and system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058576A1 (en) 2021-10-04 2023-04-13 ダイキン工業株式会社 Low-molecular-weight-compound search method, program, device, and system

Similar Documents

Publication Publication Date Title
Koch et al. May AI? Design ideation with cooperative contextual bandits
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US11531457B2 (en) Video display for displaying a series of representative images for video
US8756516B2 (en) Methods, systems, and computer program products for interacting simultaneously with multiple application programs
US20040073921A1 (en) Grid-like guided user interface for video selection and display
JP4568144B2 (en) Information presentation device and information presentation program
US11080348B2 (en) System and method for user-oriented topic selection and browsing
CN112291609A (en) Video display and push method, device, storage medium and system thereof
CN111159431A (en) Knowledge graph-based information visualization method, device, equipment and storage medium
JP2008123239A (en) Keyword extraction retrieval system and mobile terminal
CN115455280A (en) Recommendation list determining method and server
JP2021163292A (en) Method for presenting story development to user, story development presenting device, computer program thereof, story development analysis method, story development analyzer, and computer program thereof
US20070245247A1 (en) Grid-like guided user interface for video selection and display
JP2017224085A (en) Information processing apparatus, information processing method, and information processing program
JP5805134B2 (en) Terminal device and device program
US20230254542A1 (en) Methods and systems facilitating adjustment of multiple variables via a content guidance application
CN112333480A (en) Program recommendation method, display terminal and computer readable storage medium
JP7465487B2 (en) Emoticon Generator
US20230254521A1 (en) Video distribution device, video distribution method, and recording media
CN111104026A (en) Method and device for recommending service
Shannon et al. Showtime: increasing viewer understanding of dynamic network visualisations
JP2019144817A (en) Motion picture output device, motion picture output method, and motion picture output program
JP7212973B1 (en) A method for providing a user interface for searching e-book information and a server using the same
JP2009010848A (en) Apparatus and program for processing program information
CN112543356B (en) Video pushing method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405