JP2021124958A - Spectator analyzer, spectator analysis method, and computer program - Google Patents

Spectator analyzer, spectator analysis method, and computer program Download PDF

Info

Publication number
JP2021124958A
JP2021124958A JP2020017989A JP2020017989A JP2021124958A JP 2021124958 A JP2021124958 A JP 2021124958A JP 2020017989 A JP2020017989 A JP 2020017989A JP 2020017989 A JP2020017989 A JP 2020017989A JP 2021124958 A JP2021124958 A JP 2021124958A
Authority
JP
Japan
Prior art keywords
spectator
event
satisfaction
group
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020017989A
Other languages
Japanese (ja)
Inventor
雄太 武藤
Yuta Muto
雄太 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020017989A priority Critical patent/JP2021124958A/en
Publication of JP2021124958A publication Critical patent/JP2021124958A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a spectator analyzer, a spectator analysis method, and a computer program, for providing an index that can be utilized for an operation of a performance.SOLUTION: A spectator analyzer comprises: a moving image acquisition section for acquiring a moving image obtained by photographing a first spectator group and a second spectator group who view a performance concerning a sport game; a satisfaction measurement section for measuring satisfaction of each of the first spectator group and the second spectator group for each event during a period of the performance on the basis of a feeling analysis result of each of the first spectator group and the second spectator group photographed in the moving image; and an information output section for outputting information on each event and event satisfaction information obtained by associating the satisfaction of the first spectator group for the event with the satisfaction of the second spectator group for the event.SELECTED DRAWING: Figure 2

Description

本開示は、観客分析装置、観客分析方法、及び、コンピュータプログラムに関する。 The present disclosure relates to an audience analyzer, an audience analysis method, and a computer program.

スポーツに関する興行を行う興行主にとって、興行を観覧する観客の満足度は、興行を運営していく上で重要な指標である。 For the entertainer who conducts sports-related entertainment, the satisfaction level of the spectators who watch the entertainment is an important index for running the entertainment.

観客の満足度を知るための方法として、観客にアンケートに回答してもらったり、生体を測定する装置を観客に装着してもらったりする方法が知られている。特許文献1には、人体の生理情報を測定し、その測定結果と位置情報とを可視光信号にて出力する所定の装置を観客に装着させ、その可視光信号とその観客の顔画像とを撮像し、各観客の生理情報と、位置情報と、顔画像から抽出された表情情報とを対応付けて管理する装置が開示されている。 As a method for knowing the satisfaction level of the spectator, there is known a method of having the spectator answer a questionnaire or having the spectator wear a device for measuring a living body. In Patent Document 1, a spectator is equipped with a predetermined device that measures physiological information of the human body and outputs the measurement result and position information as a visible light signal, and the visible light signal and the facial image of the spectator are obtained. A device that captures an image and manages the physiological information of each spectator, the position information, and the facial expression information extracted from the facial image in association with each other is disclosed.

特開2016−147011号公報Japanese Unexamined Patent Publication No. 2016-147011

上述した方法は、興行に対する観客一人ひとりの満足度、あるいは、興行に対する観客全体の満足度を測定できるものの、過大な手間と費用がかかる上に、その測定結果は、興行の運営に活用するための指標としては不十分である。 Although the above-mentioned method can measure the satisfaction of each spectator with respect to the box office or the satisfaction level of the entire spectator with respect to the box office, it requires excessive labor and cost, and the measurement result is used for the operation of the box office. It is insufficient as an index.

本開示の目的は、興行の運営に活用できる指標を提供することにある。 The purpose of this disclosure is to provide indicators that can be used for the operation of entertainment.

本開示の一態様に係る観客分析装置は、スポーツの試合に関する興行を観覧する第1の観客群及び第2の観客群を撮影した動画を取得する取得部と、前記動画に撮影された前記第1の観客群及び前記第2の観客群のそれぞれの感情分析結果に基づいて、前記興行の期間中の各イベントに対する前記第1の観客群及び前記第2の観客群のそれぞれの満足度を測定する測定部と、前記各イベントに関する情報と、当該イベントに対する前記第1の観客群の満足度と、当該イベントに対する前記第2の観客群の満足度とを対応付けたイベント満足度情報を出力する出力部と、を備える。 The spectator analyzer according to one aspect of the present disclosure includes an acquisition unit that acquires a moving image of a first spectator group and a second spectator group for observing an entertainment related to a sports game, and the first spectator group taken in the moving image. Based on the results of sentiment analysis of each of the first spectator group and the second spectator group, the satisfaction levels of the first spectator group and the second spectator group for each event during the entertainment period are measured. Outputs event satisfaction information in which information about each event is associated with the satisfaction of the first spectator group for the event and the satisfaction of the second spectator group for the event. It includes an output unit.

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific aspects may be realized by a system, a device, a method, an integrated circuit, a computer program or a recording medium, and any of the system, a device, a method, an integrated circuit, a computer program and a recording medium. It may be realized by various combinations.

本開示によれば、興行の運営に活用できる指標を提供できる。 According to this disclosure, it is possible to provide an index that can be used for the operation of a box office.

本実施の形態に係る観客分析システムの構成例を示す図The figure which shows the configuration example of the audience analysis system which concerns on this Embodiment 本実施の形態に係る観客分析装置の機能の構成例を示す図The figure which shows the structural example of the function of the audience analyzer which concerns on this embodiment. イベント満足度情報の構成例を示す図Diagram showing a configuration example of event satisfaction information 観客分析装置の動作例を示すフローチャートFlow chart showing an operation example of the audience analyzer 満足度グラフの表示例を示す図Diagram showing a display example of a satisfaction graph コアファンの満足度ランキングの表示例を示す図Diagram showing a display example of the satisfaction ranking of core fans ライトファンの満足度ランキングの表示例を示す図Diagram showing a display example of the satisfaction ranking of light fans

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of already well-known matters and duplicate explanations for substantially the same configuration may be omitted. This is to avoid unnecessary redundancy of the following description and to facilitate the understanding of those skilled in the art. It should be noted that the accompanying drawings and the following description are provided for those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter of the claims.

(本開示に至る経緯)
例えば、サッカー、野球、バスケットボール、バレーボールといったスポーツの試合の興行を行う興行主にとって、ファン数の維持拡大は、興行を継続的に運営していく上で重要である。そのため、興行主は、ファン数の維持拡大のために、興行中において、単に試合を行うだけでなく、試合の前後及び休憩中に行う様々なイベントを企画する。例えば、興行主は、試合前の時間に、選手を紹介したり、選手の好プレーを会場の大型ビジョンに再生したりするイベントを企画する。興行主は、試合後の時間に、試合で活躍した選手へのインタビューを行ったり、観客が一丸となってチームを応援したりするイベントを企画する。
(Background to this disclosure)
For example, for an entertainer who plays sports games such as soccer, baseball, basketball, and volleyball, maintaining and expanding the number of fans is important for the continuous operation of the entertainer. Therefore, in order to maintain and expand the number of fans, the entertainer plans not only a match but also various events before and after the match and during breaks. For example, the entertainer organizes an event in the pre-match time to introduce players and recreate the players' good play in a large-scale vision of the venue. In the post-match time, the entertainer plans an event to interview the players who played an active part in the match and to support the team as a whole.

これらのイベントに対する観客の満足度を測定する方法として、会場で観覧する観客一人ひとりの顔の表情を分析し、その分析結果に基づいて、観客一人ひとりの感情を測定する方法が考えられる。あるいは、会場で観覧する観客全体の音声を分析し、観客全体の盛り上がりを測定する方法が考えられる。 As a method of measuring the satisfaction of the spectators with respect to these events, it is conceivable to analyze the facial expressions of each spectator viewing at the venue and measure the emotions of each spectator based on the analysis result. Alternatively, a method of analyzing the sound of the entire audience viewing at the venue and measuring the excitement of the entire audience can be considered.

しかし、上記の方法によって得られる測定結果は、興行中に行われた各イベントがファン数の維持拡大にどれくらい効果的であるかを分析するための指標としては不十分である。例えば、上記の方法では、各イベントに対する、スポーツ(又はスポーツのチーム)のコアファン及びライトファンといった当該スポーツやチームに対する熱心さの異なるファン層に対してそれぞれの満足度を区別して測定できない。よって、興行主は、例えば、ライトファン向けに企画したイベントが本当にライトファンを満足させることができているのかなどを詳細に分析することができない。ここで、コアファンは、同じスポーツ(又は同じチーム)の試合を観覧するために会場に所定回数以上(例えば3回以上)訪れたことのある観客であってよい。ライトファンは、同じスポーツ(又は同じチーム)の試合を観覧するために会場に所定回数未満(例えば3回未満)訪れたことのある観客であってよい。 However, the measurement results obtained by the above method are insufficient as an index for analyzing how effective each event held during the show is for maintaining and expanding the number of fans. For example, in the above method, it is not possible to separately measure the satisfaction level of each event with respect to fan groups having different zeal for the sport or team, such as core fans and light fans of the sport (or sports team). Therefore, the entertainer cannot analyze in detail, for example, whether an event planned for light fans can really satisfy light fans. Here, the core fan may be a spectator who has visited the venue a predetermined number of times (for example, three times or more) to watch a game of the same sport (or the same team). A light fan may be a spectator who has visited the venue less than a predetermined number of times (eg, less than three times) to watch a match of the same sport (or the same team).

コアファンとライトファンの満足度をそれぞれ区別して測定できれば、興行主は、例えば、ライトファンの満足度を高めてコアファンになるようなライトファン向けイベント等を企画及び実施し、その実施結果を検証できる。すなわち、興行主は、ファン数の維持拡大のためのイベントを、従来よりも高い精度で分析できる。 If the satisfaction level of the core fan and the light fan can be measured separately, the entertainer plans and implements, for example, an event for the light fan that enhances the satisfaction level of the light fan and becomes a core fan, and the implementation result is reported. Can be verified. That is, the entertainer can analyze the event for maintaining and expanding the number of fans with higher accuracy than before.

本実施の形態では、コアファンとライトファンのような、興行に対する属性の異なる観客の満足度をそれぞれ区別して分析可能なシステム、装置、方法、及びコンピュータプログラムについて説明する。 In the present embodiment, a system, an apparatus, a method, and a computer program capable of distinguishing and analyzing the satisfaction of spectators with different attributes for entertainment, such as core fans and light fans, will be described.

(本実施の形態)
図1は、本実施の形態に係る観客分析システムの構成例を示す図である。
(Implementation)
FIG. 1 is a diagram showing a configuration example of an audience analysis system according to the present embodiment.

図1に示すように、観客分析システム10は、カメラ装置11A、カメラ装置11B、表示装置12、入力装置13、及び、観客分析装置100を備える。 As shown in FIG. 1, the spectator analysis system 10 includes a camera device 11A, a camera device 11B, a display device 12, an input device 13, and an spectator analysis device 100.

スポーツの試合を観覧する会場の観客席には、(競技種別にもよるが、例えばサッカーの場合)コアファンに比較的人気の高いエリア(つまりコアファンの人数が比較的多いエリア)と、ライトファンに比較的人気の高いエリア(つまりライトファンの人数が比較的多いエリア)とが存在し得る。例えば、観客席が2階建て以上の会場の場合、試合が行われるフィールドに近い1階のエリアはライトファンよりもコアファンが比較的多く、フィールドから遠い2階以上のエリアはコアファンよりもライトファンが比較的多いといった傾向が存在し得る。例えば、応援団が存在する試合の場合、応援団に近いエリアはライトファンよりもコアファンが比較的多く、応援団から遠いエリアはコアファンよりもライトファンが比較的多いといった傾向が存在し得る。例えば、観客席の料金がエリアによって異なる場合、比較的料金の高いエリアはライトファンよりもコアファンが比較的多く、比較的料金の安いエリアはコアファンよりもライトファンが比較的多いといった傾向が存在し得る。 The spectators' seats at the venue for watching sports games include areas that are relatively popular with core fans (that is, areas with a relatively large number of core fans) and lights (in the case of soccer, for example, depending on the type of competition). There can be areas that are relatively popular with fans (ie areas with a relatively large number of light fans). For example, in a venue with two or more spectators' seats, the area on the first floor near the field where the match is held has relatively more core fans than the light fans, and the area on the second floor and above far from the field has more core fans. There may be a tendency for the number of light fans to be relatively large. For example, in the case of a match with a cheering squad, there may be a tendency that the area near the cheering squad has a relatively large number of core fans than the light fans, and the area far from the cheering squad has a relatively large number of light fans than the core fans. .. For example, when the price of spectator seats varies depending on the area, there is a tendency that relatively high-priced areas have relatively more core fans than light fans, and relatively low-priced areas have relatively more light fans than core fans. Can exist.

上述したファンの属性とエリアの人気との関係は、例えば、各観客の観覧チケットの購入履歴から分析してもよい。例えば、同じチームの試合の観覧チケットを所定回数以上(例えば3回以上)購入している観客が比較的多いエリアは、コアファンに比較的人気の高いエリアであると分析できる。例えば、同じチームの試合の観覧チケットを所定回数未満(例えば3回未満)購入している観客が比較的多いエリアは、ライトファンに比較的人気の高いエリアであると分析できる。更にいえば、当該チケットの購入が、発売直後(あるいは通年チケット)なのか(コアファンと推定)、試合日直前なのか(ライトファンと推定)、通常の価格のチケットなのか(コアファンと推定)、他関係者等からの優待チケットなのか(ライトファンと推定)、それとも、無料の招待チケットなのか(ライトファンと推定)等で分析してもよい。なお、発売直後とは、発売日から一定期間(例えば3日や1週間)を指し、試合着直前とは、試合日を含めてその前の一定期間(例えば3日や1週間)を指す。また、優待チケットとは、公式チケットの値段からの割引や値引きがされているチケットをいう。このように、チケットを購入した日やチケットを入手した際の値段等に関する情報を、チケット購入履歴とする。 The relationship between the above-mentioned fan attributes and the popularity of the area may be analyzed from, for example, the purchase history of viewing tickets for each spectator. For example, an area with a relatively large number of spectators who have purchased a game viewing ticket for the same team a predetermined number of times (for example, three times or more) can be analyzed as an area that is relatively popular with core fans. For example, an area with a relatively large number of spectators who have purchased tickets for the same team's games less than a predetermined number of times (for example, less than three times) can be analyzed as an area that is relatively popular with light fans. Furthermore, whether the ticket was purchased immediately after its release (or a year-round ticket) (estimated to be a core fan), just before the match date (estimated to be a light fan), or a regular priced ticket (estimated to be a core fan). ), Is it a preferential ticket from other parties (estimated to be a light fan), or is it a free invitation ticket (estimated to be a light fan)? Immediately after the release means a certain period from the release date (for example, 3 days or 1 week), and immediately before the arrival of the match means a certain period before the match date (for example, 3 days or 1 week). In addition, the preferential ticket means a ticket that is discounted or discounted from the price of the official ticket. In this way, information on the date of purchase of the ticket, the price at the time of obtaining the ticket, and the like is used as the ticket purchase history.

カメラ装置11Aは、コアファンに比較的人気の高いエリアの所定範囲(以下「第1のエリア」という)20Aを撮影するように設置される。カメラ装置11Bは、ライトファンに比較的人気の高いエリアの所定範囲(以下「第2のエリア」という)20Bを撮影するように設置される。なお、観客席がチーム毎に分かれている場合、第1のエリア20A及び第2のエリア20Bは、同じチーム側に設定されることが好ましい。観客の満足度は、敵対するチーム同士では、相反する傾向にあるからである。 The camera device 11A is installed so as to capture a predetermined range (hereinafter referred to as "first area") 20A of an area relatively popular with core fans. The camera device 11B is installed so as to capture a predetermined range (hereinafter referred to as "second area") 20B of an area relatively popular with light fans. When the spectator seats are divided for each team, it is preferable that the first area 20A and the second area 20B are set on the same team side. Audience satisfaction tends to be in conflict between hostile teams.

会場にて試合を含むスポーツの興行が開催されている期間(以下「興行期間」という)、カメラ装置11Aは第1のエリア20Aを動画で撮影して第1の観客動画200A(図2参照)のデータを生成し、カメラ装置11Bは第2のエリア20Bを動画で撮影して第2の観客動画200B(図2参照)のデータを生成する。よって、第1の観客動画200Aにはコアファンの観客が比較的多く撮影され、第2の観客動画200Bにはライトファンの観客が比較的多く撮影される。なお、興行には、上述のとおり、試合に加えて、その試合の前後及び/又はその試合の合間に行われる、興行主が企画したイベントも含まれる。 During the period when sports entertainment including games is being held at the venue (hereinafter referred to as the "entertainment period"), the camera device 11A shoots a video of the first area 20A and the first audience video 200A (see Fig. 2). The camera device 11B captures the second area 20B as a moving image to generate the data of the second audience moving image 200B (see FIG. 2). Therefore, a relatively large number of core fan spectators are photographed in the first spectator moving image 200A, and a relatively large number of light fan spectators are photographed in the second spectator moving image 200B. As described above, the box office includes, in addition to the game, events planned by the box office owner before and after the game and / or between the games.

カメラ装置11A及びカメラ装置11Bは、それぞれ、生成した第1の観客動画200A及び第2の観客動画200B(図2参照)を、所定の通信ネットワーク14を介して、観客分析装置100に送信する。 The camera device 11A and the camera device 11B transmit the generated first spectator moving image 200A and the second spectator moving image 200B (see FIG. 2) to the spectator analysis device 100 via a predetermined communication network 14, respectively.

観客分析装置100は、カメラ装置11A及びカメラ装置11Bから、それぞれ、第1の観客動画200A及び第2の観客動画200Bを取得する。 The spectator analysis device 100 acquires the first spectator video 200A and the second spectator video 200B from the camera device 11A and the camera device 11B, respectively.

観客分析装置100は、第1の観客動画200A及び第2の観客動画200Bに基づいて、興行期間中に行われた各イベントに対する、属性が互いに異なる観客群(例えばコアファンとライトファン)のそれぞれの満足度を測定及び分析する装置である。なお、本開示における「イベント」は、上述した興行主が企画したイベントに加えて、試合中に生じた特徴的なプレー(例えばサッカーのゴール)及び/又は出来事(例えば選手交代)なども含む。 The spectator analyzer 100 is based on the first spectator video 200A and the second spectator video 200B, and is a group of spectators (for example, core fans and light fans) having different attributes for each event held during the entertainment period. It is a device that measures and analyzes the degree of satisfaction of. The "event" in the present disclosure includes, in addition to the above-mentioned event planned by the entertainer, characteristic play (for example, soccer goal) and / or event (for example, player change) that occurred during the match.

例えば、観客分析装置100は、測定結果として、興行期間中に行われた各イベントに対するコアファン及びライトファンのそれぞれの満足度に関する情報(以下「イベント満足度情報」という)202(図2参照)を生成及び出力する。なお、観客分析装置100の詳細については後述する。 For example, as a measurement result, the spectator analyzer 100 provides information on the satisfaction levels of the core fans and the light fans for each event held during the entertainment period (hereinafter referred to as “event satisfaction information”) 202 (see FIG. 2). Is generated and output. The details of the audience analyzer 100 will be described later.

表示装置12は、観客分析装置100による分析結果等を表示する。表示装置12は、例えば、観客分析装置100と所定のケーブル又は無線によって接続されたモニタである。 The display device 12 displays the analysis result and the like by the spectator analysis device 100. The display device 12 is, for example, a monitor connected to the audience analyzer 100 by a predetermined cable or wirelessly.

入力装置13は、観客分析装置100に対するユーザからの入力操作を受け付ける。入力装置13は、例えば、観客分析装置100と所定のケーブル又は無線によって接続されたキーボード及びマウスである。 The input device 13 receives an input operation from the user to the spectator analysis device 100. The input device 13 is, for example, a keyboard and a mouse connected to the audience analyzer 100 by a predetermined cable or wirelessly.

なお、入力装置13及び表示装置12は、PC、タブレット又はスマートフォンのような一体型の端末であって、所定の通信ネットワーク(例えばインターネット)を通じて、観客分析装置100と接続されてもよい。 The input device 13 and the display device 12 are integrated terminals such as a PC, a tablet, or a smartphone, and may be connected to the audience analysis device 100 through a predetermined communication network (for example, the Internet).

観客分析装置100は、図1に示すように、メモリ101、プロセッサ102、ストレージ103、通信I/F104、及び、入出力I/F105を備える。これらの構成要素101〜105は、バス106を通じて、互いにデータを送受信できてよい。なお、これらの構成要素は、物理的に1台の装置内に全て組み込まれて自己完結されなくてもよく、図2で示す各機能は、複数の装置によって実現されてもよい。 As shown in FIG. 1, the spectator analyzer 100 includes a memory 101, a processor 102, a storage 103, a communication I / F 104, and an input / output I / F 105. These components 101-105 may be able to send and receive data to and from each other through the bus 106. It should be noted that these components may not be physically integrated in one device and self-contained, and each function shown in FIG. 2 may be realized by a plurality of devices.

メモリ101は、観客分析装置100が有する機能を実現するためのコンピュータプログラム及びデータを記憶する装置である。メモリ101は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)又はこれらの組み合わせによって構成される。 The memory 101 is a device that stores computer programs and data for realizing the functions of the spectator analysis device 100. The memory 101 is composed of, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), or a combination thereof.

プロセッサ102は、メモリ101から読み出したコンピュータプログラムを実行し、観客分析装置100が有する機能を実現する装置である。なお、プロセッサ102は、コントローラ、CPU(Central Processing Unit)、集積回路、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、又は、FPGA(Field-Programmable Gate Array)といった他の用語に読み替えられてもよい。 The processor 102 is a device that executes a computer program read from the memory 101 and realizes the functions of the spectator analyzer 100. The processor 102 is read as another term such as a controller, a CPU (Central Processing Unit), an integrated circuit, an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field-Programmable Gate Array). You may.

ストレージ103は、不揮発性記憶媒体で構成され、観客分析装置100が有する機能を実現するためのコンピュータプログラム及びデータを格納する装置である。ストレージ103は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及び/又は、フラッシュメモリによって構成される。 The storage 103 is a device composed of a non-volatile storage medium and stores computer programs and data for realizing the functions of the spectator analysis device 100. The storage 103 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), and / or a flash memory.

通信I/F104は、通信ネットワーク14(例えば、インターネット、有線LAN、無線LAN、及び/又は、携帯通信網等)を介した、他の装置とのデータの送受信を制御する装置である。通信I/F104は、通信装置又は通信モジュールといった他の用語に読み替えられてもよいし、カメラ装置で撮影した動画をネットワークを経由させずにオフラインの媒体経由で撮影(試合)終了後に、観客分析装置に取得するUSB等の取得部(映像入力I/F)であってもよい。 The communication I / F 104 is a device that controls transmission / reception of data with another device via a communication network 14 (for example, the Internet, a wired LAN, a wireless LAN, and / or a mobile communication network, etc.). The communication I / F 104 may be read as another term such as a communication device or a communication module, and after the video taken by the camera device is shot (match) via an offline medium without going through the network, the audience analysis It may be an acquisition unit (video input I / F) such as USB that is acquired by the device.

入出力I/F105は、所定のケーブル又は無線を介した、他の装置(例えば、表示装置12、入力装置13)とのデータの入出力を制御する装置である。 The input / output I / F 105 is a device that controls data input / output with other devices (for example, display device 12, input device 13) via a predetermined cable or radio.

図2は、本実施の形態に係る観客分析装置100の機能の構成例を示す図である。 FIG. 2 is a diagram showing a configuration example of the functions of the spectator analyzer 100 according to the present embodiment.

図2に示すように、観客分析装置100は、動画取得部121、イベント特定部122、感情認識部123、満足度測定部124、情報出力部125、表示制御部126、及び、入力制御部127を有する。これらの機能は、観客分析装置100が備えるプロセッサ102、メモリ101、ストレージ103、通信I/F104、及び/又は、入出力I/F105が協調動作することによって実現される。 As shown in FIG. 2, the audience analyzer 100 includes a moving image acquisition unit 121, an event identification unit 122, an emotion recognition unit 123, a satisfaction measurement unit 124, an information output unit 125, a display control unit 126, and an input control unit 127. Has. These functions are realized by the cooperative operation of the processor 102, the memory 101, the storage 103, the communication I / F 104, and / or the input / output I / F 105 included in the spectator analyzer 100.

動画取得部121は、カメラ装置11から観客動画を取得(受信)する。例えば、動画取得部121は、カメラ装置11A及びカメラ装置11Bからそれぞれ第1の観客動画200A及び第2の観客動画200Bを取得する。 The moving image acquisition unit 121 acquires (receives) the audience moving image from the camera device 11. For example, the moving image acquisition unit 121 acquires the first audience moving image 200A and the second audience moving image 200B from the camera device 11A and the camera device 11B, respectively.

イベント特定部122は、興行期間中に行われたイベントの期間(以下「イベント期間」という)と内容(以下「イベント内容」という)を特定する。そして、イベント特定部122は、その特定したイベント期間とイベント内容とを対応付けて、イベントタイムテーブル201を生成する。例えば、イベント特定部122は、公知の画像解析技術を用いて、興行を撮影した動画から、自動的にイベントテーブルを生成してもよい。あるいは、スタッフが、興行を観覧しながら、又は、興行を撮影した動画を見ながら、手動でイベントタイムテーブル201を生成してもよい。この場合、イベント特定部122は、手動で生成されたイベントタイムテーブル201を取得するものであってよい。 The event identification unit 122 specifies the period (hereinafter referred to as "event period") and the content (hereinafter referred to as "event content") of the event held during the entertainment period. Then, the event specifying unit 122 creates the event timetable 201 by associating the specified event period with the event content. For example, the event identification unit 122 may automatically generate an event table from a moving image of a box office using a known image analysis technique. Alternatively, the staff may manually generate the event timetable 201 while watching the entertainment or watching a video of the entertainment. In this case, the event identification unit 122 may acquire the manually generated event timetable 201.

感情認識部123は、観客動画のイベント期間及び/又はその前後の期間における顔画像から、当該イベント期間における、当該観客動画の撮影エリアにおける各観客の感情を認識する。例えば、感情認識部123は、公知の感情認識技術を用いて、顔画像の表情を分析し、その分析結果に基づいて、その顔画像の観客の感情を認識する。感情認識結果は、例えば、喜び、感動、興奮、驚き、期待、平穏、悲しみ、怒り、落胆、退屈など、予め定められた分類のいずれに適合するかを示す情報であってよい。あるいは、感情認識結果は、各分類に適合する割合を示す情報であってよい。 The emotion recognition unit 123 recognizes the emotions of each spectator in the shooting area of the spectator video during the event period from the facial images during the event period and / or the period before and after the event period of the spectator video. For example, the emotion recognition unit 123 analyzes the facial expression of the facial image using a known emotion recognition technique, and recognizes the emotion of the audience of the facial image based on the analysis result. The emotion recognition result may be information indicating which of the predetermined classifications, such as joy, impression, excitement, surprise, expectation, tranquility, sadness, anger, disappointment, and boredom, is applicable. Alternatively, the emotion recognition result may be information indicating a ratio suitable for each classification.

例えば、感情認識部123は、第1のエリア20Aを撮影した第1の観客動画200Aのイベント期間及び/又はその前後の期間における画像フレームから、当該イベント期間における、第1のエリア20Aの各観客の感情を認識する。感情認識部123は、第2のエリア20Bを撮影した第2の観客動画200Bのイベント期間及び/又はその前後における画像フレームから、当該イベント期間における、第2のエリア20Bの各観客の感情を認識する。 For example, the emotion recognition unit 123 uses image frames in the event period and / or the period before and after the event period of the first spectator video 200A in which the first area 20A is shot, to each spectator in the first area 20A in the event period. Recognize the emotions of. The emotion recognition unit 123 recognizes the emotions of each spectator in the second area 20B during the event period from the event period and / or the image frames before and after the event period of the second spectator video 200B in which the second area 20B is shot. do.

なお、感情認識部123は、イベント内容に基づいて、イベント期間の前後の期間における画像フレームを用いるか否かを判断してもよい。例えば、イベント内容がサッカーのゴールである場合、観客の感情が表出される期間は、サッカーのゴールのイベント期間よりも後である。そこで、感情認識部123は、イベント内容がサッカーのゴールである場合、当該イベント期間の後の期間における画像フレームを用いて、観客の感情を認識してもよい。 The emotion recognition unit 123 may determine whether or not to use the image frames in the period before and after the event period based on the event content. For example, when the event content is a soccer goal, the period during which the emotions of the spectators are expressed is later than the event period of the soccer goal. Therefore, when the event content is a soccer goal, the emotion recognition unit 123 may recognize the emotions of the spectator by using the image frame in the period after the event period.

満足度測定部124は、イベント期間及び/又はその前後の期間における各観客の感情認識結果に基づいて、当該イベント期間のイベント内容に対する観客群の満足度を測定する。満足度は、イベント期間のイベント内容に対して、観客群がどのくらい満足したかを示すスコアであり、例えば、観客群がイベント内容に満足しているほど高くなるスコアである。 The satisfaction measurement unit 124 measures the satisfaction of the spectators with respect to the event content during the event period based on the emotion recognition results of each spectator during the event period and / or the period before and after the event period. Satisfaction is a score indicating how satisfied the spectator group is with respect to the event content during the event period, and is, for example, a score that increases as the spectator group is satisfied with the event content.

例えば、満足度測定部124は、感情認識結果において、喜び、感動、興奮、驚き、期待といったポジティブな感情である観客が多いほど、観客群の満足度を高く算出する。満足度測定部124は、感情認識結果において、平穏、悲しみ、怒り、落胆、退屈といったネガティブな感情である観客が多いほど、観客群の満足度を低く算出する。例えば、満足度測定部124は、イベント中の動画に撮影されている個々人の顔画像等から各々の満足度を計測し、その平均値を観客群の満足度として算出してもよい。例えば、満足度測定部124は、観客群中の人数が非常に少ない場合(例えば所定値未満の場合)には、各々の満足度を足し合わせた全体数値を観客群の満足度として算出してもよい。なお、満足度は、興奮度、盛り上がり度、楽しさ度、感応度といった他の用語に読み替えられてもよい。また、満足度の「測定」は、満足度の「決定」又は「算出」といった他の用語に読み替えられてもよい。 For example, the satisfaction measuring unit 124 calculates the satisfaction of the audience group higher as the number of spectators who have positive emotions such as joy, impression, excitement, surprise, and expectation in the emotion recognition result increases. The satisfaction measurement unit 124 calculates the satisfaction level of the audience group to be lower as the number of spectators who have negative emotions such as calmness, sadness, anger, disappointment, and boredom in the emotion recognition result increases. For example, the satisfaction measuring unit 124 may measure each satisfaction from an individual's face image or the like captured in a moving image during an event, and calculate the average value as the satisfaction of the audience group. For example, when the number of people in the spectator group is very small (for example, when the number is less than a predetermined value), the satisfaction measurement unit 124 calculates the total value obtained by adding the satisfaction of each as the satisfaction of the spectator group. May be good. Satisfaction may be read as other terms such as excitement, excitement, fun, and sensitivity. Further, the "measurement" of satisfaction may be read as another term such as "determination" or "calculation" of satisfaction.

例えば、満足度測定部124は、第1のエリア20Aの各観客の感情認識結果に基づいて、第1のエリア20Aの観客群の満足度を測定し、第2のエリア20Bの各観客の感情認識結果に基づいて、第2のエリア20Bの観客群の満足度を測定する。 For example, the satisfaction measuring unit 124 measures the satisfaction of the audience group in the first area 20A based on the emotion recognition result of each spectator in the first area 20A, and the emotion of each spectator in the second area 20B. Based on the recognition result, the satisfaction level of the audience group in the second area 20B is measured.

情報出力部125は、各イベント期間に対して、そのイベント期間における各エリアの観客群の満足度を対応付けたイベント満足度情報202を生成及び出力する。 The information output unit 125 generates and outputs event satisfaction information 202 in which the satisfaction levels of the spectators in each area during the event period are associated with each event period.

次に、図3を参照し、イベント満足度情報202の構成の一例を説明する。例えば、情報出力部125は、図3に示すように、イベントタイムテーブル201に含まれる各イベント期間及びイベント内容と、そのイベントに対して満足度測定部124が測定した、コアファン(第1のエリア20Aの観客群)の満足度と、ライトファン(第2のエリア20Bの観客群)の満足度とを対応付けて、イベント満足度情報202を生成する。 Next, an example of the configuration of the event satisfaction information 202 will be described with reference to FIG. For example, as shown in FIG. 3, the information output unit 125 is a core fan (first) measured by the satisfaction measurement unit 124 for each event period and event content included in the event timetable 201 and the event. The event satisfaction information 202 is generated by associating the satisfaction level of the spectator group in the area 20A with the satisfaction level of the light fan (the spectator group in the second area 20B).

表示制御部126は、イベント満足度情報202に基づいて分析結果画像を生成し、表示装置12に表示させる。例えば、表示制御部126は、イベント満足度情報202に含まれる各イベントを時系列に並べ、興行の経過時間に伴う各エリアの観客群の満足度の変化をグラフ化した分析結果画像を表示させる。また、例えば、表示制御部126は、イベント満足度情報202に含まれる各イベントを、エリア毎の観客群の満足度の高い順又は低い順に並べてリスト化した分析結果画像を表示させる。なお、分析結果画像の詳細については後述する。 The display control unit 126 generates an analysis result image based on the event satisfaction information 202 and displays it on the display device 12. For example, the display control unit 126 arranges each event included in the event satisfaction information 202 in chronological order, and displays an analysis result image that graphs the change in the satisfaction of the audience group in each area with the elapsed time of the entertainment. .. Further, for example, the display control unit 126 displays an analysis result image in which each event included in the event satisfaction information 202 is listed in descending order of satisfaction of the audience group for each area. The details of the analysis result image will be described later.

入力制御部127は、表示制御部126によって表示された分析結果画像に対するユーザ操作を制御する。例えば、入力制御部127は、分析結果画像として表示されたグラフに対する、興行の経過時間の選択操作を受け付ける。そして、入力制御部127は、選択された経過時間におけるイベントを撮影した動画を表示するよう、表示制御部126に指示する。また、例えば、入力制御部127は、分析結果画像として表示されたリストに対する、イベントの選択を受け付ける。そして、入力制御部127は、選択されたイベントを撮影した動画を表示するよう、表示制御部126に指示する。 The input control unit 127 controls the user operation on the analysis result image displayed by the display control unit 126. For example, the input control unit 127 accepts an operation of selecting the elapsed time of the box office for the graph displayed as the analysis result image. Then, the input control unit 127 instructs the display control unit 126 to display a moving image of capturing the event at the selected elapsed time. Further, for example, the input control unit 127 accepts the selection of an event for the list displayed as the analysis result image. Then, the input control unit 127 instructs the display control unit 126 to display the moving image of the selected event.

図4は、観客分析装置100の動作例を示すフローチャートである。 FIG. 4 is a flowchart showing an operation example of the spectator analyzer 100.

動画取得部121は、カメラ装置11Aから第1の観客動画200Aを、カメラ装置11Bから第2の観客動画200Bを取得する(S101)。ここで、動画取得部121は、第1の観客動画200Aに対して第1のエリア20Aを示すラベルを、第2の観客動画200Bに対して第2のエリア20Bを示すラベルを付与してもよい。これにより、観客動画と当該観客動画に撮影されたエリアとの関係が明確になる。 The moving image acquisition unit 121 acquires the first audience moving image 200A from the camera device 11A and the second audience moving image 200B from the camera device 11B (S101). Here, the moving image acquisition unit 121 may give a label indicating the first area 20A to the first audience moving image 200A and a label indicating the second area 20B to the second audience moving image 200B. good. As a result, the relationship between the audience video and the area captured by the audience video becomes clear.

感情認識部123は、第1の観客動画200Aから所定の周期(例えば1秒周期)で画像フレームを抽出し、その抽出した画像フレームから、その抽出タイミングにおける第1のエリア20Aの各観客の感情認識結果を得る。感情認識部123は、これを繰り返すことで、興行期間中の各タイミングにおける第1のエリア20Aの各観客の感情認識結果(以下「第1の感情認識結果」という)を得る(S102)。 The emotion recognition unit 123 extracts an image frame from the first audience video 200A at a predetermined cycle (for example, a 1-second cycle), and from the extracted image frame, the emotions of each audience in the first area 20A at the extraction timing. Get the recognition result. By repeating this, the emotion recognition unit 123 obtains the emotion recognition result (hereinafter referred to as “first emotion recognition result”) of each spectator in the first area 20A at each timing during the entertainment period (S102).

感情認識部123は、S102と同様に、第2の観客動画200Bから、興行期間中の各タイミングにおける第2のエリア20Bの各観客の感情認識結果(以下「第2の感情認識結果」という)を得る(S103)。なお、S102とS103の処理は、何れが先に実行されてもよいし、並列に実行されてもよい。 Similar to S102, the emotion recognition unit 123 starts with the second audience video 200B, and the emotion recognition result of each audience in the second area 20B at each timing during the entertainment period (hereinafter referred to as “second emotion recognition result”). (S103). Either of the processes S102 and S103 may be executed first, or may be executed in parallel.

イベント特定部122は、興行期間中のイベントタイムテーブル201を生成する(S104)。なお、上述したとおり、イベントタイムテーブル201は手動で生成されてもよい。 The event identification unit 122 generates the event timetable 201 during the entertainment period (S104). As described above, the event timetable 201 may be manually generated.

プロセッサ102は、イベントタイムテーブル201に含まれるn番目のイベント期間を選択する(S105)。ここで、nは1以上の整数であり、nの初期値は1である。 The processor 102 selects the nth event period included in the event timetable 201 (S105). Here, n is an integer of 1 or more, and the initial value of n is 1.

満足度測定部124は、S102にて得られた第1の感情認識結果から、n番目のイベント期間及び/又はその前後の期間の第1の感情認識結果を抽出する。そして、満足度測定部124は、その抽出したn番目の第1の感情認識結果に基づいて、第1のエリア20Aの観客群のn番目のイベントに対する満足度を測定する(S106)。 The satisfaction measuring unit 124 extracts the first emotion recognition result of the nth event period and / or the period before and after the nth event period from the first emotion recognition result obtained in S102. Then, the satisfaction measuring unit 124 measures the satisfaction of the nth event of the audience group in the first area 20A based on the extracted nth first emotion recognition result (S106).

満足度測定部124は、S103にて得られた第2の感情認識結果から、n番目のイベント期間及び/又はその前後の期間の第2の感情認識結果を抽出する。そして、満足度測定部124は、その抽出したn番目の第2の感情認識結果に基づいて、第2のエリア20Bの観客群のn番目のイベントに対する満足度を測定する(S107)。なお、S106とS107の処理は、何れが先に実行されてもよいし、並列に実行されてもよい。 The satisfaction measuring unit 124 extracts the second emotion recognition result of the nth event period and / or the period before and after the nth event period from the second emotion recognition result obtained in S103. Then, the satisfaction measuring unit 124 measures the satisfaction of the nth event of the audience group in the second area 20B based on the extracted nth second emotion recognition result (S107). Either of the processes S106 and S107 may be executed first, or may be executed in parallel.

情報出力部125は、イベントタイムテーブル201のn番目のイベント期間及びイベント内容と、S106にて測定された第1のエリア20Aの観客群のn番目のイベントに対する満足度と、S107にて測定された第2のエリア20Bの観客群のn番目のイベントに対する満足度とを対応付けたイベント満足度情報202を生成及び出力する(S108)。 The information output unit 125 measures the nth event period and event content of the event timetable 201, the satisfaction level of the spectator group in the first area 20A measured in S106 with respect to the nth event, and S107. Event satisfaction information 202, which is associated with the satisfaction level of the nth event of the audience group in the second area 20B, is generated and output (S108).

プロセッサ102は、nに1を加算する(S109)。 The processor 102 adds 1 to n (S109).

プロセッサ102は、nがイベントタイムテーブル201に含まれるイベント数を超えているか否かを判定する(S110)。 The processor 102 determines whether or not n exceeds the number of events included in the event timetable 201 (S110).

nがイベントタイムテーブル201に含まれるイベント数を超えていない場合(S110:NO)、プロセッサ102は、S105の処理に戻る。 If n does not exceed the number of events included in the event timetable 201 (S110: NO), the processor 102 returns to the process of S105.

nがイベントタイムテーブル201に含まれるイベント数を超えている場合(S110:YES)、プロセッサ102は、本フローチャートを終了する。 When n exceeds the number of events included in the event timetable 201 (S110: YES), the processor 102 ends this flowchart.

なお、イベントタイムテーブル201でのイベントを、例えば1分毎や30秒毎等といった固定時間ごとのものとして、一定時間ごとの満足度を測定するものとしてよい。これにより、一定間隔での時間軸に応じた満足度の数値の変化を得ることができる。 The event in the event timetable 201 may be set for each fixed time such as every minute or every 30 seconds, and the degree of satisfaction at each fixed time may be measured. As a result, it is possible to obtain a change in the numerical value of the degree of satisfaction according to the time axis at regular intervals.

図5は、興行期間中の各イベントを時系列に並べ、各エリアの観客群の各イベントに対する満足度をグラフ化した分析結果画像(以下「満足度グラフ」という)300の例を示す図である。 FIG. 5 is a diagram showing an example of an analysis result image (hereinafter referred to as “satisfaction graph”) 300 in which each event during the entertainment period is arranged in chronological order and the satisfaction level of the audience group in each area for each event is graphed. be.

満足度グラフ300において、横軸は興行期間中の経過時間を示し、縦軸は満足度を示す。表示制御部126は、イベント満足度情報202を参照し、経過時間に対応する、第1のエリア20Aの観客群の満足度と第2のエリア20Bの観客群の満足度とをそれぞれ線で結ぶことにより、図5に示すような満足度グラフ300(折れ線グラフ)を表示する。図5では、実線の折れ線グラフがコアファンの満足度を示し、破線の折れ線グラフがライトファンの満足度を示す。なお、表示制御部126は、興行期間中における、第1のエリア20Aの観客群及び第2のエリア20Bの観客群の満足度の平均値を、満足度グラフ300に表示してもよい。 In the satisfaction graph 300, the horizontal axis shows the elapsed time during the entertainment period, and the vertical axis shows the satisfaction. The display control unit 126 refers to the event satisfaction information 202, and connects the satisfaction of the spectator group in the first area 20A and the satisfaction of the spectator group in the second area 20B corresponding to the elapsed time with a line, respectively. As a result, the satisfaction graph 300 (line graph) as shown in FIG. 5 is displayed. In FIG. 5, the solid line graph shows the satisfaction of the core fan, and the broken line graph shows the satisfaction of the light fan. The display control unit 126 may display the average value of the satisfaction levels of the audience group in the first area 20A and the audience group in the second area 20B during the entertainment period on the satisfaction graph 300.

興行主は、満足度グラフ300を参照することにより、各イベントに対するコアファン(第1のエリア20Aの観客群)とライトファン(第2のエリア20Bの観客群)の満足度とを容易に比較できる。また、興行主は、興行期間中の経過時間に伴うコアファンとライトファンの満足度の変化を容易に比較できる。 By referring to the satisfaction graph 300, the entertainer can easily compare the satisfaction of the core fans (audience group of the first area 20A) and the light fans (audience group of the second area 20B) for each event. can. In addition, the entertainer can easily compare the changes in the satisfaction levels of the core fans and the light fans with the elapsed time during the entertaining period.

なお、入力制御部127がある経過時間を選択するユーザ操作を検出した場合、表示制御部126は、図5に示すように、その選択された経過時間に行われたイベントを撮影した動画301を表示及び再生してよい。 When the input control unit 127 detects a user operation for selecting an elapsed time, the display control unit 126 displays a moving image 301 that captures an event performed at the selected elapsed time, as shown in FIG. It may be displayed and reproduced.

また、図5について、上述では、興行期間中の各イベントを時系列に並べ、各イベントに対する満足度をグラフ化しているが、時間軸に応じたそれぞれの満足度の数値をグラフ化し、そのグラフの特異点等となる時間帯(コアファン、ライトファンともに大きく満足した時点、コアファンとライトファンの満足度が大きく乖離する時点等)を、各イベントとして新たに割り当てる(特定する)ことにより、イベントを分析できるようにしてもよい。 Further, with respect to FIG. 5, in the above description, each event during the entertainment period is arranged in chronological order and the satisfaction level for each event is graphed. However, the numerical value of each satisfaction level according to the time axis is graphed and the graph is obtained. By newly assigning (identifying) each event a time zone that becomes a singular point, etc. (when both core fans and light fans are greatly satisfied, when the satisfaction levels of core fans and light fans are greatly different, etc.) You may be able to analyze the event.

図6は、興行期間中の各イベントを、コアファン(第1のエリア20Aの観客群)の満足度の高い順に並べてリスト化した分析結果画像(以下「コアファンの満足度ランキング」という)400Aの表示例を示す図である。 FIG. 6 is an analysis result image (hereinafter referred to as “core fan satisfaction ranking”) 400A in which each event during the box office is listed in descending order of satisfaction of the core fans (audience group in the first area 20A). It is a figure which shows the display example of.

図7は、興行期間中の各イベントを、ライトファン(第2のエリア20Bの観客群)の満足度の高い順に並べてリスト化した分析結果画像(以下「ライトファンの満足度ランキング」という)400Bの表示例を示す図である。 FIG. 7 is an analysis result image (hereinafter referred to as “light fan satisfaction ranking”) 400B in which each event during the entertainment period is listed in descending order of satisfaction of the light fans (audience group in the second area 20B). It is a figure which shows the display example of.

興行主は、図6及び図7に示すようなコアファンとライトファンとに分けられた満足度ランキング400A、400Bを参照することにより、コアファンとライトファンがそれぞれどのイベントに満足しているのか、あるいは、どのイベントに満足していないのかを、容易に分析できる。 The entertainer refers to the satisfaction rankings 400A and 400B divided into the core fan and the light fan as shown in FIGS. 6 and 7, and which event the core fan and the light fan are satisfied with, respectively. Or, you can easily analyze which event you are not satisfied with.

また、表示制御部126は、満足度ランキング400A、400Bの表示にあたって、試合によって生じたイベントと、それ以外のイベントとを区別可能な態様で表示してよい。図6及び図7では、試合によって生じたイベントをそのまま表示し、興行主によって実施されたイベントを網掛けで表示し、応援に関するイベントを斜線で表示している。これにより、興行主は、企画したイベントに対するコアファンとライトファンのそれぞれの満足度の高さ及び低さを、容易に分析できる。 Further, when displaying the satisfaction rankings 400A and 400B, the display control unit 126 may display the event generated by the match and the other events in a distinguishable manner. In FIGS. 6 and 7, the events generated by the match are displayed as they are, the events carried out by the entertainer are displayed in shades, and the events related to cheering are displayed in diagonal lines. As a result, the entertainer can easily analyze the high and low satisfaction levels of the core fans and the light fans for the planned event.

<本実施の形態に係る変形例>
カメラ装置にて撮影するエリアの数は2つに限られない。例えば、上述した第1のエリア20A及び第2のエリア20Bに加えて、3台目のカメラ装置にて、ミドルファンに比較的人気の高い第3のエリアを動画撮影してもよい。この場合、観客分析装置100は、第3のエリアを動画で撮影した第3の観客動画を用いて、上述した第1の観客動画200A及び第2の観客動画200Bの場合と同様に、各イベントに対するミドルファンの満足度を測定してよい。観客分析装置100は、図5に示す満足度グラフ300に対して、ミドルファンの満足度を示す折れ線グラフを追加してよい。観客分析装置100は、図6及び図7と同様に、ミドルファンの満足度ランキングを表示してよい。
<Modification example according to this embodiment>
The number of areas photographed by the camera device is not limited to two. For example, in addition to the first area 20A and the second area 20B described above, the third area, which is relatively popular with middle fans, may be captured by a third camera device. In this case, the spectator analyzer 100 uses the third spectator moving image of the third area as a moving image, and as in the case of the first spectator moving image 200A and the second spectator moving image 200B described above, each event. You may measure the satisfaction of the middle fan with respect to. The spectator analyzer 100 may add a line graph showing the satisfaction of the middle fan to the satisfaction graph 300 shown in FIG. The spectator analyzer 100 may display the satisfaction ranking of the middle fans as in FIGS. 6 and 7.

各エリアの観客動画の生成は、個別のカメラ装置で撮影する方法に限られない。例えば、1台の広角かつ高解像度のカメラ装置にて会場の観客席全体を動画で撮影し、観客分析装置100は、その動画内の画像中の一定の区画を各エリアの観客動画としてそれぞれ抽出し、各エリアの観客動画を生成してもよい。 The generation of audience moving images in each area is not limited to the method of shooting with individual camera devices. For example, one wide-angle and high-resolution camera device captures a video of the entire audience seats in the venue, and the audience analyzer 100 extracts certain sections in the image in the video as audience videos in each area. Then, a spectator video of each area may be generated.

上述では、観客席のエリアの違いに基づいてコアファンとライトファンとを区別したが、他の方法によってコアファンとライトファンとを区別してもよい。例えば、観客席全体を撮影した観客動画から、所定の条件に基づいて、各観客がコアファンとライトファンのいずれであるかを個別に判定してもよい。例えば、観客動画に撮影されている観客の顔画像を、過去の興行の際に撮影した観客の顔画像と照合し、適合する顔画像の観客をコアファン、適合しない顔画像の観客をライトファンと判定してもよい。あるいは、当該興行のチケットの発券システム等と連動させて、画像中で認定できる座席番号に着席する観客を特定し、その特定した観客のチケット入手履歴又は会員情報等に基づいて、その特定した観客がコアファン及びライトファンのいずれであるかを判定してもよい。あるいは、着用している服が応援チームのユニフォームであったりチームカラーと同色又は類似色であったり、または顔等にチームマーク等をペインティングしている観客をコアファン、それ以外の観客をライトファンと判定してもよい。このとき、着用している服がユニフォームと同一または類似色であることによって、ユニフォームを着用していると判断してもよい。ここでいう洋服は、主に上着を示す。 In the above, the core fan and the light fan are distinguished based on the difference in the area of the audience seats, but the core fan and the light fan may be distinguished by other methods. For example, it may be individually determined whether each spectator is a core fan or a light fan based on a predetermined condition from the spectator moving image of the entire spectator seat. For example, the face image of the spectator taken in the spectator video is collated with the face image of the spectator taken at the past box office, and the spectator with the matching face image is the core fan, and the spectator with the non-matching face image is the light fan. May be determined. Alternatively, in conjunction with the ticket issuing system of the box office, the spectators who are seated in the seat numbers that can be recognized in the image are specified, and the specified spectators are based on the ticket acquisition history or member information of the specified spectators. May be determined whether is a core fan or a light fan. Alternatively, the spectators who are wearing the uniform of the cheering team, the same color as or similar to the team color, or the team mark etc. are painted on the face etc. are the core fans, and the other spectators are lighted. It may be determined as a fan. At this time, it may be determined that the uniform is worn because the clothes being worn are the same color as or similar to the uniform. Clothes here mainly refer to outerwear.

このように、顔画像、チケット入手履歴、服装等のような観客属性で、同一のファン層と判断できる観客が多く集まる一定の区画を、それぞれのエリアとしてもよい。または、一定のまとまった区画をエリアとするのではなく、観客それぞれの上述のような個人属性に基づいて、顔画像、チケット入手履歴、服装等のような観客属性から同じファン層と判断できる離れた場所にいる個人の少なくともその一部を集めた個人の集合を、エリアの代替として観客群として各々の満足度を測定してもよい。 In this way, a certain section where many spectators who can be judged to be the same fan base gather based on the spectator attributes such as face image, ticket acquisition history, clothes, etc. may be set as each area. Or, instead of setting a certain group of areas as an area, it can be judged that the same fan base is from the audience attributes such as face image, ticket acquisition history, clothes, etc., based on the individual attributes of each audience as described above. A group of individuals who gather at least a part of the individuals in the place may be used as an alternative to the area to measure the satisfaction of each as a group of spectators.

本実施の形態は、スポーツの興行の他に、音楽ライブ、コンサート、演劇といった大人数の観客が集まるエンターテイメントの興行にも適用可能である。また、スポーツの興行は、チーム又は個人間で対戦する試合に限られず、水泳又は陸上競技等の多人数で競う試合、あるいはフィギュアスケート等のような個人演技等も含む。 This embodiment can be applied not only to sports performances but also to entertainment performances such as live music, concerts, and plays where a large number of spectators gather. In addition, the entertainment of sports is not limited to games in which teams or individuals compete against each other, but also includes games in which a large number of people compete such as swimming or athletics, or individual performances such as figure skating.

(本開示のまとめ)
本開示に係る観客分析装置(100)は、スポーツの試合に関する興行を観覧する第1の観客群及び第2の観客群を撮影した動画(200A、200B)を取得する取得部(121)と、動画に撮影された第1の観客群及び第2の観客群のそれぞれの感情分析結果に基づいて、興行の期間中の各イベントに対する第1の観客群及び第2の観客群のそれぞれの満足度を測定する測定部(124)と、各イベントに関する情報と、当該イベントに対する第1の観客群の満足度と、当該イベントに対する第2の観客群の満足度とを対応付けたイベント満足度情報(202)を出力する出力部(125)と、を備える。この構成によれば、興行の期間中の各イベントに対する、第1の観客群の満足度と、第2の観客群の満足度とを区別して分析できるので、各イベントが何れの観客群にどのくらい効果的であったのかを詳細に分析できる。
(Summary of this disclosure)
The spectator analyzer (100) according to the present disclosure includes an acquisition unit (121) for acquiring moving images (200A, 200B) of a first spectator group and a second spectator group for viewing an entertainment related to a sports game. Satisfaction of the first and second spectators with respect to each event during the box office based on the sentiment analysis results of the first and second spectators recorded in the video. Event satisfaction information (124) that associates information about each event with the satisfaction of the first spectator group for the event and the satisfaction of the second spectator group for the event. It includes an output unit (125) that outputs 202). According to this configuration, the satisfaction level of the first spectator group and the satisfaction level of the second spectator group can be analyzed separately for each event during the entertainment period, so that how much each event is in which spectator group. It is possible to analyze in detail whether it was effective.

第1の観客群は、興行が開催される会場の第1のエリアにて興行を観覧する観客群であり、第2の観客群は、当該会場の第2のエリアにて興行を観覧する観客群であってよい。この構成によれば、各イベントが、第1のエリアの観客群と第2のエリアの観客群のそれぞれに対して、どのくらい効果的であったのかを詳細に分析できる。 The first group of spectators is a group of spectators who watch the box office in the first area of the venue where the box office is held, and the second group of spectators is a group of spectators who watch the box office in the second area of the venue. It may be a group. According to this configuration, it is possible to analyze in detail how effective each event was for each of the spectators in the first area and the spectators in the second area.

第1のエリアは、第2のエリアと比べて、スポーツの試合を観覧するために会場に所定回数以上訪れたことのある観客の多いエリアであってよい。この構成によれば、頻繁に会場で試合を観覧する観客(コアファン)が比較的多い第1のエリアの観客群と、あまり会場で試合を観覧しない観客(ライトファン)が比較的多い第2のエリアの観客群とのそれぞれに対して、各イベントがどのくらい効果的であったのかを詳細に分析できる。 The first area may be an area with a large number of spectators who have visited the venue more than a predetermined number of times to watch a sports match as compared with the second area. According to this configuration, a group of spectators in the first area, which has a relatively large number of spectators (core fans) who frequently watch the game at the venue, and a second group, which has a relatively large number of spectators (light fans) who do not watch the game at the venue very often. You can analyze in detail how effective each event was for each of the spectators in the area.

第1のエリアは、第2のエリアと比べて、興行を観覧するための料金が高いエリアであってよい。この構成によれば、観覧料金が比較的高い第1のエリアの観客群と、観覧料金が比較的安い第2のエリアの観客群のそれぞれに対して、各イベントがどのくらい効果的であったのかを詳細に分析できる。 The first area may be an area where the fee for viewing the entertainment is higher than that of the second area. According to this configuration, how effective each event was for each of the spectators in the first area, where the viewing fee is relatively high, and the spectators in the second area, where the viewing fee is relatively low. Can be analyzed in detail.

第1の観客群、及び、第2の観客群の少なくとも一方は、観客顔画像や、座席チケット入手履歴若しくはその服装等の観客の個人属性によって抽出された離れて(バラバラの)観覧(観戦)する観客の観客群であってよい。この構成によれば、撮影動画内の一定のまとまった区画としてのエリアで観客群を分けるのではなく、撮影動画内の観客それぞれの個人属性に基づいて第1、第2いずれの観客群に属するのかを分け、ファン層が異なる観客群のそれぞれに対して、各イベントがどのくらい効果的であったのかを詳細に分析できる。 The first spectator group and at least one of the second spectator groups are separated (separate) viewing (watching games) extracted by the spectator's personal attributes such as the spectator face image, the seat ticket acquisition history or the clothes thereof. It may be a group of spectators. According to this configuration, the audience group is not divided into areas as a certain cohesive section in the captured video, but belongs to either the first or second audience group based on the individual attributes of each audience in the captured video. It is possible to analyze in detail how effective each event was for each of the audience groups with different fan bases.

観客分析装置は、表示部(126)をさらに備えてよい。表示部は、各イベントに対する第1の観客群の満足度と第2の観客群の満足度とを比較するグラフを表示を表示してよい。この構成によれば、各イベントに対する第1の観客群の満足度と第2の観客群の満足度とを、グラフにて視覚的に比較できる。 The spectator analyzer may further include a display unit (126). The display unit may display a graph comparing the satisfaction of the first spectator group and the satisfaction of the second spectator group for each event. According to this configuration, the satisfaction level of the first spectator group and the satisfaction level of the second spectator group for each event can be visually compared with a graph.

表示部は、各イベントを第1の観客群の満足度の高い順又は低い順に並べたリストと、各イベントを第2の観客群の満足度の高い順又は低い順に並べたリストとを表示してよい。この構成によれば、第1の観客群及び第2の観客群がそれぞれ、どのイベントに満足しているのか、あるいは、どのイベントに満足していないのかを、容易に分析できる。 The display unit displays a list in which each event is arranged in descending order of satisfaction of the first spectator group and a list in which each event is arranged in descending order of satisfaction of the second spectator group. It's okay. According to this configuration, it is possible to easily analyze which event the first spectator group and the second spectator group are satisfied with, or which event they are not satisfied with.

表示部は、上記リストの表示において、試合によって生じたイベントと、それ以外のイベントとを区別可能な態様にて表示してよい。この構成によれば、試合によって生じたイベント以外のイベント(例えば予め企画したイベント)に対する第1の観客群及び第2の観客群のそれぞれの満足度を容易に分析できる。 In the display of the above list, the display unit may display the event generated by the match and the other events in a distinguishable manner. According to this configuration, it is possible to easily analyze the satisfaction of each of the first spectator group and the second spectator group for an event other than the event caused by the match (for example, a pre-planned event).

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。 Although the embodiments have been described above with reference to the accompanying drawings, the present disclosure is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications, modifications, substitutions, additions, deletions, and equality within the scope of the claims. It is understood that it belongs to the technical scope of the present disclosure. Further, each component in the above-described embodiment may be arbitrarily combined as long as the gist of the invention is not deviated.

本開示の技術は、興行を観覧する観客の分析に有用である。 The techniques of the present disclosure are useful for the analysis of spectators viewing the box office.

10 観客分析システム
11A、11B カメラ装置
12 表示装置
13 入力装置
14 通信ネットワーク
20A 第1のエリア
20B 第2のエリア
100 観客分析装置
101 メモリ
102 プロセッサ
103 ストレージ
104 通信I/F
105 入出力I/F
106 バス
121 動画取得部
122 イベント特定部
123 感情認識部
124 満足度測定部
125 情報出力部
126 表示制御部
127 入力制御部
200A 第1の観客動画
200B 第2の観客動画
201 イベントタイムテーブル
202 イベント満足度情報
300 満足度グラフ
400A コアファンの満足度ランキング
400B ライトファンの満足度ランキング
10 Audience analysis system 11A, 11B Camera device 12 Display device 13 Input device 14 Communication network 20A First area 20B Second area 100 Audience analysis device 101 Memory 102 Processor 103 Storage 104 Communication I / F
105 I / O I / F
106 Bus 121 Video acquisition unit 122 Event identification unit 123 Emotion recognition unit 124 Satisfaction measurement unit 125 Information output unit 126 Display control unit 127 Input control unit 200A First audience video 200B Second audience video 201 Event timetable 202 Event satisfaction Degree information 300 Satisfaction graph 400A Core fan satisfaction ranking 400B Light fan satisfaction ranking

Claims (10)

スポーツの試合に関する興行を観覧する第1の観客群及び第2の観客群を撮影した動画を取得する取得部と、
前記動画に撮影された前記第1の観客群及び前記第2の観客群のそれぞれの感情分析結果に基づいて、前記興行の期間中の各イベントに対する前記第1の観客群及び前記第2の観客群のそれぞれの満足度を測定する測定部と、
前記各イベントに関する情報と、当該イベントに対する前記第1の観客群の満足度と、当該イベントに対する前記第2の観客群の満足度とを対応付けたイベント満足度情報を出力する出力部と、
を備える、観客分析装置。
The acquisition department that acquires videos of the first and second spectators who watch the entertainment related to the sports match, and
Based on the emotion analysis results of the first spectator group and the second spectator group captured in the moving image, the first spectator group and the second spectator for each event during the entertainment period. A measuring unit that measures the satisfaction of each group,
An output unit that outputs event satisfaction information in which information about each event, satisfaction of the first spectator group with respect to the event, and satisfaction of the second spectator group with respect to the event are associated with each other.
Audience analyzer equipped with.
前記第1の観客群は、前記興行が開催される会場の第1のエリアにて前記興行を観覧する観客群であり、
前記第2の観客群は、前記会場の第2のエリアにて前記興行を観覧する観客群である、
請求項1に記載の観客分析装置。
The first group of spectators is a group of spectators who view the box office in the first area of the venue where the box office is held.
The second group of spectators is a group of spectators who view the entertainment in the second area of the venue.
The audience analyzer according to claim 1.
前記第1のエリアは、前記第2のエリアと比べて、前記スポーツの試合を観覧するために前記会場に所定回数以上訪れたことのある観客の多いエリアである、
請求項2に記載の観客分析装置。
Compared to the second area, the first area is an area with a large number of spectators who have visited the venue a predetermined number of times or more in order to watch a game of the sport.
The audience analyzer according to claim 2.
前記第1のエリアは、前記第2のエリアと比べて、前記興行を観覧するための料金が高いエリアである、
請求項2に記載の観客分析装置。
The first area is an area in which the fee for viewing the entertainment is higher than that of the second area.
The audience analyzer according to claim 2.
前記第1の観客群、及び、前記第2の観客群の少なくとも一方は、個人属性によって抽出された離れて観覧する観客の観客群である、
請求項1に記載の観客分析装置。
At least one of the first spectator group and the second spectator group is a spectator group of spectators who view from a distance extracted by individual attributes.
The audience analyzer according to claim 1.
前記各イベントに対する前記第1の観客群の満足度と前記第2の観客群の満足度とを比較するグラフを表示する表示部、をさらに備える、
請求項1から5のいずれか1項に記載の観客分析装置。
A display unit for displaying a graph comparing the satisfaction level of the first spectator group and the satisfaction level of the second spectator group for each event is further provided.
The audience analyzer according to any one of claims 1 to 5.
前記各イベントを前記第1の観客群の満足度の高い順又は低い順に並べたリストと、前記各イベントを前記第2の観客群の満足度の高い順又は低い順に並べたリストとを表示する表示部、をさらに備える、
請求項1から5のいずれか1項に記載の観客分析装置。
A list in which each event is arranged in descending order of satisfaction of the first spectator group and a list in which each event is arranged in descending order of satisfaction of the second spectator group are displayed. Further equipped with a display
The audience analyzer according to any one of claims 1 to 5.
前記表示部は、前記リストの表示において、前記試合によって生じたイベントと、それ以外のイベントとを区別可能な態様にて表示する、
請求項7に記載の観客分析装置。
In the display of the list, the display unit displays an event caused by the match and other events in a distinguishable manner.
The audience analyzer according to claim 7.
装置が、
スポーツの試合に関する興行を観覧する第1の観客群及び第2の観客群を撮影した動画を取得し、
前記動画に撮影された前記第1の観客群及び前記第2の観客群のそれぞれの感情分析結果に基づいて、前記興行の期間中の各イベントに対する前記第1の観客群及び前記第2の観客群のそれぞれの満足度を測定し、
前記各イベントに関する情報と、当該イベントに対する前記第1の観客群の満足度と、当該イベントに対する前記第2の観客群の満足度とを対応付けたイベント満足度情報を出力する、
観客分析方法。
The device is
Obtained videos of the first and second spectators watching a sports match-related box office,
Based on the emotion analysis results of the first spectator group and the second spectator group captured in the moving image, the first spectator group and the second spectator for each event during the entertainment period. Measure the satisfaction of each group and
It outputs event satisfaction information in which information about each event, satisfaction of the first spectator group with respect to the event, and satisfaction of the second spectator group with respect to the event are associated with each other.
Audience analysis method.
スポーツの試合に関する興行を観覧する第1の観客群及び第2の観客群を撮影した動画を取得し、
前記動画に撮影された前記第1の観客群及び前記第2の観客群のそれぞれの感情分析結果に基づいて、前記興行の期間中の各イベントに対する前記第1の観客群及び前記第2の観客群のそれぞれの満足度を決定し、
前記各イベントに関する情報と、当該イベントに対する前記第1の観客群の満足度と、当該イベントに対する前記第2の観客群の満足度とを対応付けたイベント満足度情報を出力する、
ことをコンピュータに実行させる、コンピュータプログラム。
Obtained videos of the first and second spectators watching a sports match-related box office,
Based on the emotion analysis results of the first spectator group and the second spectator group captured in the moving image, the first spectator group and the second spectator for each event during the entertainment period. Determine the satisfaction of each of the groups,
It outputs event satisfaction information in which information about each event, satisfaction of the first spectator group with respect to the event, and satisfaction of the second spectator group with respect to the event are associated with each other.
A computer program that lets a computer do things.
JP2020017989A 2020-02-05 2020-02-05 Spectator analyzer, spectator analysis method, and computer program Pending JP2021124958A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020017989A JP2021124958A (en) 2020-02-05 2020-02-05 Spectator analyzer, spectator analysis method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020017989A JP2021124958A (en) 2020-02-05 2020-02-05 Spectator analyzer, spectator analysis method, and computer program

Publications (1)

Publication Number Publication Date
JP2021124958A true JP2021124958A (en) 2021-08-30

Family

ID=77459203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020017989A Pending JP2021124958A (en) 2020-02-05 2020-02-05 Spectator analyzer, spectator analysis method, and computer program

Country Status (1)

Country Link
JP (1) JP2021124958A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784149A (en) * 2021-09-10 2021-12-10 咪咕数字传媒有限公司 Method, device and equipment for displaying hot region of video signal
WO2023228808A1 (en) * 2022-05-25 2023-11-30 ソニーグループ株式会社 Information processing device, information processing method, information processing program, and terminal device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151963A (en) * 2017-03-14 2018-09-27 オムロン株式会社 Personal trend recording apparatus
JP2019049960A (en) * 2017-09-07 2019-03-28 心エンジン株式会社 Image providing system, image providing program and video providing system
JP2019144882A (en) * 2018-02-21 2019-08-29 トヨタ紡織株式会社 Production providing system
JP2021077255A (en) * 2019-11-13 2021-05-20 富士フイルム株式会社 Image processing device, image processing method, and image processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151963A (en) * 2017-03-14 2018-09-27 オムロン株式会社 Personal trend recording apparatus
JP2019049960A (en) * 2017-09-07 2019-03-28 心エンジン株式会社 Image providing system, image providing program and video providing system
JP2019144882A (en) * 2018-02-21 2019-08-29 トヨタ紡織株式会社 Production providing system
JP2021077255A (en) * 2019-11-13 2021-05-20 富士フイルム株式会社 Image processing device, image processing method, and image processing system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784149A (en) * 2021-09-10 2021-12-10 咪咕数字传媒有限公司 Method, device and equipment for displaying hot region of video signal
CN113784149B (en) * 2021-09-10 2023-09-19 咪咕数字传媒有限公司 Method, device and equipment for displaying heat region of video signal
WO2023228808A1 (en) * 2022-05-25 2023-11-30 ソニーグループ株式会社 Information processing device, information processing method, information processing program, and terminal device

Similar Documents

Publication Publication Date Title
US11707664B2 (en) Video rebroadcasting with multiplexed communications and display via smart mirrors
US20200405212A1 (en) Social interactive applications using biometric sensor data for detection of neuro-physiological state
CN102076387B (en) Biofeedback for gaming device, such as electronic gaming machine (egm)
CN105396279A (en) System and method for realizing team sports achievement
CN106164817A (en) Sporting equipment is mutual with wearable computer
US20150289034A1 (en) Event entertainment system
TWI666608B (en) Service providing system, service providing device and data construction method
JP2021124958A (en) Spectator analyzer, spectator analysis method, and computer program
US20220078503A1 (en) Video rebroadcasting with multiplexed communications and display via smart mirrors
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
JPWO2018199115A1 (en) Effect control device, effect system, and program
CN107430733A (en) It is determined that the area-of-interest of movable host place opening position
CN117271916A (en) Intelligent exhibition management system based on intelligent exhibition hall
KR20200034233A (en) Health club member management system and operation method of the same using wearable device
JP7074800B2 (en) Information provision system and information provision method
JP2023033631A (en) Information processing system and method
KR102515842B1 (en) Sports matchmaking system
Page Applications of wearable technology in elite sports
KR20220086229A (en) Remote bowling game progress system using user terminal
Tokuyama et al. EXAMINING LINKS BETWEEN PARTICIPANT SPORT AND SPECTATOR SPORT: A CASE WITH TENNIS CONSUMERS.
WO2022102550A1 (en) Information processing device and information processing method
KR102611954B1 (en) Method, apparatus and program for providing bowling platform service
Roșca The Effect of Match Attendance on Team Performance in Basketball
KR102176751B1 (en) Sports club management server utilizing points calculated based on lost power and operation method thereof
Ference et al. A Social Media Analysis of Coastal Carolina Football

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409