JP2017184268A - Broadcast program related information processing program and broadcast program related information processing method - Google Patents
Broadcast program related information processing program and broadcast program related information processing method Download PDFInfo
- Publication number
- JP2017184268A JP2017184268A JP2017112796A JP2017112796A JP2017184268A JP 2017184268 A JP2017184268 A JP 2017184268A JP 2017112796 A JP2017112796 A JP 2017112796A JP 2017112796 A JP2017112796 A JP 2017112796A JP 2017184268 A JP2017184268 A JP 2017184268A
- Authority
- JP
- Japan
- Prior art keywords
- program
- related information
- information
- information processing
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、番組に関連する情報を出力する番組関連情報処理プログラム及び番組関連情報処理方法に関する。 The present invention relates to a program related information processing program and a program related information processing method for outputting information related to a program.
大幅に普及したデジタルテレビ受像器（以下、テレビ）は、入力されるデジタルテレビジョン放送信号に基づき、指定されたチャンネルの番組を再生（表示）する。また、テレビは、入力されるデジタルテレビジョン放送信号に基づき、指定された番組表を再生（表示）する。 A digital television receiver (hereinafter referred to as a television) that has been widely used reproduces (displays) a program of a designated channel based on an input digital television broadcast signal. Also, the television reproduces (displays) a designated program guide based on the input digital television broadcast signal.
例えば、番組表は、放送時間を縦軸とし、チャンネルを横軸として、数時間分の複数チャンネルの複数番組に対応する複数セルにより構成される。例えば、１つのセルは、番組タイトル、番組概要、及び出演者名等の情報を含む。テレビは、番組表中の任意のセルの選択操作に対応して、選択されたセルに対応する番組を再生したり、録画又は録画予約したりする。 For example, the program table is composed of a plurality of cells corresponding to a plurality of programs of a plurality of channels for several hours with the broadcast time as the vertical axis and the channel as the horizontal axis. For example, one cell includes information such as a program title, a program summary, and a performer name. In response to a selection operation of an arbitrary cell in the program guide, the television plays a program corresponding to the selected cell, or records or reserves a recording.
番組視聴者（以下、ユーザ）が、視聴中の番組に関連する様々な情報を得たい、知りたい場合には、例えば、ＰＣ等を使って番組タイトルをキーワードとして番組に関する情報を検索する、又は視聴中の番組を提供する放送局のサイトを閲覧するなどが考えられる。ユーザは、もっと簡単、気楽に、テレビで番組を見ながら、視聴中の番組に関連する様々な情報を得たい、知りたいという要望をもっている。また、見たい番組を見つけたい、番組の評価を知りたい、番組を見ている人達のリアクションを知りたいなどの要望もある。 When a program viewer (hereinafter referred to as a user) wants to obtain or know various information related to the program being viewed, for example, he / she searches for information on the program using the program title as a keyword using a PC or the like, or For example, it may be possible to browse the site of a broadcasting station that provides the program being viewed. The user has a desire to obtain and know various information related to the program being viewed while watching the program on the television more easily and comfortably. There are also demands such as finding programs to watch, knowing the evaluation of programs, and knowing the reactions of people watching the programs.
また、各種サービス事業者は、どのような視聴者がどのような番組又はＣＭに接しているかの情報を収集し、視聴者の行動パターンを分析し、その分析を活用したマーケティングソリューションを提供したいという要望をもっている。 In addition, various service providers would like to collect information on what viewers are in contact with what programs or commercials, analyze the behavior patterns of viewers, and provide marketing solutions that utilize the analysis. I have a request.
本発明の目的は、簡単に、視聴中（又は出力中）の番組に関する情報を提供することが可能な番組関連情報処理プログラム及び番組関連情報処理方法を提供することである。 An object of the present invention is to provide a program-related information processing program and a program-related information processing method that can easily provide information related to a program being viewed (or being output).
また、本発明の目的は、どのような視聴者がどのような番組等に接したかの情報を効果的に収集することが可能な番組関連情報処理方法を提供することである。 Another object of the present invention is to provide a program-related information processing method capable of effectively collecting information as to which viewers are in contact with what programs.
実施形態によれば、番組関連情報処理プログラムは、音声データを取得する手順と、前記音声データを送信する手順と、前記音声データに対応する第１の番組の認識結果を受信する手順と、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、をコンピュータに実行させる。 According to the embodiment, the program-related information processing program includes: a procedure for acquiring audio data; a procedure for transmitting the audio data; a procedure for receiving a recognition result of a first program corresponding to the audio data; And causing the computer to execute a procedure for displaying at least part of the first program related information regarding the first program based on the recognition result.
また、実施形態によれば、番組関連情報処理方法では、情報通信装置が、音声データを取得し、前記音声データを送信し、前記音声データに対応する第１の番組の認識結果を受信し、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する。また、サーバが、前記音声データを前記情報通信装置から受信し、番組音声データベースに基づいて前記音声データに対応する第１の番組を認識し、前記認識結果を前記情報通信装置へ送信する。 According to the embodiment, in the program-related information processing method, the information communication apparatus acquires audio data, transmits the audio data, receives a recognition result of the first program corresponding to the audio data, Based on the recognition result, at least a part of the first program related information related to the first program is displayed. Further, the server receives the audio data from the information communication device, recognizes a first program corresponding to the audio data based on a program audio database, and transmits the recognition result to the information communication device.
実施形態によれば、簡単に、視聴中（又は出力中）の番組に関する情報を提供することが可能な番組関連情報処理プログラム及び番組関連情報処理方法を提供できる。 According to the embodiment, it is possible to provide a program-related information processing program and a program-related information processing method that can easily provide information related to a program being viewed (or being output).
また、実施形態によれば、どのような視聴者がどのような番組等に接したかの情報を効果的に収集することが可能な番組関連情報処理方法を提供できる。 Further, according to the embodiment, it is possible to provide a program related information processing method capable of effectively collecting information on what viewers are in contact with what programs.
以下、実施形態について、図面を参照して説明する。
図１は、実施形態に係る番組関連情報処理システムの概略構成の一例を示す図である。図１に示すように、番組関連情報処理システムは、情報通信端末１０及び複数のサーバ２０及び３０により構成される。情報通信端末１０及び複数のサーバ２０及び３０は、ネットワークを介して接続可能に構成される。
Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a diagram illustrating an example of a schematic configuration of a program-related information processing system according to the embodiment. As shown in FIG. 1, the program related information processing system includes an information communication terminal 10 and a plurality of servers 20 and 30. The information communication terminal 10 and the plurality of servers 20 and 30 are configured to be connectable via a network.
情報通信端末１０は、スマートフォン又はタブレット型ＰＣ等を想定するが、プロセッサ、メモリ、及びディスプレイ等を備え、情報処理、情報記憶、情報表示、情報通信、操作入力、及び音声入力（音声記録）等ができるデバイスであればどのようなデバイスであってもよい。また、サーバ２０及び３０は、大容量記憶装置を備えたコンピュータ等を想定するが、プロセッサ及びメモリ等を備え、情報処理、情報記憶、及び情報通信等ができるデバイスであればどのようなデバイスであってもよい。 The information communication terminal 10 is assumed to be a smartphone or a tablet PC, but includes a processor, a memory, a display, and the like, and includes information processing, information storage, information display, information communication, operation input, voice input (voice recording), and the like. Any device can be used as long as it can be used. The servers 20 and 30 are assumed to be computers equipped with a large-capacity storage device. However, any device can be used as long as it includes a processor and a memory and can perform information processing, information storage, and information communication. There may be.
図２は、実施形態に係る番組関連情報処理システムを構成する各デバイスの概略構成の一例を示すブロック図である。図２に示すように、情報通信端末１０は、情報処理部１１、ＲＯＭ１２、ＲＡＭ１３、データメモリ１４、入力部１５、ディスプレイ１６、通信部１７、音声入力部（マイク）１８等を備え、データバスを介して互いに接続される。 FIG. 2 is a block diagram illustrating an example of a schematic configuration of each device configuring the program-related information processing system according to the embodiment. As shown in FIG. 2, the information communication terminal 10 includes an information processing unit 11, a ROM 12, a RAM 13, a data memory 14, an input unit 15, a display 16, a communication unit 17, a voice input unit (microphone) 18, and the like. Are connected to each other.
ＲＯＭ１２は、基本動作プログラム（BIOSなど）を記憶する。ＲＡＭ１３は、ワーキングメモリとして機能し、各種情報を一時記憶する。データメモリ１４は、ＥＥＰＲＯＭ（登録商標）、ＦＲＡＭ（登録商標）、又はＦＬＡＳＨ等の不揮発性メモリであり、各種アプリケーションプログラム及び番組関連情報等を記憶する。情報処理部１１は、プロセッサ等により構成され、ＲＯＭ１２に記憶された基本動作プログラム、データメモリ１４に記憶された各種アプリケーションプログラムを実行する。 The ROM 12 stores a basic operation program (such as BIOS). The RAM 13 functions as a working memory and temporarily stores various information. The data memory 14 is a nonvolatile memory such as EEPROM (registered trademark), FRAM (registered trademark), or FLASH, and stores various application programs, program-related information, and the like. The information processing unit 11 includes a processor or the like, and executes a basic operation program stored in the ROM 12 and various application programs stored in the data memory 14.
ディスプレイ１６は、例えば液晶ディスプレイであり、各種情報を表示する。また、入力部１５は、例えばタッチパネル（押圧センサ又は静電センサー）であり、ディスプレイ１６の液晶ディスプレイに対向して配置される。つまり、ユーザは、入力部１５を介して、ディスプレイ１６に表示される内容を選択したり、表示内容を切り替えたりすることができる。 The display 16 is a liquid crystal display, for example, and displays various information. The input unit 15 is, for example, a touch panel (press sensor or electrostatic sensor), and is disposed to face the liquid crystal display of the display 16. That is, the user can select the content displayed on the display 16 or switch the display content via the input unit 15.
通信部１７は、例えば、異なる複数の通信方式をサポートし、３Ｇ／４Ｇ／ＬＴＥ（登録商標）等のキャリア通信、及びＷｉ−ｆｉ等のＬＡＮ通信をサポートし、サーバ２０との通信を実現する。音声入力部１８は、周囲の音声を入力する。 For example, the communication unit 17 supports a plurality of different communication methods, supports carrier communication such as 3G / 4G / LTE (registered trademark), and LAN communication such as Wi-fi, and realizes communication with the server 20. . The voice input unit 18 inputs ambient voice.
サーバ２０は、情報通信端末１０から送信される音声データに対応する番組を認識し、情報通信端末１０に認識結果を返信する。図２に示すように、サーバ２０は、情報処理部２１、ＲＯＭ２２、ＲＡＭ２３、データメモリ２４、番組認識部２５、大容量記憶部２６、通信部２７等を備え、データバスを介して互いに接続される。情報処理部２１は、プロセッサ等により構成され、ＲＯＭ２２に記憶された基本動作プログラム、データメモリ２４に記憶された各種アプリケーションプログラムを実行する。ＲＡＭ２３は、ワークメモリとして機能する。大容量記憶部２６はデータベースを格納し、データベースは、複数チャンネルの複数番組の音声データ及び複数ＣＭの音声データを含む。例えば、複数番組の音声データは番組識別情報（番組ＩＤなど）に関連付けられる。また、番組ＩＤに対しては、チャンネル番号、番組タイトル、番組出演者情報、及び番組概要等の情報が関連付けられる。また、複数ＣＭの音声データをＣＭ識別情報（ＣＭＩＤなど）に関連付け、さらに、番組ＩＤとＣＭＩＤを関連付けて、どの番組でどのＣＭが放送されているかを管理するようにしてもよい。 The server 20 recognizes a program corresponding to the audio data transmitted from the information communication terminal 10 and returns a recognition result to the information communication terminal 10. As shown in FIG. 2, the server 20 includes an information processing unit 21, a ROM 22, a RAM 23, a data memory 24, a program recognition unit 25, a large-capacity storage unit 26, a communication unit 27, and the like, which are connected to each other via a data bus. The The information processing unit 21 includes a processor or the like, and executes a basic operation program stored in the ROM 22 and various application programs stored in the data memory 24. The RAM 23 functions as a work memory. The large-capacity storage unit 26 stores a database, and the database includes audio data of a plurality of channels and a plurality of programs and audio data of a plurality of CMs. For example, audio data of a plurality of programs is associated with program identification information (such as a program ID). Further, information such as a channel number, a program title, program performer information, and a program summary is associated with the program ID. Further, audio data of a plurality of CMs may be associated with CM identification information (such as CMID), and further, which program is associated with CMID, and which CM is being broadcast by which program may be managed.
サーバ３０は、情報通信端末１０からリクエストされる番組関連情報を提供するサーバである。例えば、情報通信端末１０は、複数チャンネルの所定放送時間帯の番組関連情報をリクエストする。或いは、情報通信端末１０は、番組ＩＤに基づき番組関連情報をリクエストする。 The server 30 is a server that provides program-related information requested from the information communication terminal 10. For example, the information communication terminal 10 requests program-related information for a predetermined broadcast time zone of a plurality of channels. Alternatively, the information communication terminal 10 requests program related information based on the program ID.
或いは、サーバ３０は、サーバ２０からのリクエストに応じて、番組関連情報をサーバ２０へ提供し、サーバ２０から情報通信端末１０へ番組関連情報を提供するようにしてもよい。或いは、サーバ２０とサーバ３０とを一つのサーバで実現するようにしてもよい。 Alternatively, the server 30 may provide program-related information to the server 20 in response to a request from the server 20 and provide the program-related information from the server 20 to the information communication terminal 10. Alternatively, the server 20 and the server 30 may be realized by a single server.
サーバ３０は、情報処理部３１、ＲＯＭ３２、ＲＡＭ３３、データメモリ３４、大容量記憶部３６、通信部３７等を備え、データバスを介して互いに接続される。情報処理部３１は、プロセッサ等により構成され、ＲＯＭ３２に記憶された基本動作プログラム、データメモリ３４に記憶された各種アプリケーションプログラムを実行する。ＲＡＭ３３は、ワークメモリとして機能する。大容量記憶部３６はデータベースを格納し、データベースは、複数チャンネルの複数番組に関する番組関連情報群を含む。例えば、各番組関連情報には番組ＩＤが対応付けられる。 The server 30 includes an information processing unit 31, a ROM 32, a RAM 33, a data memory 34, a large-capacity storage unit 36, a communication unit 37, and the like, and is connected to each other via a data bus. The information processing unit 31 includes a processor and the like, and executes a basic operation program stored in the ROM 32 and various application programs stored in the data memory 34. The RAM 33 functions as a work memory. The large-capacity storage unit 36 stores a database, and the database includes a program related information group regarding a plurality of programs of a plurality of channels. For example, each program related information is associated with a program ID.
なお、番組関連情報群は、インターネット上（各種サーバ上）に存在する情報から生成することができる。例えば、テレビ番組ガイドを提供するサーバ上にはテレビ番組ガイド（番組表）が存在し、ツイッター（登録商標）等の各種投稿サイトを提供するサーバ上、及びニコニコ動画（登録商標）等の各種動画サイトを提供するサーバ上には番組に関するコメント等が存在する。 The program related information group can be generated from information existing on the Internet (on various servers). For example, there is a TV program guide (program guide) on a server that provides a TV program guide, a server that provides various posting sites such as Twitter (registered trademark), and various videos such as Nico Nico Douga (registered trademark). There are comments about the program on the server providing the site.
以下、本実施形態に係る番組関連情報処理システムによる番組関連情報の提示（表示）の一例について説明する。例えば、本実施形態では、大画面のＴＶを視聴しながら、情報通信端末１０をセカンドスクリーンとしてユーザの手元で使用することを想定する。本実施形態では、情報通信端末のディスプレイ１６を4インチ〜13インチ程度の小型に想定し説明するが、特にディスプレイ１６のサイズはどのようなサイズであってもよい。 Hereinafter, an example of presentation (display) of program related information by the program related information processing system according to the present embodiment will be described. For example, in the present embodiment, it is assumed that the information communication terminal 10 is used as a second screen at the user's hand while viewing a large-screen TV. In the present embodiment, the display 16 of the information communication terminal is described assuming a small size of about 4 inches to 13 inches. However, the size of the display 16 may be any size.
図３は、実施形態に係る情報通信端末による番組関連情報出力処理の一例を示すフローチャートである。例えば、情報通信端末１０において、情報処理部１１（プロセッサ）とデータメモリ１４の番組関連情報処理アプリケーションプログラム（以下、アプリケーション）により後述する全ての処理（音声データの送信、番組認識結果の受信、番組関連情報の出力、変更等）が実行される。 FIG. 3 is a flowchart illustrating an example of a program related information output process by the information communication terminal according to the embodiment. For example, in the information communication terminal 10, all processes described later (sending audio data, receiving program recognition results, programs) by the program-related information processing application program (hereinafter referred to as application) in the information processing unit 11 (processor) and the data memory 14 Related information is output and changed).
まず、情報通信端末１０の通信部１７は、外部サーバからアプリケーションをダウンロードし（ＳＴ１０１）、データメモリ１４がダウンロードしたアプリケーションを記憶する。なお、情報通信端末１０は、各種情報記憶媒体を介してアプリケーションを取得するようにしてもよい。 First, the communication unit 17 of the information communication terminal 10 downloads an application from an external server (ST101), and the data memory 14 stores the downloaded application. Note that the information communication terminal 10 may acquire an application via various information storage media.
例えば、本アプリケーションはユーザ登録を要求する。ユーザは、入力部１５を介してログイン情報（識別情報及びパスワード）を設定し、さらに、ユーザ登録情報（氏名、生年月日、及び住所等）を登録する。例えば、ログイン情報及びユーザ登録情報は、サーバ２０（大容量記憶部２６）で管理される。なお、ユーザは、各種投稿サイト及び各種動画サイトに対しても、ログイン情報（識別情報及びパスワード）を設定し、さらに、ユーザ登録情報（氏名、生年月日、及び住所等）を登録しているものとする。これにより、本アプリケーションのユーザと、各種投稿サイト及び各種動画サイトのユーザとの対応付けが可能となる。 For example, the application requests user registration. The user sets login information (identification information and password) via the input unit 15, and further registers user registration information (name, date of birth, address, etc.). For example, login information and user registration information are managed by the server 20 (large-capacity storage unit 26). The user also sets login information (identification information and password) for various posting sites and various video sites, and further registers user registration information (name, date of birth, address, etc.). Shall. Thereby, the user of this application can be associated with the users of various posting sites and various video sites.
例えば、情報通信端末１０を携帯する、又は情報通信端末１０を近傍に置いたユーザが、テレビを視聴するケースを想定する。番組関連情報の提示を受けたい場合、ユーザは、情報通信端末１０の入力部１５を介してアプリケーションの実行を指示し、これに対応して、情報処理部１１がアプリケーションを実行する（ＳＴ１０２）。例えば、アプリケーションはログイン情報に基づきログインして実行することを前提として説明するが、ログインせずに実行することもできる。 For example, it is assumed that a user who carries the information communication terminal 10 or places the information communication terminal 10 in the vicinity watches the television. When it is desired to receive the presentation of program related information, the user instructs execution of the application via the input unit 15 of the information communication terminal 10, and the information processing unit 11 executes the application correspondingly (ST102). For example, the application will be described based on the assumption that the application is logged in and executed based on the login information, but can be executed without logging in.
アプリケーションの実行に対応して、音声入力部１８が起動し、音声入力部１８は視聴中の番組の音声を入力し（ＳＴ１０３）、データメモリ１４に音声データが記録される。例えば、情報処理部１１は、各種のフィルタリング処理により音声入力部１８からの音声データから番組音声データ及びＣＭ音声データを抽出し、番組音声データ及びＣＭ音声データを記録する。通信部１７は、記録された音声データ及び記録時間情報（現在日時）をサーバ２０へ送信する（ＳＴ１０４）。例えば、通信部１７は、記録された音声データ、記録時間情報、及び情報通信端末１０の機器識別情報をサーバ２０へ送信するようにしてもよい。ログインしてアプリケーションが実行されている場合には、サーバ２０は、音声データ等とユーザ登録情報とを対応付けて管理することができる。ログインせずにアプリケーションが実行されている場合には、サーバ２０は、音声データ等と機器識別情報とを対応付けて管理することができる。 Corresponding to the execution of the application, the audio input unit 18 is activated, the audio input unit 18 inputs the audio of the program being viewed (ST103), and the audio data is recorded in the data memory 14. For example, the information processing unit 11 extracts program audio data and CM audio data from audio data from the audio input unit 18 by various filtering processes, and records the program audio data and CM audio data. The communication unit 17 transmits the recorded audio data and recording time information (current date and time) to the server 20 (ST104). For example, the communication unit 17 may transmit the recorded audio data, recording time information, and device identification information of the information communication terminal 10 to the server 20. When the application is executed after logging in, the server 20 can manage the voice data and the user registration information in association with each other. When the application is executed without logging in, the server 20 can manage the audio data and the device identification information in association with each other.
図４は、実施形態に係るサーバによる番組認識処理の一例を示すフローチャートである。 FIG. 4 is a flowchart illustrating an example of a program recognition process performed by the server according to the embodiment.
図４に示すように、サーバ２０の通信部２７は、情報通信端末１０から送信された音声データを受信する（ＳＴ２０１）。番組認識部２５は、大容量記憶部２６に格納されたデータベースと通信部２７により受信された音声データとに基づき、受信した音声データに対応する番組等を認識する（ＳＴ２０２）。例えば、認識の対象は番組だけでもよいし、番組とＣＭの両方であってもよい。例えば、番組認識部２５は、データベースに含まれる複数番組の音声データと受信された音声データとを比較照合し、類似度を計算し、計算結果に基づき音声データに対応する番組（例えば第１の番組）を認識する。番組認識結果は、大容量記憶部２６に蓄積される（ＳＴ２０３）。通信部２７は、番組認識結果を情報通信端末１０へ返信する（ＳＴ２０４）。 As shown in FIG. 4, the communication unit 27 of the server 20 receives the audio data transmitted from the information communication terminal 10 (ST201). The program recognition unit 25 recognizes a program or the like corresponding to the received audio data based on the database stored in the large capacity storage unit 26 and the audio data received by the communication unit 27 (ST202). For example, the target of recognition may be only a program or both a program and a CM. For example, the program recognition unit 25 compares the audio data of a plurality of programs included in the database with the received audio data, calculates the similarity, and based on the calculation result, the program corresponding to the audio data (for example, the first data) Program). The program recognition result is accumulated in the large-capacity storage unit 26 (ST203). Communication unit 27 returns the program recognition result to information communication terminal 10 (ST204).
例えば、ログインしてアプリケーションが実行されている場合には、ユーザ登録情報に関連付けて番組認識結果が蓄積される。つまり、どのユーザがどのタイミングでどのような番組を視聴したかを示す情報が蓄積される。ログインせずにアプリケーションが実行されている場合には、機器識別情報に関連付けて番組認識結果が蓄積される。つまり、どの端末のユーザがどのタイミングでどのような番組を視聴しかたを示す情報が蓄積される。また、データベースに含まれる番組の音声データに番組ＩＤが対応付けられ、さらに番組ＩＤにＣＭＩＤが対応付けられている場合には、どのユーザがどのようなＣＭを視聴したかを示す予測情報を蓄積することもできる。 For example, when the application is executed after logging in, the program recognition result is accumulated in association with the user registration information. That is, information indicating which user viewed what program at which timing is accumulated. When the application is executed without logging in, the program recognition result is stored in association with the device identification information. That is, information indicating which terminal user views what program at which timing is accumulated. In addition, when a program ID is associated with audio data of a program included in the database, and further a CMID is associated with the program ID, prediction information indicating which user viewed what CM is accumulated. You can also
なお、音声データから番組を認識する技術をＴＶリアルタイムACR（Automatic Content Recognition）と呼ぶ。この認識技術により、テレビの番組及びCMに接触したユーザをオンラインでリアルタイムにとらえることが可能となる。また、とらえたデータを他データ（IDFA、ADID、クッキー）と照合し、オフライン（テレビ視聴）からオンラインまでワンストップで捕捉することが実現できる。サーバ２０（大容量記憶部２６）は、エリアごとのTVの番組及びCMの音声データを、テレビ局とは事前のデータのやり取りなく、ほぼリアルタイムに暗号化しキャッシュしデータベースを構築する。情報通信端末１０はＴＶの番組の音声データ及びＣＭの音声データを検出し暗号化する。そしてサーバ２０が、データベースの音声データと情報通信端末１０から送信される音声データとをほぼリアルタイムにマッチングし、情報通信端末１０から送信される音声データに対応する番組を認識する。なお、本実施形態では、サーバ２０がデータベースを保持し、番組認識処理を実行するケースについて説明したが、データベースの保持と番組認識処理とを複数のサーバで分散するようにしてもよい。 A technique for recognizing a program from audio data is called TV real-time ACR (Automatic Content Recognition). This recognition technology makes it possible to capture online users who come in contact with TV programs and commercials in real time. In addition, the captured data can be compared with other data (IDFA, ADID, cookie) and captured from one-stop from offline (TV viewing) to online. The server 20 (large-capacity storage unit 26) encrypts and caches TV programs and CM audio data for each area almost in real time without exchanging data with the TV station in advance to construct a database. The information communication terminal 10 detects and encrypts TV program audio data and CM audio data. Then, the server 20 matches the audio data in the database with the audio data transmitted from the information communication terminal 10 in near real time, and recognizes a program corresponding to the audio data transmitted from the information communication terminal 10. In this embodiment, the case where the server 20 holds the database and executes the program recognition process has been described. However, the database holding and the program recognition process may be distributed among a plurality of servers.
図３に示すように、情報通信端末１０の通信部１７は、サーバ２０から第１の番組が認識されたことを示す番組認識結果（例えば第１の番組認識結果）を受信する（ＳＴ１０５）。情報処理部１１は、第１の番組認識結果に基づき第１の番組に関する第１の番組関連情報を表示するために、複数番組に関する番組関連情報群に含まれる第１の番組関連情報の少なくとも一部に基づき番組案内画面（初期画面）を構成する（ＳＴ１０６）。情報処理部１１及びディスプレイ１６は、番組案内画面の構成に基づき第１の番組関連情報の少なくとも一部を出力（表示）する（ＳＴ１０７）。例えば、図５に示すように、第１の番組関連情報の少なくとも一部を出力（表示）する。 As shown in FIG. 3, the communication unit 17 of the information communication terminal 10 receives a program recognition result (for example, a first program recognition result) indicating that the first program has been recognized from the server 20 (ST105). The information processing unit 11 displays at least one of the first program related information included in the program related information group related to a plurality of programs in order to display the first program related information related to the first program based on the first program recognition result. A program guide screen (initial screen) is constructed based on the section (ST106). The information processing unit 11 and the display 16 output (display) at least a part of the first program related information based on the configuration of the program guide screen (ST107). For example, as shown in FIG. 5, at least a part of the first program related information is output (displayed).
なお、僅かな時間（数秒）でＳＴ１０３〜ＳＴ１０７の処理が実行され、これにより、ユーザは、リアルタイムに視聴している第１の番組に関する第１の番組関連情報の少なくとも一部を見ることができる。しかも、視聴中の第１の番組に関する第１の番組関連情報の少なくとも一部だけが表示されるので（他の番組に関する番組関連情報は表示されないので）、リアルタイムに視聴している第１の番組に関する第１の番組関連情報に迷い無く接することができる。また、このような表示は、情報通信端末１０のディスプレイサイズにも好適である。 Note that the processing of ST103 to ST107 is executed in a short time (several seconds), so that the user can see at least part of the first program related information related to the first program being viewed in real time. . Moreover, since at least a part of the first program related information related to the first program being viewed is displayed (since program related information related to other programs is not displayed), the first program being viewed in real time is displayed. The first program related information on can be contacted without hesitation. Such a display is also suitable for the display size of the information communication terminal 10.
例えば、第１の番組の番組認識結果は、第１の番組の識別情報を含み、この第１の番組の識別情報から、第１の番組のチャンネル番号、番組タイトル、番組出演者情報、及び番組概要等の情報を取得することができる。さらに、これら情報をキー（キーワード）として、ネットワーク上（各種サーバ上）に存在する第１の番組に関する第１の番組関連情報（第１の番組に関する書き込み等のコメント）を抽出することもできる。 For example, the program recognition result of the first program includes the identification information of the first program. From the identification information of the first program, the channel number of the first program, the program title, the program performer information, and the program Information such as an outline can be acquired. Furthermore, it is also possible to extract first program related information (comments such as writing about the first program) related to the first program existing on the network (on various servers) using these information as keys (keywords).
なお、本実施形態では、情報通信端末１０が、サーバ２０から番組認識結果を受信し、番組認識結果に基づき番組関連情報を収集するケースについて説明するが、サーバ２０が、番組認識結果に基づき番組関連情報を収集し、情報通信端末１０に対して番組関連情報を返信するようにしてもよい。 In the present embodiment, a case will be described in which the information communication terminal 10 receives a program recognition result from the server 20 and collects program-related information based on the program recognition result. The related information may be collected and the program related information may be returned to the information communication terminal 10.
ユーザが、ディスプレイ１６に表示された情報に対して、入力部１５を介して第１の表示変更操作を入力すると（ＳＴ１０８）、情報処理部１１及びディスプレイ１６は、第１の番組関連情報の表示内容を変更（更新）し、変更された第１の番組関連情報を出力（表示）する（ＳＴ１０９）。例えば、図６〜図１１に示すように、変更された第１の番組関連情報を出力（表示）する。 When the user inputs the first display change operation to the information displayed on the display 16 via the input unit 15 (ST108), the information processing unit 11 and the display 16 display the first program related information. The content is changed (updated), and the changed first program related information is output (displayed) (ST109). For example, as shown in FIGS. 6 to 11, the changed first program related information is output (displayed).
また、ユーザが、ディスプレイ１６に表示された情報に対して、入力部１５を介して第２又は第３の表示変更操作を入力すると（ＳＴ１０８）、情報処理部１１及びディスプレイ１６は、第１の番組関連情報の表示に替えて、第２又は第３の番組関連情報を出力（表示）する（ＳＴ１０９）。 In addition, when the user inputs the second or third display change operation to the information displayed on the display 16 via the input unit 15 (ST108), the information processing unit 11 and the display 16 have the first information Instead of displaying the program related information, the second or third program related information is output (displayed) (ST109).
例えば、第２の番組関連情報は、第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報であり、第１の番組と第２の番組のチャンネルは異なる。また、第３の番組関連情報は、第１の番組と放送時間の異なる第３の番組に関する第３の番組関連情報であり、第１の番組と第３の番組のチャンネルは同一又は異なる。 For example, the second program-related information is second program-related information related to a second program that overlaps at least a part of the broadcasting time with the first program, and the channels of the first program and the second program are different. . The third program-related information is third program-related information relating to a third program having a broadcasting time different from that of the first program, and the channels of the first program and the third program are the same or different.
ここで、番組関連情報の取得について説明する。例えば、情報通信端末１０（アプリケーション）が、現在時間情報に基づき、サーバ３０から定期的に複数チャンネルの複数番組の番組関連情報群を受信する。例えば、現在時刻から24時間分の番組関連情報を受信する。或いは、情報通信端末１０が、第１の番組の番組認識結果を受信したことに対応して、第１の番組の番組関連情報を受信する。或いは、情報通信端末１０が、第１の番組の番組認識結果を受信したことに対応して、複数チャンネルの複数番組の番組関連情報群を受信する。或いは、サーバ２０が第１の番組の番組認識結果とともに、第１の番組の番組関連情報を送信し、情報通信端末１０が、第１の番組の番組認識結果とともに、第１の番組の番組関連情報を受信する。或いは、サーバ２０が第１の番組の番組認識結果とともに、複数チャンネルの複数番組の番組関連情報群を送信し、情報通信端末１０が、第１の番組の番組認識結果とともに、複数チャンネルの複数番組の番組関連情報群を受信する。 Here, acquisition of program-related information will be described. For example, the information communication terminal 10 (application) periodically receives a program related information group of a plurality of programs of a plurality of channels from the server 30 based on the current time information. For example, program related information for 24 hours from the current time is received. Alternatively, the information communication terminal 10 receives the program related information of the first program in response to receiving the program recognition result of the first program. Alternatively, in response to the information communication terminal 10 receiving the program recognition result of the first program, the information communication terminal 10 receives a program related information group of a plurality of programs of a plurality of channels. Alternatively, the server 20 transmits the program related information of the first program together with the program recognition result of the first program, and the information communication terminal 10 sends the program related information of the first program together with the program recognition result of the first program. Receive information. Alternatively, the server 20 transmits a program related information group of a plurality of programs of a plurality of channels together with the program recognition result of the first program, and the information communication terminal 10 transmits a plurality of programs of a plurality of channels together with the program recognition result of the first program. The program related information group is received.
図５は、実施形態に係る情報通信端末による番組関連情報の出力例（表示例）を示す図である。図５に示すように、情報通信端末１０の通信部１７が、第１の番組の番組認識結果を受信すると、ディスプレイ１６は、第１の番組に関する第１の番組関連情報の少なくとも一部を表示する。本実施形態では、第１の番組（一つの番組）の認識結果に対応して第１の番組（一つの番組）の番組関連情報の少なくとも一部を出力するケースを中心に説明する。これにより、ユーザは、情報通信端末１０の表示画面から現在視聴中の番組を一目で特定することができる。なお、第１の番組（一つの番組）の認識結果に対応して第１の番組（一つの番組）の番組関連情報を出力するとともに、第１の番組と同一時間帯に放送されている他の２以上の番組の番組関連情報を出力するようにしてもよい。その場合、第１の番組の番組関連情報を強調表示する。また、第１の番組（一つの番組）の認識結果に対応して第１の番組（一つの番組）の番組関連情報のセルを含む番組表を出力してもよい。番組表は、放送時間を縦軸とし、チャンネルを横軸として、数時間分の複数チャンネルの複数番組に対応する複数セルにより構成される。例えば、１つのセルは、番組タイトル、番組概要、及び出演者名等の情報を含む。この場合、第１の番組の番組関連情報のセルを強調表示する。 FIG. 5 is a diagram illustrating an output example (display example) of program-related information by the information communication terminal according to the embodiment. As shown in FIG. 5, when the communication unit 17 of the information communication terminal 10 receives the program recognition result of the first program, the display 16 displays at least a part of the first program related information related to the first program. To do. In the present embodiment, a case where at least a part of the program related information of the first program (one program) is output corresponding to the recognition result of the first program (one program) will be mainly described. Thereby, the user can identify the program currently being viewed from the display screen of the information communication terminal 10 at a glance. In addition to outputting the program related information of the first program (one program) corresponding to the recognition result of the first program (one program), the program is broadcast in the same time zone as the first program. The program related information of two or more programs may be output. In that case, the program related information of the first program is highlighted. Further, a program guide including cells of program-related information of the first program (one program) may be output corresponding to the recognition result of the first program (one program). The program guide is composed of a plurality of cells corresponding to a plurality of programs of a plurality of channels for several hours with the broadcast time as the vertical axis and the channel as the horizontal axis. For example, one cell includes information such as a program title, a program summary, and a performer name. In this case, the cell of the program related information of the first program is highlighted.
第１の番組関連情報は、第１の番組に関する画像情報１０１を含む。画像情報１０１は、第１の番組のロゴタイプの画像を含む。ロゴタイプの画像とは、番組のタイトル、キャラクター、マーク、出演者名等を図案化、装飾化した文字又は文字列であり、第１の番組を知っているユーザであれば、第１の番組のロゴタイプの画像を一目見れば、第１の番組であることを瞬時に認識することができる。なお、ディスプレイ１６に表示される放送の種別タグ１１１は、地上波、BS、CS等の放送種別の選択を受け付ける。 The first program related information includes image information 101 related to the first program. The image information 101 includes a logotype image of the first program. A logotype image is a character or character string that is designed and decorated with the title, character, mark, performer name, etc. of the program. If the user knows the first program, the first program If you look at the logotype image at a glance, you can instantly recognize that it is the first program. The broadcast type tag 111 displayed on the display 16 receives selection of a broadcast type such as terrestrial, BS, and CS.
また、第１の番組関連情報が、第１の番組に関するコメント１０２を含むようにしてもよい。さらに、第１の番組関連情報が、第１の番組の出演者（タレント等）の画像（静止画又は動画）１０３を含むようにしてもよい。さらに、第１の番組関連情報が、第１の番組で取り上げられた商品（サービスを含む）の画像（静止画又は動画）１０４を含むようにしてもよい。このような第１の番組関連情報は、第１の番組の番組ＩＤに対応付けられた番組タイトル、番組出演者情報等に基づき、ネットワーク上から収集される。さらに、ネットワーク上の複数のコメント間の共通情報から、第１の番組関連情報を推定し収集することもできる。 Further, the first program related information may include a comment 102 related to the first program. Further, the first program related information may include an image (still image or moving image) 103 of a performer (talent or the like) of the first program. Further, the first program related information may include an image (still image or moving image) 104 of a product (including a service) taken up in the first program. Such first program-related information is collected from the network based on the program title, program performer information, and the like associated with the program ID of the first program. Further, the first program related information can be estimated and collected from common information between a plurality of comments on the network.
例えば、ユーザは、入力部１５を介して、ディスプレイ１６に表示される機能ボタン１１２を選択すると、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報（第２の番組に関する画像情報１０１ａ）を表示する。同様に、ユーザは、入力部１５を介して、ディスプレイ１６に表示される機能ボタン１１３を選択すると、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、第１の番組と少なくとも一部の放送時間が重なる第３の番組に関する第３の番組関連情報（第３の番組に関する画像情報）を表示する。 For example, when the user selects the function button 112 displayed on the display 16 via the input unit 15, the first program related information (image information 101 relating to the first program) is displayed instead of the first program related information. Second program related information (image information 101a related to the second program) relating to the second program overlapping at least a part of the broadcast time with the program is displayed. Similarly, when the user selects the function button 113 displayed on the display 16 via the input unit 15, the first program related information (image information 101 relating to the first program) is displayed instead of the first program related information. The third program related information (image information related to the third program) related to the third program that overlaps at least a part of the broadcast time is displayed.
また、別の機能ボタンを設けて、例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示されるその別の機能ボタンを選択すると、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、第１の番組と放送時間の異なる第４の番組に関する第４の番組関連情報（第４の番組に関する画像情報）を表示する。 In addition, when another function button is provided, for example, when the user selects the other function button displayed on the display 16 via the input unit 15, the first program related information (the image related to the first program) is displayed. Instead of the display of the information 101), fourth program related information (image information related to the fourth program) related to the fourth program having a broadcasting time different from that of the first program is displayed.
また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部を選択することにより、情報処理部１１及びディスプレイ１６が、第１の番組の公式ページ１２１を表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組に関するコメント１０２を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図６に示すような第１の番組の公式ページ１２１を表示する。 In addition, when the user selects a part of the first program related information displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 have the official page 121 of the first program. May be displayed. For example, when the user selects the comment 102 related to the first program displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the first program related information (related to the first program). Instead of displaying the image information 101), the official page 121 of the first program as shown in FIG. 6 is displayed.
また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組の出演者情報を表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組の出演者の画像１０３を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図７に示すような第１の番組の出演者情報１２２を表示する。 In addition, when the user inputs an operation to a part of the first program related information displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the performer information of the first program. You may make it display. For example, when the user selects an image 103 of the performer of the first program displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the first program related information (first In place of the display of the image information 101) relating to this program, performer information 122 of the first program as shown in FIG. 7 is displayed.
また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組で取り上げられた商品に関する詳細な情報（文字と画像）を表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組で取り上げられた商品の画像１０４を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図８に示すような第１の番組で取り上げられた商品に関する詳細な情報（文字と画像）１２３を表示する。 In addition, when the user performs an operation input on a part of the first program related information displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 are picked up by the first program. Detailed information (characters and images) may be displayed. For example, when the user selects the product image 104 picked up in the first program displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the first program related information ( Instead of displaying the image information 101) relating to the first program, detailed information (characters and images) 123 relating to the products taken up in the first program as shown in FIG. 8 is displayed.
また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組に関するコメントで取り上げられている番組の無料又は有料視聴リンクを表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組に関するコメント１０２を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図９に示すような第１の番組に関するコメントで取り上げられている番組の無料又は有料視聴リンク１２４を表示する。 In addition, when the user performs an operation input to a part of the first program related information displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 are picked up by a comment regarding the first program. You may make it display the free or pay viewing link of the program which has been carried out. For example, when the user selects the comment 102 related to the first program displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the first program related information (related to the first program). Instead of the display of the image information 101), a free or pay viewing link 124 of the program taken up in the comment relating to the first program as shown in FIG. 9 is displayed.
また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組のお気に入り登録画面を表示するようにしてもよい。続けて、ユーザは、入力部１５を介して、お気に入りとして第１の番組をデータメモリ１４へ登録する。登録されるお気に入りの情報が、第１の番組の放送開始日時情報（例えば第１の番組：毎週金曜日15:00放送開始）を含む場合には、情報処理部１１は、放送開始時刻の所定時間前（例えば１０分前）になると、その旨を通知する（例えばプッシュ通知）。或いは、登録されるお気に入りの情報が、タレント名を含む場合には、情報処理部１１は、タレント名に該当するタレントの出演番組の放送開始時刻の所定時間前（例えば１０分前）になると、その旨を通知する（例えばプッシュ通知）。 Further, when the user performs an operation input to a part of the first program related information displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the favorite registration screen of the first program. You may make it display. Subsequently, the user registers the first program as a favorite in the data memory 14 via the input unit 15. When the registered favorite information includes the broadcast start date / time information of the first program (for example, the first program: every Friday at 15:00 broadcast start), the information processing unit 11 determines the predetermined time of the broadcast start time. When it is before (for example, 10 minutes before), this is notified (for example, push notification). Alternatively, when the registered favorite information includes a talent name, the information processing unit 11 is a predetermined time (for example, 10 minutes before) the broadcast start time of the starring program corresponding to the talent name. This is notified (for example, push notification).
また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組の実況画面１３１を表示するようにしてもよい。実況画面１３１は、インターネット上の第１の番組に対する多数ユーザのリアクションを表示する。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組に関する画像情報１０１に対する操作入力（スワイプ）により、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図１０に示すような第１の番組の実況画面１３１を表示する。実況画面１３１は、ネットワーク上のサーバにより提供される。 In addition, when the user performs an operation input on a part of the first program related information displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 display the live screen 131 of the first program. You may make it display. The live screen 131 displays the reactions of many users for the first program on the Internet. For example, when the user performs an operation input (swipe) on the image information 101 related to the first program displayed on the display 16 via the input unit 15, the information processing unit 11 and the display 16 have the first program related information ( Instead of displaying the image information 101) relating to the first program, a live situation screen 131 of the first program as shown in FIG. 10 is displayed. The live situation screen 131 is provided by a server on the network.
例えば、実況画面１３１には、第１の番組に関する投稿サイト及び動画サイトのコメントが集約され、順次、投稿及びコメントが流れる（文字の弾幕が流れる）。また、実況画面１３１には、ユーザの感情の入力を受け付ける機能ボタン１３２、１３３を表示する。例えば、第１の番組を楽しんでいる、盛り上がっているようなユーザは、機能ボタン１３２を選択し、逆の感情のユーザは、機能ボタン１３３を選択する。情報通信端末１０は、選択結果をサーバへ送信する。サーバは、機能ボタン１３２、１３３の選択結果をリアルタイムに反映した実況画面１３１を生成し、情報通信端末１０へ提供する。これにより、情報通信端末１０で表示される実況画面１３１には、機能ボタン１３２、１３３の選択結果がリアルタイムに反映される。例えば、機能ボタン１３２、１３３の選択結果の割合を、実況画面１３１の背景色の割合で表現する。機能ボタン１３２の選択結果に対して緑を割り当て、機能ボタン１３３の選択結果に対して赤を割り当てれば、実況画面１３１の背景色の緑の割合が多ければ、第１の番組を楽しんでいる、盛り上がっているようなユーザが多いことが分かる。逆に、実況画面１３１の背景色の赤の割合が多ければ、逆の感情のユーザが多いことが分かる。ユーザは、実況画面１３１を介して番組自体の盛り上がりを共有／体感することができる。 For example, on the live screen 131, comments of the posting site and the moving image site related to the first program are collected, and the posting and comment flow sequentially (a barrage of characters flows). In addition, function buttons 132 and 133 that accept input of the user's emotion are displayed on the live situation screen 131. For example, a user who enjoys the first program or is excited is selecting the function button 132, and a user with the opposite emotion is selecting the function button 133. The information communication terminal 10 transmits the selection result to the server. The server generates a live status screen 131 reflecting the selection results of the function buttons 132 and 133 in real time, and provides it to the information communication terminal 10. As a result, the selection result of the function buttons 132 and 133 is reflected in real time on the live situation screen 131 displayed on the information communication terminal 10. For example, the ratio of the selection results of the function buttons 132 and 133 is expressed by the ratio of the background color of the live screen 131. If green is assigned to the selection result of the function button 132 and red is assigned to the selection result of the function button 133, if the percentage of green of the background color of the live screen 131 is large, the first program is being enjoyed. It can be seen that there are many users who are excited. On the other hand, if the ratio of the background color red on the live screen 131 is large, it can be understood that there are many users with the opposite emotion. The user can share / feel the excitement of the program itself via the live screen 131.
なお、本実施形態では、ユーザの感情の入力を受け付ける機能ボタン１３２、１３３を表示するケースについて説明したが、１つの機能ボタンを表示するようにしてもよいし、３以上の機能ボタンを表示するようにして、ユーザの感情を３以上に細分化して、細分化されたユーザの感情の入力を受け付けるようにしてもよい。 In the present embodiment, the case of displaying the function buttons 132 and 133 for accepting the input of the user's emotion has been described. However, one function button may be displayed, or three or more function buttons are displayed. In this way, the user's emotion may be subdivided into three or more, and an input of the subdivided user's emotion may be accepted.
さらに、実況画面１３１には、機能ボタン１３４を表示する。例えば、第１の番組について番組メモを取りたいユーザは、機能ボタン１３４を選択する。これに対応して、情報通信端末１０は、見た番組／気になる情報の画面１４１中の第１の番組について気になる情報を付加することができる。例えば、見た番組／気になる情報の画面１４１は、サービス提供事業者により提供される情報であり、番組別に用意され、放送時間軸に沿って番組に関する情報が書き込まれている。例えば、ユーザは、後から、気になる情報を頼りに、情報通信端末１０のブラウザー機能を使って、第１の番組中の気になる情報を調べることができる。例えば、第１の番組で取り上げられたショップや商品の情報を忘れてしまったとしても、見た番組／気になる情報の画面１４１中の気になる情報を頼りに簡単に調べることができる。 Further, a function button 134 is displayed on the live situation screen 131. For example, the user who wants to take a program memo for the first program selects the function button 134. Correspondingly, the information communication terminal 10 can add information of interest for the first program in the screen 141 of the program / interested information that has been viewed. For example, the viewed program / interesting information screen 141 is information provided by the service provider, prepared for each program, and information related to the program is written along the broadcast time axis. For example, the user can later check the information of interest in the first program using the browser function of the information communication terminal 10 by relying on the information of interest. For example, even if you have forgotten the information about the shop or product featured in the first program, you can easily check the information you are interested in on the screen 141 of the program / information you are interested in.
また、図１１に示す見た番組／気になる情報の画面１４１中の機能ボタン１４２から、LINE（登録商標）、SMS、メールなどへ、気になる情報を共有することができる。 In addition, the interested information can be shared to the LINE (registered trademark), SMS, mail, etc. from the function button 142 in the screen 141 of the viewed program / anxious information shown in FIG.
なお、サーバにおいて、実況画面１３１のデータを集積することにより、視聴番組に対するユーザの評価を分析することが可能となる。例えば、ログインしてアプリケーションを実行している場合、タレントＡの登場タイミングで機能ボタン１３２が選択されると、ユーザ登録情報から、あるユーザ（例えば20代男性）がタレントＡに対して好感を持つことを示す情報が集積される。また、タレントＢの登場タイミングで機能ボタン１３３が選択されると、ユーザ登録情報から、あるユーザ（例えば20代男性）がタレントＢに対して否定的な印象を持つことを示す情報が集積される。このようにして、各ユーザからの情報を蓄積する。結果、蓄積された情報は非常に価値ある情報となる。つまり、番組のキャスティング資料として使用することもできるし、ＣＭへのタレント起用の資料として使用することもできる。例えば、ある商品のＣＭで起用されているタレントに対して、類似商品のＣＭで起用するタレントの選定にも大いに役立てることができる。 In the server, it is possible to analyze the evaluation of the user with respect to the viewing program by accumulating the data of the live situation screen 131. For example, when the application is executed after logging in, when a function button 132 is selected at the appearance timing of the talent A, a user (for example, a man in his twenties) has a good feeling for the talent A from the user registration information. Information indicating this is accumulated. Further, when the function button 133 is selected at the appearance timing of the talent B, information indicating that a certain user (for example, a man in his 20s) has a negative impression of the talent B is accumulated from the user registration information. . In this way, information from each user is accumulated. As a result, the accumulated information becomes very valuable information. In other words, it can be used as a material for casting a program, or it can be used as a material for introducing a talent to a CM. For example, it can be very useful for selecting a talent to be appointed in a CM of a similar product for a talent appointed in a CM of a certain product.
図１２は、情報通信端末の表示画面の遷移の一例を示す図である。上記説明したように情報通信端末１０で実行されるアプリケーションにより、図１２に示すような表示画面遷移が生じる。例えば、情報通信端末１０では、ACRを使った番組表（図５）が表示される。 FIG. 12 is a diagram illustrating an example of transition of the display screen of the information communication terminal. As described above, an application executed on the information communication terminal 10 causes a display screen transition as shown in FIG. For example, the information communication terminal 10 displays a program table (FIG. 5) using ACR.
図１３は、本実施形態を実現する上で想定されるデータの種類とデータ内容の一例を示す図である。これらデータにより、情報通信端末１０は、番組関連情報を出力することができる。 FIG. 13 is a diagram illustrating an example of data types and data contents assumed in realizing the present embodiment. With these data, the information communication terminal 10 can output program related information.
図１４は、本実施形態により蓄積されるデータの一例を示す図である。図１４に示すように、主な入力は、投稿データ、リアルタイム視聴（ＡＣＲ）データ、テレビ番組表データ、テレビ番組メタデータ、オンライン行動履歴データである。主なアクションは、番組表に対するアクション、実況閲覧、気になるボタン（機能ボタン１３４）によるアクションである。主な入力とアクションから、図１４に示すようなテレビ・エンタメデータマネジメントプラットフォーム（DMP）を蓄積することができる。 FIG. 14 is a diagram illustrating an example of data stored according to the present embodiment. As shown in FIG. 14, the main inputs are post data, real-time viewing (ACR) data, TV program guide data, TV program metadata, and online action history data. The main actions are actions for the program guide, live status browsing, and actions by buttons of interest (function buttons 134). From the main inputs and actions, the TV entertainment data management platform (DMP) as shown in FIG. 14 can be accumulated.
サービス事業者は、蓄積されたDMPを分析し、視聴者の動向等を推定することができる。つまり、データ分析結果に基づき番組を制作したり、ＣＭを制作したり（より効果的なタレントを選定したＣＭ制作）できる。 The service provider can analyze the accumulated DMP and estimate the trends of viewers. That is, based on the data analysis result, it is possible to produce a program or a CM (CM production that selects a more effective talent).
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 In addition, this invention is not limited to the said embodiment, In the implementation stage, it can change variously in the range which does not deviate from the summary. In addition, the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be obtained as an invention.
１０…情報通信端末、１１…情報処理部、１４…データメモリ、１５…入力部、１６…ディスプレイ、１７…通信部、１８…音声入力部、２０…サーバ、２１…情報処理部、２４…データメモリ、２５…番組認識部、２６…大容量記憶部、２７…通信部、３０…サーバ、３１…情報処理部、３４…データメモリ、３６…大容量記憶部、３７…通信部、１０１、１０１ａ…画像情報、１０２…番組に関するコメント、１０３…出演者（タレント等）の画像、１０４…番組で取り上げられた商品の画像（静止画又は動画）、１１１…種別タグ、１１２、１１３…機能ボタン、１２１…番組の公式ページ、１２２…番組の出演者情報、１２３…商品に関する詳細な情報（文字と画像）、１２４…番組の無料又は有料視聴リンク、１３１…番組の実況画面、１３２〜１３４…機能ボタン、１４１…見た番組／気になる情報の画面、１４２…機能ボタン。 DESCRIPTION OF SYMBOLS 10 ... Information communication terminal, 11 ... Information processing part, 14 ... Data memory, 15 ... Input part, 16 ... Display, 17 ... Communication part, 18 ... Voice input part, 20 ... Server, 21 ... Information processing part, 24 ... Data Memory, 25 ... Program recognition unit, 26 ... Mass storage unit, 27 ... Communication unit, 30 ... Server, 31 ... Information processing unit, 34 ... Data memory, 36 ... Mass storage unit, 37 ... Communication unit, 101, 101a ... Image information, 102 ... Comments regarding the program, 103 ... Images of performers (talents, etc.), 104 ... Images of products taken up in the program (still images or moving images), 111 ... Type tags, 112, 113 ... Function buttons, 121 ... Official page of the program, 122 ... Information about the performers of the program, 123 ... Detailed information (characters and images) about the product, 124 ... Free or paid viewing link of the program, 131 ... Live status of the program Surface, 132 to 134 ... function button, 141 ... saw program / anxious information screen, 142 ... function button.
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
音声データを取得する手順と、
前記音声データを送信する手順と、
前記音声データに対応する第１の番組の認識結果を受信する手順と、
前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、
をコンピュータに実行させる番組関連情報処理プログラム。
［Ｃ２］
前記第１の番組関連情報を受信する手順をコンピュータに実行させるＣ１の番組関連情報処理プログラム。
［Ｃ３］
複数番組に関する番組関連情報群を受信する手順と、
前記認識結果に基づき前記第１の番組関連情報を表示するために、前記番組関連情報群に含まれる前記第１の番組関連情報の少なくとも一部に基づき番組案内画面を構成する手順とコンピュータに実行させるＣ１又はＣ２の番組関連情報処理プログラム。
［Ｃ４］
前記第１の番組関連情報は、前記第１の番組に関する第１の画像情報を含むＣ１乃至Ｃ３の何れか１つの番組関連情報処理プログラム。
［Ｃ５］
前記第１の番組関連情報は、前記第１の番組に関するロゴタイプの第１の画像情報を含むＣ１乃至Ｃ４の何れか１つの番組関連情報処理プログラム。
［Ｃ６］
前記第１の番組関連情報は、前記第１の番組に関するコメントを含むＣ１乃至Ｃ５の何れか１つの番組関連情報処理プログラム。
［Ｃ７］
前記第１の番組関連情報は、前記第１の番組の出演者の画像を含むＣ１乃至Ｃ６の何れか１つの番組関連情報処理プログラム。
［Ｃ８］
前記第１の番組の番組関連情報は、前記第１の番組で取り上げられた商品の画像を含むＣ１乃至Ｃ７の何れか１つの番組関連情報処理プログラム。
［Ｃ９］
前記第１の番組関連情報は、前記第１の番組に関する番組実況を含むＣ１乃至Ｃ８の何れか１つの番組関連情報処理プログラム。
［Ｃ１０］
前記第１の番組関連情報は、前記第１の番組に関する番組視聴ログデータに基づく情報を含むＣ１乃至Ｃ９の何れか１つの番組関連情報処理プログラム。
［Ｃ１１］
前記第１の画像情報に対する第１の変更操作に対応して、前記第１の番組関連情報の表示に替えて、前記第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報を表示する手順をコンピュータに実行させるＣ４の番組関連情報処理プログラム。
［Ｃ１２］
前記第１の画像情報に対する第２の変更操作に対応して、前記第１の番組関連情報の表示に替えて、前記第１の番組と放送時間の異なる第３の番組に関する第３の番組関連情報を表示する手順をコンピュータに実行させるＣ１１の番組関連情報処理プログラム。
［Ｃ１３］
情報通信装置が、音声データを取得し、前記音声データを送信し、前記音声データに対応する第１の番組の認識結果を受信し、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示し、
サーバが、前記音声データを前記情報通信装置から受信し、番組音声データベースに基づいて前記音声データに対応する第１の番組を認識し、前記認識結果を前記情報通信装置へ送信する番組関連情報処理方法。
［Ｃ１４］
前記サーバが、前記通信装置によるログイン情報と前記認識結果を対応付けて管理するＣ１３の番組関連情報処理方法。
In addition, this invention is not limited to the said embodiment, In the implementation stage, it can change variously in the range which does not deviate from the summary. In addition, the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be extracted as an invention from which this component requirement has been deleted.
Hereinafter, the invention described in the scope of claims at the beginning of the application of the present application will be added.
[C1]
The procedure to get audio data,
Transmitting the audio data;
Receiving a recognition result of the first program corresponding to the audio data;
Displaying at least a part of the first program related information related to the first program based on the recognition result;
Program-related information processing program for causing a computer to execute the program.
[C2]
A program-related information processing program of C1, which causes a computer to execute a procedure for receiving the first program-related information.
[C3]
A procedure for receiving program-related information groups related to a plurality of programs;
In order to display the first program-related information based on the recognition result, a procedure for configuring a program guide screen based on at least a part of the first program-related information included in the program-related information group and executed by a computer Program related information processing program of C1 or C2 to be executed.
[C4]
The first program related information is a program related information processing program of any one of C1 to C3 including first image information related to the first program.
[C5]
The program-related information processing program of any one of C1 to C4, wherein the first program-related information includes logo-type first image information related to the first program.
[C6]
The first program-related information is a program-related information processing program of any one of C1 to C5 including a comment related to the first program.
[C7]
The first program related information is a program related information processing program of any one of C1 to C6 including an image of a performer of the first program.
[C8]
The program-related information processing program of any one of C1 to C7, wherein the program-related information of the first program includes an image of a product taken up in the first program.
[C9]
The first program-related information is a program-related information processing program of any one of C1 to C8, which includes a program actual situation relating to the first program.
[C10]
The first program related information is a program related information processing program of any one of C1 to C9, including information based on program viewing log data related to the first program.
[C11]
Corresponding to the first change operation for the first image information, instead of displaying the first program related information, a second program relating to a second program that overlaps at least a part of the broadcasting time with the first program. A program related information processing program of C4 which causes a computer to execute a procedure for displaying the program related information of 2.
[C12]
In response to the second change operation for the first image information, the third program related to the third program having a broadcasting time different from that of the first program instead of displaying the first program related information. A program-related information processing program of C11 that causes a computer to execute a procedure for displaying information.
[C13]
An information communication apparatus acquires audio data, transmits the audio data, receives a recognition result of a first program corresponding to the audio data, and a first program related to the first program based on the recognition result Display at least some of the relevant information,
A program-related information processing in which a server receives the audio data from the information communication device, recognizes a first program corresponding to the audio data based on a program audio database, and transmits the recognition result to the information communication device Method.
[C14]
A program-related information processing method of C13, wherein the server manages login information by the communication device in association with the recognition result.
Claims (14)
前記音声データを送信する手順と、
前記音声データに対応する第１の番組の認識結果を受信する手順と、
前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、
をコンピュータに実行させる番組関連情報処理プログラム。 The procedure to get audio data,
Transmitting the audio data;
Receiving a recognition result of the first program corresponding to the audio data;
Displaying at least a part of the first program related information related to the first program based on the recognition result;
Program-related information processing program for causing a computer to execute the program.
前記認識結果に基づき前記第１の番組関連情報を表示するために、前記番組関連情報群に含まれる前記第１の番組関連情報の少なくとも一部に基づき番組案内画面を構成する手順とコンピュータに実行させる請求項１又は２の番組関連情報処理プログラム。 A procedure for receiving program-related information groups related to a plurality of programs;
In order to display the first program-related information based on the recognition result, a procedure for configuring a program guide screen based on at least a part of the first program-related information included in the program-related information group and executed by a computer The program related information processing program according to claim 1 or 2.
サーバが、前記音声データを前記情報通信装置から受信し、番組音声データベースに基づいて前記音声データに対応する第１の番組を認識し、前記認識結果を前記情報通信装置へ送信する番組関連情報処理方法。 An information communication apparatus acquires audio data, transmits the audio data, receives a recognition result of a first program corresponding to the audio data, and a first program related to the first program based on the recognition result Display at least some of the relevant information,
A program-related information processing in which a server receives the audio data from the information communication device, recognizes a first program corresponding to the audio data based on a program audio database, and transmits the recognition result to the information communication device Method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017112796A JP2017184268A (en) | 2017-06-07 | 2017-06-07 | Broadcast program related information processing program and broadcast program related information processing method |
| JP2019169594A JP6905019B2 (en) | 2017-06-07 | 2019-09-18 | Program-related information processing server and program-related information processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017112796A JP2017184268A (en) | 2017-06-07 | 2017-06-07 | Broadcast program related information processing program and broadcast program related information processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016068643A Division JP6345726B2 (en) | 2016-03-30 | 2016-03-30 | Program-related information processing method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019169594A Division JP6905019B2 (en) | 2017-06-07 | 2019-09-18 | Program-related information processing server and program-related information processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017184268A true JP2017184268A (en) | 2017-10-05 |
| JP2017184268A5 JP2017184268A5 (en) | 2018-12-13 |
Family
ID=60006603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017112796A Pending JP2017184268A (en) | 2017-06-07 | 2017-06-07 | Broadcast program related information processing program and broadcast program related information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017184268A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070143777A1 (en) * | 2004-02-19 | 2007-06-21 | Landmark Digital Services Llc | Method and apparatus for identificaton of broadcast source |
| JP2007286951A (en) * | 2006-04-18 | 2007-11-01 | Rakuten Inc | Retrieval history storage system |
| JP2010136138A (en) * | 2008-12-05 | 2010-06-17 | Softbank Mobile Corp | Information providing system |
| JP2011243204A (en) * | 2010-05-19 | 2011-12-01 | Google Inc | Mobile content presentation based on program context |
| US8805683B1 (en) * | 2012-02-24 | 2014-08-12 | Google Inc. | Real-time audio recognition protocol |
| JP2014236257A (en) * | 2013-05-31 | 2014-12-15 | 日立マクセル株式会社 | Terminal device and network terminal system |
-
2017
- 2017-06-07 JP JP2017112796A patent/JP2017184268A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070143777A1 (en) * | 2004-02-19 | 2007-06-21 | Landmark Digital Services Llc | Method and apparatus for identificaton of broadcast source |
| JP2007286951A (en) * | 2006-04-18 | 2007-11-01 | Rakuten Inc | Retrieval history storage system |
| JP2010136138A (en) * | 2008-12-05 | 2010-06-17 | Softbank Mobile Corp | Information providing system |
| JP2011243204A (en) * | 2010-05-19 | 2011-12-01 | Google Inc | Mobile content presentation based on program context |
| US8805683B1 (en) * | 2012-02-24 | 2014-08-12 | Google Inc. | Real-time audio recognition protocol |
| JP2014236257A (en) * | 2013-05-31 | 2014-12-15 | 日立マクセル株式会社 | Terminal device and network terminal system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10721205B2 (en) | Interactive content in a messaging platform | |
| EP3123437B1 (en) | Methods, apparatus, and systems for instantly sharing video content on social media | |
| US9681089B2 (en) | Method for capturing content provided on TV screen and connecting contents with social service by using second device, and system therefor | |
| US20110138300A1 (en) | Method and apparatus for sharing comments regarding content | |
| JP6067708B2 (en) | How to capture video related content | |
| US20150281756A1 (en) | Data session management method and system including content recognition of broadcast data and remote device feedback | |
| KR20160104661A (en) | Methods, systems, and media for presenting supplemental information corresponding to on-demand media content | |
| US20120159356A1 (en) | Enhanced World Wide Web-Based Communications | |
| JP2013114648A (en) | Server apparatus, information terminal and program | |
| CA2804828C (en) | Live broadcasting of dynamically generated content | |
| JP6905019B2 (en) | Program-related information processing server and program-related information processing system | |
| JP6345726B2 (en) | Program-related information processing method | |
| KR20230080513A (en) | Method and system to share advertisement content from a main device to a secondary device | |
| CN103530301A (en) | Virtual community establishing system and method | |
| JP2015154440A (en) | Portable terminal, program for portable terminal, and content distribution system | |
| JP2017184268A (en) | Broadcast program related information processing program and broadcast program related information processing method | |
| JP2021158689A (en) | Program-related information processing server and program-related information processing system | |
| CN112073738B (en) | Information processing method and device | |
| KR101805618B1 (en) | Method and Apparatus for sharing comments of content | |
| TWI450578B (en) | Television system and method for providing recommended program list | |
| JP2010233020A (en) | Information providing system | |
| JP2013141133A (en) | Interlock information distribution server device, computer program, and interlock information providing system | |
| KR101303257B1 (en) | Aparatus and method for guiding program linhage network | |
| JP2013046136A (en) | Television program application system, television program application method, and television program application program | |
| KR101462627B1 (en) | A voting system using broadcasting contents and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181030 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190618 |