JP2020053715A - 情報処理システム、情報処理方法、及び、情報処理プログラム - Google Patents

情報処理システム、情報処理方法、及び、情報処理プログラム Download PDF

Info

Publication number
JP2020053715A
JP2020053715A JP2018177974A JP2018177974A JP2020053715A JP 2020053715 A JP2020053715 A JP 2020053715A JP 2018177974 A JP2018177974 A JP 2018177974A JP 2018177974 A JP2018177974 A JP 2018177974A JP 2020053715 A JP2020053715 A JP 2020053715A
Authority
JP
Japan
Prior art keywords
input
character
subtitle
caption
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018177974A
Other languages
English (en)
Other versions
JP6906801B2 (ja
Inventor
佳之 上野
Yoshiyuki Ueno
佳之 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saito Sokki Kk
Original Assignee
Saito Sokki Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saito Sokki Kk filed Critical Saito Sokki Kk
Priority to JP2018177974A priority Critical patent/JP6906801B2/ja
Publication of JP2020053715A publication Critical patent/JP2020053715A/ja
Application granted granted Critical
Publication of JP6906801B2 publication Critical patent/JP6906801B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】従来には無い新たな字幕付与のためのシステムを提供する。【解決手段】情報処理システムは、インターネットに接続された複数の字幕入力者端末を含む。字幕入力者端末には、番組の音声が配信され、字幕入力者は、端末を用いて音声に応じた文字を入力する。複数の字幕入力者が入力した入力文字に基づいて字幕判定が行われ、字幕判定の結果に基づいて映像に字幕が付与される。字幕文字として決定された文字を入力した字幕入力者には、仮想通貨等の特典が付与される。【選択図】図8

Description

本発明は、字幕入力を行うための情報処理システム、情報処理方法、及び、情報処理プログラムに関する。
従来より、例えば生放送の番組にリアルタイムで字幕を付与する装置がある。例えば、特許文献1に記載の装置では、事前原稿を基に番組開始直前に記者が修正する箇所を、オペレータが撮像画像を見ながらリアルタイムで修正し、その修正結果を、同一のオペレータあるいは別のオペレータが、字幕スーパーとして見易いセンテンスに分割しておき、番組開始と同時に、アナウンサの音声をモニタしながら、作成したセンテンスをタイミング良く送り出す。
特開2001−169148号公報
しかしながら、上記特許文献1に記載の装置は、事前原稿が元になるため、例えば事前原稿のない番組については字幕を付与することができなかった。
それ故、本発明の目的の一つは、従来には無い新たな字幕付与のためのシステムを提供することである。
本発明の一例では、上記の課題を解決するために、以下の構成を採用した。
本発明に係る情報処理システムは、複数の入力者によって入力された入力文字をそれぞれ取得する取得手段と、前記複数の入力者によって入力された入力文字のうち、何れの入力文字を字幕文字として採用するかを決定する字幕文字決定手段と、前記字幕文字として採用された入力文字を入力した入力者に対して、特典を付与する特典付与手段と、を備える。
上記によれば、複数の入力者によって入力された入力文字について、何れの文字を字幕文字として採用するかを決定し、字幕文字として採用された文字を入力した入力者に対して、特典を付与することができる。入力者に対して特典を付与することにより、多数の入力者を字幕文字のための文字の入力に参加させることができる。
他の構成では、前記情報処理システムは、前記複数の入力者に対して、マイクで集音された音声に基づく音声情報をリアルタイムで送信する送信手段を更に備えてもよい。前記取得手段は、前記入力者が前記音声情報に基づいてリアルタイムで入力した入力文字を取得してもよい。前記字幕文字決定手段は、前記複数の入力者が前記音声情報に基づいてリアルタイムで入力した入力文字のうち、何れの入力文字を字幕文字として採用するかを決定してもよい。
上記によれば、マイクで集音された音声をリアルタイムで送信し、当該音声に応じた文字を取得し、字幕文字を決定することができる。
他の構成では、前記取得手段は、インターネットで接続された複数の入力者端末から、放送のための音声に応じて入力された前記入力文字を取得してもよい。また、前記字幕文字決定手段は、前記音声に対応する放送のための映像に付与する前記字幕文字を決定してもよい。
上記によれば、複数の入力者端末はインターネットに接続され、入力者は、インターネットを介して放送のための音声に応じた文字を入力する。入力された入力文字に基づいて、放送のための映像に付与する字幕文字が決定される。これにより、放送のための映像に付与する字幕文字をインターネットに接続された入力者が入力することができ、放送される映像に字幕を付与するための新たなシステムを構築することができる。
他の構成では、前記字幕文字決定手段は、前記複数の入力者によって入力された入力文字のうち、何れかの入力文字を字幕文字の候補として判定する字幕判定手段と、前記字幕判定手段によって判定された字幕文字の候補のうち何れかを前記字幕文字として決定する決定手段と、を含んでもよい。
上記によれば、複数の入力者によって入力された入力文字を字幕文字の候補として決定し、その候補の中から何れかを字幕文字として決定することができる。
他の構成では、前記情報処理システムは、前記字幕判定手段によって判定された字幕文字の候補を表示手段に表示させる候補表示制御手段を更に備えてもよい。前記決定手段は、決定者の入力に基づいて、前記候補表示制御手段によって表示された前記字幕文字の候補のうち何れかを前記字幕文字として決定してもよい。
上記によれば、字幕文字の候補を表示手段に表示し、決定者が表示された候補の中から字幕文字を決定することができる。
他の構成では、前記情報処理システムは、音声認識システムが前記音声情報に基づいて音声認識を行った結果を取得する音声認識結果取得手段を更に備えてもよい。前記字幕文字決定手段は、前記音声認識結果取得手段によって取得された前記音声認識の結果と、前記複数の入力者によって入力された入力文字とに基づいて、前記字幕文字を決定してもよい。
上記によれば、入力者からの入力文字に加えて、音声認識システムの結果に基づいて字幕文字を決定することができる。
他の構成では、前記字幕文字決定手段は、前記複数の入力者によって入力された入力文字のうち、共通する入力文字を前記字幕文字として決定してもよい。
上記によれば、複数の入力者が入力した文字について共通する入力文字を字幕文字として決定することができ、正確な字幕文字を決定することができる。
他の構成では、前記特典付与手段は、前記特典として、仮想通貨、電子マネー、ポイント、及び法定通貨のうちの何れかを付与してもよい。
上記によれば、入力者に対して、仮想通貨、電子マネー、ポイント、及び法定通貨のうちの何れかを付与することができる。
他の構成では、前記特典付与手段は、分散型台帳システムを介して、前記特典を付与してもよい。
上記によれば、特典を分散型台帳システムを介して付与することができ、付与された特典の改ざんを防止することができる。
また、他の発明は、上記情報処理システムにおいて行われる情報処理方法であってもよい。また、他の発明は、上記情報処理システムにおいて実行される情報処理プログラムであってもよい。また、上記情報処理システムは、複数の装置によって実現されてもよいし、1つの装置によって実現されてもよい。
本発明によれば、多数の入力者に字幕文字のための入力に参加させることができる。
本実施形態の情報処理システム1の全体構成の一例を示す図 情報処理システム1の動作の一例を示す図 字幕入力者端末6の機能構成の一例を示すブロック図 ブロックチェーンNW3内のノードの機能構成の一例を示すブロック図 放送局内の字幕付与システムの機能構成の一例を示すブロック図 情報処理システム1において行われる処理の一例を示す図 字幕判定の一例を示す図 音声認識システムにおいて字幕判定が行われる場合の情報処理システム1の構成を示す図 字幕入力者端末6において行われる処理の一例を示すフローチャート 音声認識システム5において行われる処理の一例を示すフローチャート 情報処理システム1において行われる字幕判定処理および特典付与のための処理の一例を示すフローチャート 字幕文字の決定に応じてブロックチェーンNW3に記録される情報の一例を示す図
(情報処理システムの概要)
以下、本発明の一実施形態に係る情報処理システムについて説明する。図1は、本実施形態の情報処理システム1の全体構成の一例を示す図である。情報処理システム1は、放送局4と、音声認識システム5と、複数の字幕入力者端末6(6a、6b等)とを含む。字幕入力者端末6は、字幕入力者によって操作される端末である。情報処理システム1には、図に示す他にも多数の字幕入力者端末6が含まれる。なお、以下では、字幕入力者端末6a、6bを総称して「字幕入力者端末6」と表記する。
放送局4と、音声認識システム5と、複数の字幕入力者端末6とは、インターネット2(ネットワークの一例)を介して接続される。また、インターネット2は、複数のノードNで構成されるブロックチェーンネットワーク(以下、「ブロックチェーンNW」と表記することがある)3を含む。また、インターネット2には、複数の視聴者端末7が接続される。
ブロックチェーンNW3は、複数のノードがP2P(Peer to Peer)で接続されたネットワークであり、ブロックチェーン技術(分散型台帳技術)で接続されたネットワークである。ブロックチェーンNW3は、分散型アプリケーションやスマートコントラクトを実行する。ブロックチェーンNW3のノードは、ネットワークに投函されたトランザクション(例えば、後述する仮想通貨の送金のためのトランザクション)を各ノードに伝播し、各ノードはトランザクションをブロックに取り込むためのマイニング(採掘作業;具体的には数学的な計算)を行う。マイニングに成功したノードは、ネットワーク内の各ノードにその結果をブロードキャストし、各ノードはその結果をブロックに書き込む。これにより、ブロックチェーンNW3全体で同じ情報が記録される。
ブロックチェーンNW3は、例えば、イーサリアム(Ethereum)、Hyperledger Fabric、NEM等のブロックチェーン技術を実現するプラットフォームを用いて構成されてもよい。本実施形態では、ブロックチェーンNW3は、イーサリアムネットワークであるものとする。なお、ブロックチェーンNW3は、他のブロックチェーン技術を実現するプラットフォームを用いて構成されてもよい。また、ブロックチェーンNW3は、ブロックチェーン技術とは異なる他の分散型台帳技術を用いて構成されてもよい。また、ブロックチェーンNW3は、パブリックなブロックチェーンネットワークであってもよいし、プライベートなブロックチェーンネットワークであってもよい。
放送局4は、地上波、衛星、有線、インターネット等により映像及び音声を放送する。放送局4は、映像を撮影するためのカメラ、音声を集音するためのマイク、放送のための機器、及び、字幕付与のための字幕付与システム等を含む。放送局4内の字幕付与システムは、番組関係者によって操作される端末と、少なくとも音声を事前に字幕入力者端末6及び音声認識システム5に配信する配信装置と、決定された字幕を映像に付与するための装置とを含む。
放送局4は、例えば、スポーツ番組やニュース番組等を生放送する。本実施形態の情報処理システム1は、放送局4が放送する生放送の映像に、字幕入力者が字幕入力者端末6を用いて入力した字幕を付与するためのシステムであり、字幕を入力した字幕入力者に対して報酬を付与するためのシステムである。以下、情報処理システム1の動作について説明する。
図2は、情報処理システム1の動作の一例を示す図である。字幕入力者は、予め本情報処理システム1のユーザとして登録されているものとする。図2に示されるように、放送局4(の配信装置)は、例えばインターネット2を介して、各字幕入力者に対して少なくとも音声情報を配信する(図2の(1))。この音声情報は、放送局4がこれから生放送する番組の音声情報である。具体的には、カメラで撮影した映像およびマイクで集音した音声を生放送する前に、放送局4は、各字幕入力者に対して、マイクで集音した音声をインターネット2を介して字幕入力者端末6に配信する。放送局4は、撮影した映像および集音した音声をすぐに地上波等を通して放送するのではなく、例えば30秒だけ遅らせて放送する。一方、放送局4は、字幕入力者に対しては、集音した音声をリアルタイムで音声データに変換し、当該音声データをインターネット2を介してリアルタイムで字幕入力者端末6に配信する。字幕入力者端末6は、放送局4からの音声データを受信して再生する。これにより、字幕入力者は、生放送される前の(例えば30秒前の)番組の音声を聞くことができる。なお、放送局4は、音声に加えて映像も字幕入力者に事前に配信してもよい。
また、放送局4は、音声認識システム5に対しても同様の音声データを配信する。音声認識システム5は、音声認識プログラムを実行するプロセッサと、放送局4からの音声データを入力する音声データ入力部と、通信を行うための通信部とを有する。音声認識システム5は、放送局4からの音声データを受信し、当該音声データに基づいて音声認識処理を行う。そして、音声認識システム5は、音声認識の結果(すなわち、文字情報)をブロックチェーンネットワーク3に送信する(図2の(2))。
字幕入力者端末6は、放送局4から配信された音声データに基づいて音声を再生する。字幕入力者は、当該再生された音声を聞き、字幕入力者端末6を用いて、その音声に対応する文字を入力する。字幕入力者端末6は、字幕入力者によって入力された入力文字をブロックチェーンNW3に送信する(図2の(3))。
ブロックチェーンNW3は、字幕入力者端末6からの入力文字を受信した場合、又は、音声認識システム5から音声認識結果(文字情報)を受信した場合、これらの情報をブロックチェーンNW3に記録するとともに、これらの情報に基づいて、字幕判定を行う(図2の(4))。具体的には、ブロックチェーンNW3は、複数の字幕入力者が入力した入力文字の中から映像に付与する字幕文字の候補を判定する。例えば、ブロックチェーンNW3は、字幕文字の候補を複数判定してもよいし、1つだけ判定してもよい。
次に、放送局4(の端末)は、字幕判定の結果(すなわち、少なくとも1つの字幕文字の候補)を取得する(図2の(5))。そして、放送局4において、少なくとも1つの字幕文字の候補の中から映像に付与する字幕文字が決定され、決定された字幕文字が映像に付与される(図2の(6))。放送局4は、字幕文字が付与された映像を例えば地上波を通じて放送する。これにより、視聴者(例えば聴覚障がい者)は、受信機を用いて、字幕付きの映像を視聴することが可能になる。なお、視聴者は、聴覚障がい者に限らず、例えば、音声を聞くことが困難な状況にある視聴者(例えば、地上波を受信可能な端末を有する視聴者であって電車に乗っている視聴者)であってもよい。
映像に付与する字幕文字が決定された場合、字幕入力者に対して、入力文字が字幕文字として採用されたか否かの採否通知がなされる(図2の(7))。例えば、字幕入力者が、放送局4からの音声(図2の(1)で配信された音声)を正しく文字として入力した場合、当該入力文字は、映像に付与する字幕文字として採用される。この場合、字幕文字として採用されたことを示す情報が、その文字を入力した字幕入力者に通知される。例えば、採用された文字数、及び、その文字数に応じて付与される特典の情報が、E−Mailを通じて字幕入力者に通知されてもよい。なお、字幕文字として採用されなかった場合は、採用されなかったことを示す情報が字幕入力者に通知されてもよい。
また、字幕文字として採用された文字を入力した字幕入力者に対して、その報酬としての特典が付与される(図2の(8))。具体的には、放送局4から字幕入力者に対して、ブロックチェーンNW3を通じて特典が付与される。例えば、付与される特典は、情報処理システム1内においてのみ利用可能な独自のトークン(独自の仮想通貨)であってもよいし、仮想通貨取引所等で法定通貨と交換可能な仮想通貨であってもよい。また、付与される特典は、電子マネーであってもよいし、情報処理システム1内において利用可能なポイントであってもよいし、情報処理システム1外においても利用可能なポイントであってもよい。本実施形態では、付与される特典は、独自のトークンであるものとする。
本実施形態では、予めブロックチェーンNW3において独自のトークン(独自の仮想通貨)を作成し、字幕入力者に対する報酬として当該独自のトークンを付与するものとする。なお、各字幕入力者に対して、予め所定量のトークンが付与されているものとする。
付与されたトークンに関する情報は、ブロックチェーンNW3に書き込まれる。トークンが付与された字幕入力者は、字幕入力者端末6を用いてブロックチェーンNW3に接続することで、付与されたトークンを確認することができる。また、字幕入力者は、ブロックチェーンNW3に接続することで、付与されたトークンを他のアイテムと交換することができる。例えば、字幕入力者は、付与されたトークンと引き換えに、放送局4が有償で提供するサービス(例えば映像や音楽等のコンテンツ)を利用したり、法定通貨と交換したり、商品と交換したりすることができる。なお、字幕入力者は、字幕入力者端末6に限らず、ウォレットをインストールした他の端末(他のパーソナルコンピュータ、タブレット、スマートフォン等)を用いて、付与されたトークンを確認したり、トークンを他のアイテムと交換したりすることができる。
このように、本実施形態の情報処理システム1では、字幕入力者が放送される音声を聞いてリアルタイムで字幕を入力することで、リアルタイムで映像に字幕を付与することができる。本実施形態では、字幕入力者に対して、字幕を入力したことに対する報酬としてトークン(独自の仮想通貨)を付与するため、多数の人を字幕入力に参加させることができる。多数の字幕入力者が字幕入力に参加することで、一部の番組にしか付与できなかった字幕を、より多くの番組に付与することができる。また、多数の字幕入力者が字幕入力に参加することで、字幕付与にかかるコストを低減することができるとともに、正確な字幕を付与することができる。また、多数の一般の人が番組の制作に関わることができるため、放送局と視聴者との距離を縮めることができる。
また、本実施形態では、ブロックチェーンNW3にトークンを送金するためのトランザクションを発行することで、ブロックチェーンNW3にトークンに関する情報を記録することができ、トークンに関する情報の改ざんを困難にすることができる。
また、視聴者は、放送された字幕付きの映像を見て、字幕に対する評価を放送局4にフィードバックすることができる(図2の(9))。例えば、字幕の表示タイミングや正確さに関して評価し、その評価結果が、例えば視聴者端末7を介して放送局4に送信されてもよい。放送局4では、そのフィードバックを考慮して、システムを改善することができる。放送局4は、フィードバックを送信した視聴者に対して、評価を送信したことに対する対価として、トークンを付与する。この視聴者に対するトークンの付与は、ブロックチェーンNW3を通じて行われる。
なお、図は単なる一例であり、情報処理システム1の構成はこれに限らない。例えば、音声認識システム5は、放送局4と同一主体により管理されてもよいし、別主体により管理されてもよい。また、音声認識システム5は、放送局4と同じ場所に配置されてもよいし、異なる場所に配置されてもよい。また、音声認識システム5と放送局4の専用システムとは、同一のシステムであってもよい。音声認識システム5と放送局4とが別の場所に配置される場合、放送局4からの音声データは、インターネット2を介して送信されてもよいし、専用ネットワークを介して送信されてもよい。
次に、字幕入力者端末6、ブロックチェーンネットワーク3内のノード、及び、放送局内の字幕付与システムの構成について説明する。図3は、字幕入力者端末6の機能構成の一例を示すブロック図である。
図3に示されるように、字幕入力者端末6は、処理装置61と、入力装置62と、表示装置63と、スピーカ64と、通信装置65とを備える。処理装置61は、少なくとも1つのプロセッサとメモリとを含む。プロセッサによって所定のプログラムが実行されることにより、プロセッサは、音声再生手段66、入力文字送信手段67、及び、特典管理手段68として機能する。
通信装置65は、放送局4からの音声情報(映像情報も含む場合は映像情報も)を受信し、処理装置61に当該音声情報を出力する。処理装置61の音声再生手段66は、当該音声情報に基づいて音声を再生し、スピーカ64に出力する。また、放送局4から映像情報が送信される場合、音声再生手段66は、当該映像情報を再生して表示装置63に出力する。
入力装置62は、例えばキーボードである。入力装置62は、字幕入力者によって入力された情報を処理装置61に出力する。処理装置61の入力文字送信手段67は、入力装置62からの情報に基づいて、字幕入力者によって入力された入力文字を設定し、入力文字を通信装置65を介してブロックチェーンNW3に送信する。具体的には、入力文字送信手段67は、入力文字を含むトランザクションを発行することにより、入力文字をブロックチェーンNW3に送信する。入力文字送信手段67は、どのようなタイミングで入力文字を送信してもよい。例えば、入力文字送信手段67は、字幕入力者によって送信の指示が行われた場合に、入力文字を送信してもよい。また、入力文字送信手段67は、所定の時間間隔(例えば、5秒間隔や10秒間隔)で入力文字を送信してもよい。また、入力文字送信手段67は、字幕入力者によって入力された入力文字列を文節に区切り、文節毎に送信してもよい。
特典管理手段68は、放送局4によって字幕入力者に付与されたトークン(特典の一例)を管理する。具体的には、各字幕入力者は、固有のウォレット(アドレス)を有している。各字幕入力者は、自分自身に固有のウォレットを他の字幕入力者に開示することなく、自分自身に固有のウォレットを管理する。特典管理手段68は、この字幕入力者に固有のウォレットを記憶および管理する。特典管理手段68は、ウォレットに基づいてブロックチェーンNW3にアクセスすることで、字幕入力者に付与されたトークンを参照する。これにより、字幕入力者は、自身が現在保有しているトークンの残高を確認することができる。また、特典管理手段68は、字幕入力者からの指示に基づいて、トークンを他のユーザに送信する(所有権を移転させる)ためのトランザクションをブロックチェーンNW3に送信する。また、特典管理手段68は、字幕入力者からの指示に基づいて、トークンを他のアイテム(例えば、商品、放送局が有する映像や音楽等のコンテンツ、他の仮想通貨、法定通貨等)と交換するためのトランザクションをブロックチェーンNW3に送信する。これにより、字幕入力者は、トークンを他のユーザに送信したり、トークンを他のアイテムと交換したりすることができる。
図4は、ブロックチェーンNW3内のノードの機能構成の一例を示すブロック図である。ブロックチェーンNW3内には複数のノードがあり、各ノードNは、P2P(Peer to Peer)で接続されている。
図4に示されるように、各ノードNは、少なくとも1つのプロセッサ31と、メモリ32と、通信装置33と、記憶装置34とを備える。通信装置33は、音声認識システム5からの音声認識結果を受信したり、字幕入力者端末6からの入力文字を受信したり、これら受信した情報を他のノードNに伝播させたりする。また、各ノードの記憶装置34には、字幕判定の結果や各字幕入力者に付与された特典に関する情報が記憶される。
ブロックチェーンNW3の各ノードのメモリ32には、ブロックチェーンNW3に参加するための参加プログラムが予めインストールされている。また、各ノードのメモリ32には、上述した字幕判定を行うための字幕判定プログラム(スマートコントラクト)が予め配信されている。
プロセッサ31は、メモリ32に記憶された参加プログラムを実行することにより、ブロックチェーンNW3内の各ノードとピア・ツー・ピアで通信したり、仮想通貨の送金(トークンの付与や交換)を行ったりする。また、プロセッサ31は、参加プログラムを実行することにより、ノードに送信されたトランザクションをブロックチェーンNW3に取り込むためのマイニングを行ったりする。
また、プロセッサ31は、メモリ32に記憶された字幕判定プログラムを実行することにより、上述した字幕判定を行う。具体的には、プロセッサ31は、音声認識システム5からの音声認識結果と各字幕入力者端末6からの入力文字とに基づいて、字幕判定を行うことにより、映像に付与する字幕文字の候補を判定する。この字幕判定の詳細については後述する。
図5は、放送局内の字幕付与システムの機能構成の一例を示すブロック図である。字幕付与システムは、字幕文字の候補の中から字幕文字を選択したり、映像に字幕を付与したりするためのシステムである。字幕付与システムは、複数の装置によって構成されてもよいし、1つの装置によって構成されてもよい。字幕付与システムは、少なくとも1つのプロセッサと、メモリと、通信装置とを備える。字幕付与システムの少なくとも1つのプロセッサによって所定のプログラムが実行されることにより、当該プロセッサは、図5に示す音声再生手段71、字幕候補表示手段72、字幕文字決定手段73、及び、字幕付与手段74として機能する。
音声再生手段71は、マイクによって集音された音声を再生する。具体的には、音声再生手段71は、字幕入力者に配信される音声よりも所定時間遅れて、マイクで集音された音声を再生する。
字幕候補表示手段72は、字幕文字の候補を表示装置に表示する。ここで表示される字幕文字の候補は、ブロックチェーンNW3からの字幕判定の結果であり、字幕入力者によって入力された文字である。例えば、字幕候補表示手段72は、複数の字幕文字の候補を1画面に表示する。なお、ここで表示される字幕文字の候補と、音声再生手段71によって再生される音声とは、同期される。すなわち、出力されている音声に対応する文字が表示されるように、字幕文字の候補が表示される。これにより、番組関係者が字幕文字を決定する際に、出力されている音声を聞きながら表示されている字幕文字の候補の中から何れかを選択することができる。
字幕文字決定手段73は、例えば番組関係者からの入力に応じて、複数の字幕文字の候補の中から、実際に映像に付与する字幕文字を決定する。なお、字幕文字決定手段73は、番組関係者からの入力によらずに自動で、実際に映像に付与する字幕文字を決定してもよい。字幕付与手段74は、字幕文字決定手段73によって決定された字幕文字を映像に付与する。
次に、情報処理システム1において行われる処理の流れについて説明する。図6は、情報処理システム1において行われる処理の一例を示す図である。
まず、放送局4は、実際に地上波等で番組の生放送を行う前に、インターネット2を介して、少なくとも音声データを字幕入力者端末6および音声認識システム5に配信する(ステップS0)。この音声データの配信は、番組が継続している間、ストリーミング形式で行われる。例えば、生放送の番組中にマイクによって集音された音声がリアルタイムで音声データに変換され、当該音声データがインターネット2を介して字幕入力者端末6及び音声認識システム5に送信される。地上波による映像及び音声の放送は、この字幕入力者への音声配信よりも例えば30秒遅れて行われる。
音声認識システム5は、放送局4からの音声データを受信し、音声認識を行う(ステップS1)。音声認識システム5は、音声認識の結果として文字情報を出力する。そして、音声認識システム5は、その音声認識結果を含むトランザクションをブロックチェーンNW3に送信する(ステップS2)。
また、各字幕入力者端末6は、放送局4からの音声データを受信し、音声を再生する。各字幕入力者は、再生された音声を聞いて、字幕入力者端末6の入力装置62を用いて文字を入力する。そして、字幕入力者端末6は、字幕入力者によって入力された入力文字を含むトランザクションをブロックチェーンNW3に送信する(ステップS4)。例えば、字幕入力者端末6は、トークンを送信するためのトランザクションに、入力文字のデータを含めて送信してもよい。当該トランザクションでは、トークンの送信元として当該字幕入力者端末6を所有する字幕入力者が指定され、トークンの送信先として放送局4が指定されてもよい。すなわち、トークンは字幕入力者が入力文字を送信するための媒体として機能してもよい。なお、入力文字は、トークンを送信するためのトランザクションに限らず、他のトランザクションに含められて、ブロックチェーンNW3に送信されてもよい。
ブロックチェーンNW3(内のノード)は、各字幕入力者端末6からの入力文字と、音声認識システム5からの音声認識結果とに基づいて、字幕判定を行う(ステップS5)。例えば、ブロックチェーンNW3は、入力文字を受け付ける受付時間を設定し、受付時間内に受信した入力文字に基づいて字幕判定を行ってもよい。受付時間は、例えば、予め定められた時間間隔(例えば15秒間)に基づいて設定されてもよい。また、受付時間は、例えば、音声認識結果を受信してからの所定時間(例えば、15秒)であってもよい。
ステップS5の字幕判定では、映像に付与する字幕文字の候補が決定される。決定される字幕文字の候補は、1つでもよいし複数でもよい。なお、ステップS5の字幕判定の詳細については後述する。
字幕判定が行われると、字幕文字の候補を示す字幕情報が放送局4に送られる(ステップS6)。次に、放送局4において、実際に映像に付与する字幕文字を決定する(ステップS7)。すなわち、ステップS5で判定された1又は複数の字幕文字の候補のうちの何れが、実際に映像に付与する字幕文字として決定される。実際に映像に付与する字幕文字の決定は、放送局4の番組関係者によって行われてもよい。例えば、字幕文字の候補が表示装置に表示され、放送局4の番組関係者が、表示された字幕文字の候補の中から何れかを選択することにより、字幕文字が決定される。なお、番組関係者は、字幕文字の候補の中に適切な文字が無いと判断した場合は、自身で字幕文字を修正又は入力してもよい。また、送信された字幕文字の候補が自動的に字幕文字として決定されてもよい。
字幕文字が決定された場合、決定された字幕文字が、映像に付与される(ステップS8)。そして、字幕が付与された映像が例えば地上波を通じて放送される。
ステップS1〜ステップS8は、番組の放送中、所定の時間間隔で繰り返し行われる。これにより、生放送の番組にリアルタイムで字幕が付与され、視聴者は、字幕付きの番組を視聴することができる。
例えば番組終了後、各字幕入力者に対して、入力文字が字幕文字として採用されたか否かが通知される(ステップS9)。例えば、字幕文字として採用された文字数や文節数が各字幕入力者に通知される。この通知は、例えば、Eメール等により行われてもよいし、ブロックチェーンNW3を介して行われてもよい。また、採用された入力文字に応じて、特典が付与される(ステップS10)。例えば、付与される特典は、情報処理システム1内においてのみ利用可能なトークン(独自の仮想通貨)である。具体的には、トークンを字幕入力者に送信するためのトランザクションがブロックチェーンNW3に送信される。このトランザクションには、特典の送信先である字幕入力者に対応するウォレットアドレスと、トークンの量と、特典の送信元である放送局4に対応するウォレットアドレスとが含まれる。なお、付与される特典は、法定通貨と交換可能な仮想通貨であってもよいし、電子マネーであってもよいし、情報処理システム1内において利用可能なポイントであってもよいし、情報処理システム1外において利用可能なポイントであってもよい。
ブロックチェーンNW3内のノードがマイニングに成功し、トランザクションがブロックチェーンNW3に組み込まれた場合、字幕入力者は、自身に固有のウォレットアドレスを用いてブロックチェーンNW3にアクセスすることで、付与されたトークンを参照したり、トークンの残高を確認したりすることができる。また、字幕入力者は、ブロックチェーンNW3にアクセスして、トークンをアイテムに交換することができる。
例えば、字幕入力者は、自身が有するトークンを放送局に送金する代わりに、放送局からアイテム(例えば、放送局が提供するコンテンツ)を入手する。例えば、字幕入力者からトークンが送信されたことを放送局が確認できた場合、放送局から字幕入力者に対して、コンテンツを視聴するためのデータ(データ本体あるいは暗号化されたコンテンツデータを復号化するための鍵)が送信される。これにより、字幕入力者は、トークンと引き換えにコンテンツを視聴することができる。
このトークンとアイテムとの交換は、ブロックチェーンNW3におけるスマートコントラクトによって自動的に行われてもよい。例えば、字幕入力者は、トークンとアイテムとの交換を行う場合、字幕入力者端末6を用いて、自身が有するトークンを放送局に送金するためのトランザクションをブロックチェーンNW3に送信する。所定の条件が満たされている場合に(例えば、送金されたトークンが指定されたアイテムの価格以上であり、かつ、指定されたアイテムが利用可能な場合に)、ブロックチェーンNW3は、送金されたトークンとアイテムとの交換が成立したと見なし、コンテンツデータをダウンロードするためのデータ(例えば、暗号化されたコンテンツデータを復号化するためのデータ)を字幕入力者端末6に送信する。
なお、本実施形態では、実際に番組が地上波で放送されるよりも前に、番組内の音声が字幕入力者に配信されることとした。番組内の音声に対して字幕文字が遅れて表示されることが許容されるのであれば、実際に番組が地上波で放送されるよりも前に音声が字幕入力者に配信される必要はない。この場合、字幕入力者は実際に地上波により放送された番組を視聴しながら文字入力を行う。字幕入力者が入力した入力文字に対して字幕判定が行われ、字幕が付与されて、字幕付きの映像が放送される。この場合、字幕入力者が文字を入力してから字幕文字が付与されるまでに時間がかかるため、音声に対して、字幕文字が遅れて表示される。
また、字幕入力者に対するトークンの付与のタイミングは番組終了後に限らない。例えば、字幕判定が行われる毎に、トークンが付与されてもよい。この場合、字幕文字として採用される毎に、トークンを付与するためのトランザクションがブロックチェーンNW3に送信(投函)される。
(字幕判定の説明)
次に、ステップS5で行われる字幕判定について説明する。図7は、字幕判定の一例を示す図である。図7において、横方向は時間軸を示す。番組出演者(例えば、アナウンサー)が、例えば「明日の東京の天気は晴れです」という言葉を発したとする。この場合、例えば、番組出演者が発した言葉は、「明日の」という文節P1と、「東京の」という文節P2と、「天気は」という文節P3と、「晴れ」という文節P4と、「です」という文節P5とに分けられる。
この番組出演者の発声に応じて、字幕入力者A〜Cは、自身の字幕入力者端末6を用いて、文字を入力する。字幕入力者によって入力された入力文字は、ブロックチェーンNW3に送信される。また、音声認識システム5は、この番組出演者の発声に応じて、音声を認識して音声を文字に変換する。音声認識システム5による音声認識の結果は、ブロックチェーンNW3に送信される。
例えば、字幕入力者Aは、出演者の発声「明日の」に対応する文字として「明日の」という文字P1Aを入力し、出演者の発声「東京の」に対応する文字として「東京の」という文字P2Aを入力し、出演者の発声「天気は」に対応する文字として「電気は」という文字P3Aを入力し、出演者の発声「晴れ」に対応する文字として「晴れ」という文字P4Aを入力したとする。その後、文字入力者Aは、出演者の発声「です」に対応する文字を受付時間内に入力しなかった(できなかった)とする。
また、字幕入力者Bは、出演者の発声「明日の」に対応する文字として「明日の」という文字P1Bを入力し、出演者の発声「東京の」に対応する文字を入力せず、その後、出演者の発声「天気は」に対応する文字として「天気は」という文字P3Bを入力し、出演者の発声「晴れ」に対応する文字として「あれ」という文字P4Bを入力し、さらにその後、出演者の発声「です」に対応する文字として「です」という文字P5Bを入力したとする。
また、字幕入力者Cは、出演者の発声「明日の」に対応する文字を入力せず、出演者の発声「東京の」に対応する文字として「東京の」という文字P2Cを入力し、出演者の発声「天気は」に対応する文字として「天気は」という文字P3Cを入力し、出演者の発声「晴れ」に対応する文字として「晴れ」という文字P4Cを入力し、さらにその後、出演者の発声「です」に対応する文字として「dす」という文字P5Cを入力したとする。
一方、音声認識システム5は、出演者の発声「明日の」に対応する文字として「明日の」という文字P1Sを認識し、出演者の発声「東京の」に対応する文字として「東京の」という文字P2Sを認識し、出演者の発声「天気は」に対応する文字として「天気は」という文字P3Sを認識し、出演者の発声「晴れ」に対応する文字として「晴れ」という文字P4Sを認識し、出演者の発声「です」に対応する文字として「です」という文字P5Sを認識したとする。
この場合、ブロックチェーンNW3は、複数の字幕入力者によって入力された入力文字について、最も共通点の多い文字を字幕文字の候補として採用する。例えば、複数の字幕入力者によって同じ文字(文字列)が入力された場合には、その入力された文字(文字列)が字幕文字の候補として採用される。複数の字幕入力者によって入力された文字が一致しているかどうかは、1文字毎に判定してもよいし、文節毎に判定してもよい。また、例えば、N名の字幕入力者によって文字Xが入力され、M名の字幕入力者によって別の文字Yが入力された場合、同じ文字を入力した字幕入力者の数が多い方を、字幕文字の第1の候補として採用してもよい。この場合、2番目に多い文字を字幕文字の第2の候補として採用してもよい。
例えば、図7に示すように、出演者の発声のうちの1番目の文節P1について、字幕入力者AおよびBが「明日の」という文字を入力しており、他の字幕入力者は文字を入力していない。このため、ブロックチェーンNW3は、1番目の文節P1について、「明日の」という文字を字幕文字の候補として採用する。このとき、ブロックチェーンNW3は、音声認識システム5による音声の認識結果を参照して、字幕文字の候補を採用する。この例では、音声認識システム5は、1番目の文節P1に対して「明日の」という文字を認識しており、字幕入力者AおよびBが入力した入力文字と一致する。このため、ブロックチェーンNW3は、1番目の文節P1に対する字幕文字の候補として、「明日の」という文字を採用する。仮に、音声認識システム5による認識結果と、複数の字幕入力者による入力文字とが一致しない場合(又は類似しない場合)、ブロックチェーンNW3は、複数の字幕入力者によって入力された入力文字を優先して字幕文字の候補を採用する。あるいは、この場合、ブロックチェーンNW3は、音声認識システム5による認識結果を優先して字幕文字の候補を採用してもよい。
なお、各字幕入力者が文字を入力するタイミングは、各字幕入力者によって異なるが、ブロックチェーンNW3のノードは、各字幕入力者がどのような順番で文字を入力したかを、各端末から送信されるトランザクションのシーケンス番号に基づいて判断することができる。また、各字幕入力者は、出演者の発声の全てについて文字を入力するとは限らない。例えば、字幕入力者Cは、出演者の発声の1番目の文節P1に対応する文字を入力せず、2番目の文節P2に対応する文字P2Cを最初に入力している。この場合、ブロックチェーンNW3は、他の字幕入力者によって入力された入力文字、および、音声認識システム5による認識結果に基づいて、字幕入力者Cが、出演者の発声の1番目の文節P1に対応する文字を入力しているか否かを判定することができる。例えば、ブロックチェーンNW3は、各字幕入力者によって入力された入力文字について、他の入力者の入力文字、及び/又は、音声認識システム5による認識結果との類似度を算出し、類似度が所定の閾値よりも低い場合は、その入力文字は、出演者の別の発声に対応する文字であると判定してもよい。
次に、出演者の発声の2番目の文節P2について、字幕入力者AおよびCが「東京の」という文字を入力しており、音声認識結果も同じであるため、2番目の文節P2について、「東京の」という文字が字幕文字の候補として採用される。また、3番目の文節P3について、字幕入力者BおよびCが「天気は」という文字を入力しており、字幕入力者Aは誤って「電気は」という文字を入力しており、音声認識結果は「天気は」である。この場合、2名の字幕入力者が同じ文字を入力しているため、他の1名の字幕入力者による入力文字は採用されず、2名の字幕入力者が入力した文字が字幕文字の候補として採用される。
同様に、4番目の文節P4について、字幕入力者AおよびCは「晴れ」という文字を入力しており、字幕入力者Bは誤って「あれ」という文字を入力している。この場合、字幕入力者AおよびCによって入力された入力文字が字幕文字の候補として採用される。また、5番目の文節P5について、字幕入力者Aは文字を入力せず、字幕入力者Bは「です」という文字を入力しており、字幕入力者Cは誤って「dす」という文字を入力している。この場合、音声認識システム5の音声認識結果と、各字幕入力者によって入力された入力文字とが比較され、字幕文字の候補が決定される。この例では、字幕入力者Bの入力文字と音声認識システム5の音声認識結果とが一致するため、字幕入力者Bによって入力された入力文字が字幕文字の候補として採用される。
なお、上記字幕判定は、放送局4(内の字幕付与システム)又は音声認識システム5において行われてもよい。図8は、音声認識システムにおいて字幕判定が行われる場合の情報処理システム1の構成を示す図である。
図8に示すように、放送局4内の字幕付与システムと、音声認識システムとは同一主体又は別主体により管理され、同じ又は異なる場所に配置される。上記と同様に、放送局から音声認識システムにマイクで集音された音声が配信されるとともに、各字幕入力者に対して当該音声が配信される(図8の(1))。音声認識システムは、配信された音声に基づいて音声認識を行う(図8の(2))。また、各字幕入力者は、配信された音声に基づいて文字を入力し、当該入力文字がインターネットを介して音声認識システムに送信される(図8の(3))。
音声認識システムは、受信した字幕入力者からの入力文字と、音声認識結果とに基づいて、上述した字幕判定を行い(図8の(4))、その字幕判定の結果としての字幕文字の候補を放送局に送信する(図8の(5))。次に、放送局において字幕文字が決定され、映像に字幕文字が付与される(図8の(6))。そして、字幕付きの映像が放送される。また、番組終了後(又は、字幕判定が行われる毎に)、字幕文字の採否結果が通知される(図8の(7))。また、番組終了後(又は、字幕判定が行われる毎に)、字幕文字として採用された文字を入力した字幕入力者に対してトークンが付与される(図8の(8))。具体的には、放送局から字幕入力者へトークンを送信するためのトランザクションが、ブロックチェーンNWに送信される。なお、このトランザクションの発行は、放送局内の番組関係者が端末を用いて手動で行ってもよいし、番組終了後(又は、字幕判定が行われる毎に)、放送局内のシステムによって自動で行われてもよい。ブロックチェーンNWでは、送信されたトランザクションがブロックに取り込まれ、字幕入力者に対して付与されたトークンがブロックチェーンNWに書き込まれる。字幕入力者は、ブロックチェーンNWにアクセスすることで、付与されたトークンを確認したり、トークンを他のアイテムに交換したりする。
(字幕入力者端末の処理)
次に、字幕入力者端末6において行われる処理の詳細について説明する。図9は、字幕入力者端末6において行われる処理の一例を示すフローチャートである。字幕入力者端末6(以下、「端末6」と表記する)のプロセッサが所定のプログラムを実行することにより、図9に示す処理が行われる。
図9に示すように、端末6は、例えばインターネットを介して、放送局から配信された音声データを取得する(ステップS100)。次に、端末6は、取得した音声データに基づいて音声を再生する(ステップS101)。
続いて、端末6は、字幕入力者によって文字が入力されたか否かを判定する(ステップS102)。文字が入力された場合(ステップS102:YES)、端末6は、入力文字をメモリに記憶する(ステップS103)。なお、字幕入力者が文字を入力する毎に、端末6の表示装置63において、入力された文字が表示される。なお、表示装置63には、利用頻度の高い語を表すアイコンが表示され、字幕入力者が当該アイコンを選択すると当該アイコンに対応する文字が入力文字として入力されてもよい。例えば、アイコンとして、一人称、二人称を表す語、天候を表す語、あいさつ文、擬音語(例えば、天候や街の音を表す語)等を表すアイコンが表示されてもよい。
ステップS103の処理を実行した場合、又は、ステップS102でNOと判定した場合、端末6は、入力文字をブロックチェーンNW3に送信するか否かを判定する(ステップS104)。例えば、端末6は、表示装置63に表示された送信ボタンが字幕入力者によって押された場合、あるいは入力装置62のリターンキーが押下された場合、入力文字をブロックチェーンNW3に送信すると判定する。また、端末6は、音声データを受信してから所定時間が経過した場合に、入力文字をブロックチェーンNW3に送信すると判定してもよい。
入力文字を送信すると判定した場合(ステップS104:YES)、端末6は、入力文字をブロックチェーンNW3に送信する(ステップS105)。具体的には、端末6は、入力文字を含むトランザクションをブロックチェーンNW3に送信する。例えば、端末6は、字幕入力者が有する独自のトークンを放送局4に送信するためのトランザクションに入力文字を含めて送信する。
ステップS105の処理を実行した場合、又は、ステップS104でNOと判定した場合、端末6は、字幕入力を終了するか否かを判定する(ステップS106)。例えば、字幕入力者によって字幕入力を終了する指示が行われた場合、端末6は、ステップS106においてYESと判定する。あるいは、放送局4から番組の終了を示す情報を受信した場合、端末6は、ステップS106においてYESと判定してもよい。
ステップS106でNOと判定した場合、端末6は、再びステップS100の処理を実行する。
ステップS106でYESと判定した場合、端末6は、字幕入力者からの操作に基づいて、自身が有する特典(トークン)を確認するか否かを判定する(ステップS107)。例えば、トークンを確認するための操作が行われた場合(ステップS107:YES)、端末6は、付与されたトークンを参照するためにブロックチェーンNW3にアクセスする(ステップS108)。これにより、端末6において、字幕入力者は、自身が保有するトークンの残高を確認することができる。以上で図9の説明を終了する。
(音声認識システムの処理)
次に、音声認識システム5において行われる処理の詳細について説明する。図10は、音声認識システム5において行われる処理の一例を示すフローチャートである。音声認識システム5には、音声認識を行うためのプログラムが記憶されている。音声認識システム5のプロセッサが当該プログラムを実行することにより、図10に示す処理が行われる。
図10に示すように、音声認識システム5は、放送局から配信された音声データを取得する(ステップS200)。次に、音声認識システム5は、取得した音声データに基づいて音声認識処理を行い、音声認識処理の結果としての文字を出力する(ステップS201)。
続いて、音声認識システム5は、音声認識結果をブロックチェーンNW3に送信するか否かを判定する(ステップS202)。音声認識結果を送信すると判定した場合(ステップS202:YES)、音声認識システム5は、音声認識結果をブロックチェーンNW3に送信する(ステップS203)。例えば、音声認識システム5は、音声認識処理の結果としての文字を出力する毎に音声認識結果を送信してもよいし、文節毎に音声認識結果を送信してもよい。あるいは、音声認識システム5は、所定の時間間隔で音声認識結果を送信してもよい。
ステップS203の処理を実行した場合、又は、ステップS202でNOと判定した場合、音声認識システム5は、ステップS200の処理を再び実行する。以上で図10の説明を終了する。
(字幕判定・特典付与処理の詳細)
次に、上記字幕判定処理および特典付与のための処理の詳細について説明する。図11は、情報処理システム1において行われる字幕判定処理および特典付与のための処理の一例を示すフローチャートである。なお、字幕判定処理および特典付与のための処理は、ブロックチェーンNW3内の各ノードが行うものとして説明する。各ノードには、上記字幕判定処理および特典付与のための処理を行うためのプログラム(スマートコントラクト)が予め配置されているものとする。また、ノードは、図11に示す処理を所定の時間間隔で繰り返し実行するものとする。
図11に示すように、ブロックチェーンNW3の各ノード(以下、単に「ノード」という)は、字幕入力を受け付けるか否かを判定する(ステップS300)。例えば、放送局4では、番組の放送を開始する場合、ブロックチェーンNW3に対してこれからその番組用に字幕入力を受け付けるように指示する。ノードは、その指示に応じて、番組の開始から終了までの間、字幕入力者からの字幕入力を受け付ける。
ステップS300でNOと判定した場合、ノードは、次にステップS306の処理を行う。
ステップS300でYESと判定した場合、ノードは、音声認識システム5によって認識された音声認識結果を取得する(ステップS301)。また、ノードは、字幕入力者端末6において字幕入力者によって入力された入力文字を取得する(ステップS302)。
次に、ノードは、字幕判定処理を行う(ステップS303)。具体的には、ノードは、音声認識システム5からの音声認識結果と、複数の字幕入力者端末6からの入力文字とに基づいて、上述した方法により字幕文字の候補を判定する。
続いて、ノードは、ステップS303の字幕判定処理の結果を放送局4の字幕付与システムに送信する(ステップS304)。具体的には、放送局4の字幕付与システムは所定の時間間隔でブロックチェーンNW3にアクセスして、字幕判定結果を取得する。そして、番組関係者は、当該字幕付与システムを用いて、字幕判定処理で判定された字幕文字の候補の中から何れか1つを字幕文字として決定する。これにより、映像に付与される字幕文字が決定される。字幕文字が決定されると、決定された字幕文字が字幕付与システムによって映像に付加され、字幕付きの映像として放送される。なお、この字幕文字の決定は、人の入力を介さずにブロックチェーンNW3のノードにおいて自動で行われてもよいし、放送局4内の字幕付与システムにおいて自動で行われてもよい。
放送局4内で字幕文字が決定された場合、ステップS303で判定された字幕文字の候補の中から何れが決定されたかを示す情報が放送局4の字幕付与システムからブロックチェーンNW3に送信される。当該情報を受信したことに応じて、ノードは、決定された字幕文字をブロックチェーンNW3内に記録する(ステップS305)。また、ノードは、字幕入力者毎に、入力した文字の文字数、字幕文字として採用された文字数をブロックチェーンNW3に記録する。なお、決定された字幕文字が複数の字幕入力者によって入力された場合、複数の字幕入力者に対して、字幕文字として採用された文字数が加算される。
図12は、字幕文字の決定に応じてブロックチェーンNW3に記録される情報の一例を示す図である。例えば、字幕入力者A、B、Cが現在の番組の字幕入力に参加している場合、字幕入力者Aが入力した文字数、及び、その入力文字数のうち字幕文字として採用された文字数が記録される。また、字幕入力者B及びCについても、入力文字数および採用文字数が記録される。
このように、各字幕入力者が入力した文字のうち字幕文字として採用された文字の文字数が、ブロックチェーンNW3に記録される。これにより、透明性、公正さを担保することができる。
次に、ノードは、字幕入力者に対して特典を付与するか否かを判定する(ステップS306)。特典を付与すると判定した場合(ステップS306:YES)、ノードは、字幕入力者に対して特典を付与する(ステップS307)。付与される特典の量は、字幕入力者が入力した文字のうち、字幕文字として決定された文字数に応じて決定される。
例えば、放送局4の字幕付与システムから、番組終了後に字幕入力者に対して特典を付与するためのトランザクションがブロックチェーンNW3に送信される。このトランザクションには、特典の送信元(放送局)に関する情報、特典の送信先(字幕入力者)に関する情報、及び、送信する特典の量に関する情報が含まれる。例えば、放送局4から字幕入力者Aに対して、その番組内で採用された採用文字数「100」に応じて、「100」のトークンが送信されてもよい。このトランザクションに応じて、ノードは、トランザクションをブロックチェーンNW3に取り込むためのマイニングを行う。ノードによるマイニングが成功すると、ブロックチェーンNW3内にトランザクションが取り込まれる。これにより放送局4から字幕入力者に対する特典の送信が完了する。すなわち、放送局4が有する特典の量が減少するとともに、字幕入力者が有する特典の量が増加する。
なお、番組関係者による入力に応じて放送局4の字幕付与システムがブロックチェーンNW3にトランザクションを送信することにより、字幕入力者に対する特典の付与が行われてもよい。また、放送局4の字幕付与システムが自動でブロックチェーンNW3にトランザクションを送信することにより、字幕入力者に対する特典の付与が行われてもよい。
また、ブロックチェーンNW3において、自動的に字幕入力者に対する特典の付与が行われてもよい。例えば、番組の開始が指示されてから番組終了時間が経過した場合、あるいは、放送局4からの番組終了の指示を受信した場合、ブロックチェーンNW3のノードは、ブロックチェーンNW3内に記録した字幕入力者毎の採用文字数に応じて、各字幕入力者に対して、自動的に特典を付与してもよい。以上で、図11に示す処理の説明を終了する。
なお、図11に示す処理の一部又は全部は、情報処理システム1内の何れの装置において実行されてもよい。
例えば、ブロックチェーンNW3外の音声認識システム5が、字幕入力者からの入力文字を取得し、取得した入力文字と、音声認識結果とに基づいてステップS303の字幕判定処理を行い、字幕文字を決定してもよい。また、放送局4内の端末が、字幕入力者からの入力文字を取得し、取得した入力文字と、音声認識結果とに基づいて字幕判定処理を行い、字幕文字を決定してもよい。この場合、音声認識システム5又は放送局4内の情報処理装置において決定された字幕文字(すなわち、実際に字幕として付与される文字)は、ブロックチェーンNW3に送信されて記録されてもよい。
また、他の実施形態では、音声認識システム5はなくてもよい。すなわち、複数の字幕入力者が入力した入力文字に基づいて字幕判定が行われ、字幕文字が決定されてもよい。
また、上記実施形態では、文節毎に字幕判定を行う例について説明したが、他の実施形態では、複数の字幕入力者が入力した入力文字について、1文字ずつ字幕判定が行われてもよい。また、上記実施形態では、複数の字幕入力者によって入力された入力文字について、最も共通点の多い文字を字幕文字の候補として決定することとしたが、他の実施形態では、字幕判定はこの方法に限らない。例えば、複数の字幕入力者によって入力された入力文字の類似度を算出し、類似度に基づいて字幕文字の候補を決定してもよい。
また、上記実施形態では、複数の字幕入力者によって入力された入力文字がそのまま字幕文字の候補として決定されたが、他の実施形態では、入力文字について補正を行い、字幕文字として決定してもよい。例えば、複数の字幕入力者によって入力された入力文字について、予め記憶された辞書を参照し、その結果に応じて入力文字を補正し、字幕文字(又は字幕文字の候補)を決定してもよい。例えば、番組の内容に応じた専門用語を記憶した辞書を参照してもよい。また、複数の字幕入力者によって入力された入力文字について、文脈から判断して補正を行ってもよい。このような入力文字の補正は、予め大量のデータをコンピュータに機械学習(例えばディープラーニング)させて得られた学習済みモデルを用いて行われてもよい。
また、上記実施形態では、決定された字幕文字や図12に示した情報はブロックチェーンNW3に記録されるものとしたが、これらの情報はブロックチェーンNW3外の他のシステムにおいて記録されてもよい。
また、上記実施形態では、生放送の番組に字幕を付与する場合を想定したが、生放送の番組に限らず、録画放送の番組に字幕を付与する場合でも上記情報処理システム1が適用されてもよい。また、番組に限らず、CMに対して上述した方法で字幕を付与してもよい。
また、上記実施形態では、複数の字幕入力者端末がインターネットに接続され、インターネットを介して入力文字を送信することとした。他の実施形態では、複数の字幕入力者端末と、字幕判定のためのシステムとは、インターネットに限らず、WAN又はLANを介して接続されてもよい。
1 情報処理システム
3 ブロックチェーンNW
4 放送局
5 音声認識システム
6 字幕入力者端末

Claims (11)

  1. 複数の入力者によって入力された入力文字をそれぞれ取得する取得手段と、
    前記複数の入力者によって入力された入力文字のうち、何れの入力文字を字幕文字として採用するかを決定する字幕文字決定手段と、
    前記字幕文字として採用された入力文字を入力した入力者に対して、特典を付与する特典付与手段と、を備える、情報処理システム。
  2. 前記複数の入力者に対して、マイクで集音された音声に基づく音声情報をリアルタイムで送信する送信手段を更に備え、
    前記取得手段は、前記入力者が前記音声情報に応じてリアルタイムで入力した入力文字を取得し、
    前記字幕文字決定手段は、前記複数の入力者が前記音声情報に基づいてリアルタイムで入力した入力文字のうち、何れの入力文字を字幕文字として採用するかを決定する、請求項1に記載の情報処理システム。
  3. 前記取得手段は、インターネットで接続された複数の入力者端末から、放送のための音声に応じて入力された前記入力文字を取得し、
    前記字幕文字決定手段は、前記音声に対応する放送のための映像に付与する前記字幕文字を決定する、請求項1又は2に記載の情報処理システム。
  4. 前記字幕文字決定手段は、
    前記複数の入力者によって入力された入力文字のうち、何れかの入力文字を字幕文字の候補として判定する字幕判定手段と、
    前記字幕判定手段によって判定された字幕文字の候補のうち何れかを前記字幕文字として決定する決定手段と、を含む、請求項1から3の何れかに記載の情報処理システム。
  5. 前記字幕判定手段によって判定された字幕文字の候補を表示手段に表示させる候補表示制御手段を更に備え、
    前記決定手段は、決定者の入力に基づいて、前記候補表示制御手段によって表示された前記字幕文字の候補のうち何れかを前記字幕文字として決定する、請求項4に記載の情報処理システム。
  6. 音声認識システムが前記音声情報に基づいて音声認識を行った結果を取得する音声認識結果取得手段を更に備え、
    前記字幕文字決定手段は、前記音声認識結果取得手段によって取得された前記音声認識の結果と、前記複数の入力者によって入力された入力文字とに基づいて、前記字幕文字を決定する、請求項1から5の何れかに記載の情報処理システム。
  7. 前記字幕文字決定手段は、前記複数の入力者によって入力された入力文字のうち、共通する入力文字を前記字幕文字として決定する、請求項1から6の何れかに記載の情報処理システム。
  8. 前記特典付与手段は、前記特典として、仮想通貨、電子マネー、ポイント、及び法定通貨のうちの何れかを付与する、請求項1から7の何れかに記載の情報処理システム。
  9. 前記特典付与手段は、分散型台帳システムを介して、前記特典を付与する、請求項1から8の何れかに記載の情報処理システム。
  10. 情報処理システムにおいて行われる情報処理方法であって、
    複数の入力者によって入力された入力文字をそれぞれ取得する取得ステップと、
    前記複数の入力者によって入力された入力文字のうち、何れの入力文字を字幕文字として採用するかを決定する字幕文字決定ステップと、
    前記字幕文字として採用された入力文字を入力した入力者に対して、特典を付与する特典付与ステップと、を含む、情報処理方法。
  11. 情報処理装置のコンピュータにおいて行われる情報処理プログラムであって、前記コンピュータを、
    複数の入力者によって入力された入力文字をそれぞれ取得する取得手段と、
    前記複数の入力者によって入力された入力文字のうち、何れの入力文字を字幕文字として採用するかを決定する字幕文字決定手段と、
    前記字幕文字として採用された入力文字を入力した入力者に対して、特典を付与する特典付与手段として機能させる、情報処理プログラム。
JP2018177974A 2018-09-21 2018-09-21 情報処理システム、情報処理方法、及び、情報処理プログラム Active JP6906801B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018177974A JP6906801B2 (ja) 2018-09-21 2018-09-21 情報処理システム、情報処理方法、及び、情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018177974A JP6906801B2 (ja) 2018-09-21 2018-09-21 情報処理システム、情報処理方法、及び、情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020053715A true JP2020053715A (ja) 2020-04-02
JP6906801B2 JP6906801B2 (ja) 2021-07-21

Family

ID=69994282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177974A Active JP6906801B2 (ja) 2018-09-21 2018-09-21 情報処理システム、情報処理方法、及び、情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6906801B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150660A (zh) * 2022-06-09 2022-10-04 深圳市大头兄弟科技有限公司 一种基于字幕的视频编辑方法和相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188843A (ja) * 1999-12-27 2001-07-10 Hougi Koyama ネーミング等の採択支援用流通仲介システム
JP2002118819A (ja) * 2000-10-06 2002-04-19 Asahi Moji Television:Kk 字幕作成方法及び字幕作成システム
JP2004336668A (ja) * 2003-05-12 2004-11-25 National Institute Of Information & Communication Technology 字幕作成用管理サーバおよび分散型字幕番組制作システム
JP2006099418A (ja) * 2004-09-29 2006-04-13 Chugoku Electric Power Co Inc:The 情報処理装置、情報処理装置の制御方法、プログラム
JP2006324779A (ja) * 2005-05-17 2006-11-30 Sony Corp 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法
JP2007202094A (ja) * 2006-01-27 2007-08-09 Tbs Service Inc セミ・リアルタイム字幕制作送出システム
JP2007324872A (ja) * 2006-05-31 2007-12-13 Tv Asahi Data Vision Corp 字幕付き映像信号の遅延制御装置及び遅延制御プログラム
JP2010157961A (ja) * 2009-01-05 2010-07-15 Kadokawa Marketing Co Ltd 字幕作成システム及びプログラム
JP2015127894A (ja) * 2013-12-27 2015-07-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 支援装置、情報処理方法、及び、プログラム
JP2016151775A (ja) * 2015-02-16 2016-08-22 株式会社 ディー・エヌ・エー 広告用動画の配信を管理するシステム、方法、及びプログラム
JP2017157926A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188843A (ja) * 1999-12-27 2001-07-10 Hougi Koyama ネーミング等の採択支援用流通仲介システム
JP2002118819A (ja) * 2000-10-06 2002-04-19 Asahi Moji Television:Kk 字幕作成方法及び字幕作成システム
JP2004336668A (ja) * 2003-05-12 2004-11-25 National Institute Of Information & Communication Technology 字幕作成用管理サーバおよび分散型字幕番組制作システム
JP2006099418A (ja) * 2004-09-29 2006-04-13 Chugoku Electric Power Co Inc:The 情報処理装置、情報処理装置の制御方法、プログラム
JP2006324779A (ja) * 2005-05-17 2006-11-30 Sony Corp 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法
JP2007202094A (ja) * 2006-01-27 2007-08-09 Tbs Service Inc セミ・リアルタイム字幕制作送出システム
JP2007324872A (ja) * 2006-05-31 2007-12-13 Tv Asahi Data Vision Corp 字幕付き映像信号の遅延制御装置及び遅延制御プログラム
JP2010157961A (ja) * 2009-01-05 2010-07-15 Kadokawa Marketing Co Ltd 字幕作成システム及びプログラム
JP2015127894A (ja) * 2013-12-27 2015-07-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 支援装置、情報処理方法、及び、プログラム
JP2016151775A (ja) * 2015-02-16 2016-08-22 株式会社 ディー・エヌ・エー 広告用動画の配信を管理するシステム、方法、及びプログラム
JP2017157926A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150660A (zh) * 2022-06-09 2022-10-04 深圳市大头兄弟科技有限公司 一种基于字幕的视频编辑方法和相关设备
CN115150660B (zh) * 2022-06-09 2024-05-10 深圳市闪剪智能科技有限公司 一种基于字幕的视频编辑方法和相关设备

Also Published As

Publication number Publication date
JP6906801B2 (ja) 2021-07-21

Similar Documents

Publication Publication Date Title
JP5094804B2 (ja) 会議中継装置及びコンピュータプログラム
US9047868B1 (en) Language model data collection
US20120330643A1 (en) System and method for translation
CN104333783B (zh) 一种制订任务的点播方法及系统、相关设备
CN110650366B (zh) 互动配音方法、装置、电子设备及可读存储介质
CN112019874B (zh) 一种连麦直播方法及相关设备
WO2017166651A1 (zh) 语音识别模型训练方法、说话人类型识别方法及装置
JP2011053629A (ja) 会議中継装置及びコンピュータプログラム
JP2005341015A (ja) 議事録作成支援機能を有するテレビ会議システム
CN112653902A (zh) 说话人识别方法、装置及电子设备
TW200421850A (en) Supplementary apparatus for telephone translation and a system for telephone translation using the same
JP2008005175A (ja) 情報配信装置、情報配信方法およびプログラム
JP2016006607A (ja) 対話型通信システム、端末装置およびプログラム
JP2004235895A (ja) 通信支援方法、通信支援装置、通信支援プログラム及び通信支援プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4250938B2 (ja) コミュニケーション支援方法およびコミュニケーションサーバ
JP6906801B2 (ja) 情報処理システム、情報処理方法、及び、情報処理プログラム
JP5020838B2 (ja) 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法
KR102157790B1 (ko) 캐릭터가 포함된 생방송 퀴즈쇼 플랫폼 운영 방법, 시스템 및 컴퓨터 프로그램
JP4380144B2 (ja) 音声対話用情報処理装置
JP6554517B2 (ja) サウンドを利用したソーシャルネットワークサービス提供装置及びその方法
CN111193939B (zh) 在线视频互助方法、装置、电子设备及存储介质
JP2011086123A (ja) 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP7266289B2 (ja) 情報提供装置、情報提供システム、情報提供方法及び情報提供プログラム
JP7149193B2 (ja) カラオケシステム
JP2021180427A (ja) グループ通信システム、グループ通信プログラム及びグループ通信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210407

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210531

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210623

R150 Certificate of patent or registration of utility model

Ref document number: 6906801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250