JP2019212308A - 動画サービス提供方法およびこれを用いるサービスサーバ - Google Patents

Abstract

【課題】動画を複数の単位区間に分離し、各単位区間に対するキーワードを自動で生成する動画サービス提供方法、コンピュータプログラム及びサービスサーバを提供する。【解決手段】動画サービス提供方法におけるサービスサーバ１００は、動画内に含まれる音声の特性変化を基準に、動画を複数の単位区間に分離する単位区間分離部１１０と、単位区間に含まれる音声を認識して、音声に対応するスクリプト文字列を生成するスクリプト文字列生成部１２０と、単位区間に含まれる字幕イメージを認識して、字幕イメージに対応する字幕文字列を生成する字幕文字列生成部１３０と、スクリプト文字列および字幕文字列に自然言語処理を適用して、単位区間に対応するキーワードを生成するキーワード生成部１４０と、を備える。【選択図】図２

Description

本出願は、動画サービス提供方法およびこれを用いるサービスサーバに関し、動画を意味に基づく単位区間に分離して、各単位区間に対するキーワードを自動で生成できる動画サービス提供方法およびこれを用いるサービスサーバに関する。

最近、インターネット技術の発達により、インターネットを介して動画を提供する動画サービスなどが広く活用されている。ユーザがインターネットを介して動画を視聴しようとする場合、インターネット上で提供される数多くの動画の中から所望の動画を検索する必要があり、効果的な動画検索のための様々な動画検索方法などが提示されてきた。

しかし、最近では、ユーザが動画全体でなく動画内の一部分に対して関心を持ち、その部分だけを視聴しようとする場合が増えている。例えば、サッカー中継を視聴しようとするユーザは、サッカー中継プログラムの全体を視聴するよりは特定の選手がゴールを入れるシーンだけを視聴しようとすることがある。しかし、一般的な動画検索方法は、サッカー中継全体をその検索の対象にするため、ユーザが所望する動画の一部のシーンなどを検索するのが難しかった。

韓国登録特許第１０−０７２１４０９号公報

本出願は、動画を意味に基づく単位区間に分離して、各単位区間に対するキーワードを自動で生成できる動画サービス提供方法およびこれを用いるサービスサーバを提供する。

本出願は、動画内の音声の特性変化に基づいて動画を複数の単位区間に分離できる動画サービス提供方法およびこれを用いるサービスサーバを提供する。

本出願は、動画を分離した各々の単位区間に音声認識および字幕認識を適用して、単位区間の内容に応じたキーワードを自動で生成できる動画サービス提供方法およびこれを用いるサービスサーバを提供する。

本出願は、機械学習を用いた自然言語処理を適用して、動画の各単位区間の内容に応じたキーワードを自動で生成できる動画サービス提供方法およびこれを用いるサービスサーバを提供する。

本発明の一実施形態による動画サービス提供方法は、サービスサーバが端末装置に動画を提供する動画サービス提供方法に関し、動画内に含まれる音声の特性変化を基準に、前記動画を複数の単位区間に分離する単位区間分離ステップ、前記単位区間に含まれる音声を認識して、前記音声に対応するスクリプト文字列を生成するスクリプト文字列生成ステップ、前記単位区間に含まれる字幕イメージを認識して、前記字幕イメージに対応する字幕文字列を生成する字幕文字列生成ステップ、および前記スクリプト文字列および字幕文字列に自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）を適用して、前記単位区間に対応するキーワードを生成するキーワード生成ステップを含む。

本発明の一実施形態によるサービスサーバは、動画内に含まれる音声の特性変化を基準に、前記動画を複数の単位区間に分離する単位区間分離部、前記単位区間に含まれる音声を認識して、前記音声に対応するスクリプト文字列を生成するスクリプト文字列生成部、前記単位区間に含まれる字幕イメージを認識して、前記字幕イメージに対応する字幕文字列を生成する字幕文字列生成部、および前記スクリプト文字列および字幕文字列に自然言語処理を適用して、前記単位区間に対応するキーワードを生成するキーワード生成部を含む。

本発明の他の実施形態によるサービスサーバは、プロセッサ、および前記プロセッサに結合されたメモリを含むものであって、前記メモリは前記プロセッサにより実行されるように構成される１つ以上のモジュールを含み、前記１つ以上のモジュールは、動画内に含まれる音声の特性変化を基準に、前記動画を複数の単位区間に分離し、前記単位区間に含まれる音声を認識して、前記音声に対応するスクリプト文字列を生成し、前記単位区間に含まれる字幕イメージを認識して、前記字幕イメージに対応する字幕文字列を生成し、前記スクリプト文字列および字幕文字列に自然言語処理を適用して、前記単位区間に対応するキーワードを生成する、命令語を含む。

また、課題を解決するための手段の欄に記載される事項は、本発明の特徴を全て列挙したものではない。本発明の様々な特徴とそれに応じた長所および効果は下記の具体的な実施形態を参照してより詳細に理解できるものである。

本発明の一実施形態による動画サービス提供方法およびこれを用いるサービスサーバによれば、動画内の音声の特性変化に基づいて動画を分離するため、文脈や意味の損傷なしに動画を分離することができる。

本発明の一実施形態による動画サービス提供方法およびこれを用いるサービスサーバによれば、音声認識および字幕認識を適用して単位区間内に含まれる内容を抽出し、その後、それを用いて各々の単位区間に対するキーワードを設定するため、単位区間の内容に応じたキーワードを設定することができる。

本発明の一実施形態による動画サービス提供方法およびこれを用いるサービスサーバによれば、ユーザは、内容に基づいて動画に含まれる特定のシーンを検索することができ、特定の主題や内容に基づいて要約動画を生成することができる。

また、本発明の実施形態による動画サービス提供方法およびこれを用いるサービスサーバが達成できる効果は上記で言及したものに制限されず、言及されていない他の効果は下記の記載によって本発明が属する技術分野で通常の知識を有する者に明らかに理解できるものである。

本発明の一実施形態による動画サービス提供システムを示す概略図である。 本発明の一実施形態によるサービスサーバを示すブロック図である。 本発明の一実施形態によるサービスサーバを示すブロック図である。 本発明の一実施形態による動画の単位区間の分離を示す概略図である。 本発明の一実施形態によるスクリプト文字列および字幕文字列の生成を示す概略図である。 本発明の一実施形態による字幕イメージの検出を示す概略図である。 本発明の他の実施形態による動画サービス提供方法を示すフローチャートである。

以下では添付図面を参照して本明細書に開示された実施形態について詳しく説明するが、図面に関係なく同一または類似した構成要素には同一の参照番号を付し、それに対する重複する説明は省略することにする。以下の説明で用いられる構成要素に対する接尾辞「モジュール」および「部」は、明細書の作成の容易さだけを考慮して付与または混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。すなわち、本発明で用いられる「部」という用語はソフトウェア、ＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「部」はある役割をする。ところが、「部」はソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングできる格納媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。よって、一例として「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と「部」の中から提供される機能は、さらに小さい数の構成要素および「部」で結合されるか、または追加の構成要素と「部」にさらに分離されてもよい。

また、本明細書に開示された実施形態について説明するにおいて、関連の公知技術に関する具体的な説明が本明細書に開示された実施形態の要旨をあいまいにする恐れがあると判断される場合には、その詳細な説明は省略する。また、添付された図面は本明細書に開示された実施形態を容易に理解できるようにするためのものに過ぎず、添付された図面によって本明細書に開示された技術的思想が制限されるものではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物乃至代替物を含むものとして理解しなければならない。

図１は、本発明の一実施形態による動画サービス提供システムを示す概略図である。

図１を参照すれば、本発明の一実施形態による動画サービス提供システムは、端末装置１およびサービスサーバ１００を含むことができる。

以下では、図１を参照して、本発明の一実施形態による動画サービス提供システムについて説明する。

端末装置１は、ネットワークを介してサービスサーバ１００と通信を行うことができ、サービスサーバ１００が提供する動画サービスの提供を受けることができる。端末装置１は、動画などのコンテンツをユーザに視覚的または聴覚的に提供するためのディスプレイ部、スピーカなどを含むことができ、ユーザの入力を受ける入力部、少なくとも一つのプログラムが格納されたメモリおよびプロセッサを含むことができる。

端末装置１はスマートフォン、タブレットＰＣなどの移動端末またはデスクトップなどの固定型装置であってもよく、実施形態によっては、携帯電話、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、ラップトップ型コンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔ ｗａｔｃｈ）、スマートメガネ（ｓｍａｒｔ ｇｌａｓｓ）、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））などが端末装置１に該当することができる。

端末装置１とサービスサーバ１００を連結するネットワークは、有線ネットワークおよび無線ネットワークを含むことができ、具体的には、ローカル・エリア・ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ：Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのような様々なネットワークを含むことができる。また、ネットワークは、公知のワールド・ワイド・ウェブ（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）を含むこともできる。但し、本発明に係るネットワークは、上記で列挙されたネットワークに限定されず、公知の無線データネットワーク、公知の電話ネットワーク、公知の有線または無線テレビネットワークなどを含むことができる。

サービスサーバ１００は、ネットワークを介して端末装置１に動画サービスを提供することができる。サービスサーバ１００には端末装置１に提供可能な複数の動画コンテンツが格納されており、端末装置１の要請に応じて端末装置１に動画を提供することができる。例えば、サービスサーバ１００は、動画などのコンテンツをリアルタイムでストリーミング（ｓｔｒｅａｍｉｎｇ）するか、またはそのようなコンテンツをダウンロード（ｄｏｗｎｌｏａｄ）するように提供することができる。

サービスサーバ１００は、動画サービスを提供するとき、動画に対するメタ情報をさらに含めて提供することができる。すなわち、動画そのものに対するメタ情報を設定して、動画の登場人物、ストーリー、ジャンルなどのような追加的な情報をユーザに提供することができ、それを活用してユーザに動画検索や推薦サービスなどを提供することもできる。

ここで、本発明の一実施形態によるサービスサーバ１００は、動画そのものに対するメタ情報を設定することの他に、動画内に含まれる内容に対するメタ情報を設定することもできる。すなわち、サービスサーバ１００は、動画を意味に基づく単位区間に分離した後、各々の単位区間に対するキーワードを設定することによって、全体動画のうちユーザが所望する区間だけを探索するように提供することができる。また、同一のキーワードを有する単位区間を取り集めて全体動画を要約した要約動画をユーザに提供することもできる。

図２は、本発明の一実施形態によるサービスサーバを示すブロック図である。

図２を参照すれば、本発明の一実施形態によるサービスサーバ１００は、単位区間分離部１１０、スクリプト文字列生成部１２０、字幕文字列生成部１３０、キーワード生成部１４０、検索部１５０および要約動画生成部１６０を含むことができる。

以下では、図２を参照して、本発明の一実施形態によるサービスサーバ１００について説明する。

単位区間分離部１１０は、動画を複数の単位区間に分離することができる。すなわち、単位区間分離部１１０は、対象となる動画をロードすることができ、ロードした動画内に含まれる音声の特性変化を基準に、動画を複数の単位区間に分離することができる。ここで、音声の特性変化は音量または音質の変化であってもよく、実施形態によっては、音の高低、音色などの変化も含むことができる。

具体的には、単位区間分離部１１０は、音声の特性変化を確認するために、動画内の音量を追跡することができる。例えば、音量は、動画内の一定区間の間には特定の範囲内に維持され、急に特定の範囲を脱して急激に高くなったり低くなったりする。このとき、単位区間分離部１１０は、動画内の音量を追跡して、音量の変化が発生した動画内の地点を検知することができる。すなわち、単位区間分離部１１０は、音量の変化量を用いて音量の急激な上昇地点や下降地点を検知することができる。

ここで、音量の変化量は、動画内の一定区間の間の音量の平均値や、該区間内に現れる音量の最大値または最小値を基準に計算することができる。すなわち、単位区間分離部１１０は、測定した音量を平均値などの基準と比較してどのくらい変化したかを計算することができ、音量の変化量が一定の閾値（ｔｈｒｅｓｈｏｌｄ）以上に増加した地点を上昇地点、減少した地点を下降地点に設定することができる。このとき、上昇地点、下降地点を設定するための閾値は各々互いに異なるように設定されてもよく、閾値は各々の動画ごとに互いに異なるように設定されてもよい。

単位区間分離部１１０は、音量の上昇地点または下降地点を基準に動画を複数の単位区間に分離することができ、それにより、野球で打者がホームランを打ったときの喚声を用いてホームランシーンを検知したり、ニュースでアンカーが話しをする中で次のニュースに移るために間をおく部分などを検知したりすることができる。

また、実施形態によっては、単位区間分離部１１０が動画内に含まれる音声の特性変化を確認するために、動画内の音質を把握することができる。例えば、単位区間分離部１１０は、動画内の音質が良好な状態から突然ノイズが多くなる部分を検知することができ、検知された部分を基準に単位区間に分離することができる。すなわち、単位区間分離部１１０は、ニュースでアンカーが話をする中で現場のアナウンサにマイクを渡すときに発生する音質の変化などを検知した後、それを基準に動画を分離することもできる。さらに、動画内に複数の話者が存在する場合、単位区間分離部１１０は、音色を用いて各々の話者を区別した後、話者別に単位区間に分離することもできる。この他にも、単位区間分離部１１０は、様々な方法で音声の特性変化を検知し、それに応じて単位区間に分離することができる。

一方、ニュース動画の場合、アンカーは原稿（ｓｃｒｉｐｔ）を一定の速度で読んで行き、１つの段落が終われば、しばらく切って、次の段落を継続して読んで行く。すなわち、動画内の話者が読む各々の段落は、話者の音量の変化量を基準に区別することができる。同一の段落内には同一主題の内容が含まれるのが一般的であるため、それを基準に動画を区分すれば、動画を意味に基づいて分離することができる。また、定められた原稿がない動画などの場合にも、動画内の話者が話す文脈を維持するためには、話者の音量の変化量を基準に動画を区分することが有利である。したがって、単位区間分離部１１０においては、動画内に含まれる音声の音量の変化量を基準に、動画を複数の単位区間に分離することができる。

例えば、図４に示すように、ニュース動画Ｖ内のアンカーの音量変化量を用いれば、全体動画をアンカーが発話する区間Ａと発話を中断した停止区間Ｂに区分することができる。ここで、アンカーの音量の変化量を基準に動画を分離するため、１つの単位区間内に複数の画面転換が起こり得ることを確認することができる。

一方、アンカーが発話する区間Ａが各々の単位区間に該当するため、発話を中断した停止区間Ｂを編集点（Ｃｕｔｔｉｎｇ ｐｏｉｎｔ）に設定して各々の単位区間を分離することができる。ここで、停止区間Ｂは、音量が設定値未満に減少し、設定値未満に減少した音量が基準時間以上維持される区間に設定することができる。停止区間Ｂの長さは、各々の動画ごとに互いに異なるように設定されてもよい。

したがって、単位区間分離部１１０は、音声の特性変化を用いて、動画内に含まれる停止区間Ｂを判別することができ、それを用いて複数の単位区間に分離することができる。

スクリプト文字列生成部１２０は、単位区間に含まれる音声を認識して、音声に対応するスクリプト文字列を生成することができる。動画を複数の単位区間に分離した後には、各々の単位区間内に含まれる内容を認識する必要がある。このために、スクリプト文字列生成部１２０は、話者が発話した音声を認識し、それを文字に変換し、変換された文字を結合してスクリプト文字列を生成することができる。

実施形態によっては、サービスサーバ１００内に別の音声認識装置が備えられていてもよく、スクリプト文字列生成部１２０は音声認識装置を用いて音声を文字に変換することができる。例えば、単位区間に含まれる音声を、電気的信号である音声パターンで表すことができ、音声モデルデータベースなどに各々の文字に対応する標準音声パターンが格納されていてもよい。この場合、音声認識装置は、入力される音声パターンを、音声モデルデータベースに格納された標準音声パターンと比較することができ、各々の音声パターンに対応する標準音声パターンを抽出することができる。その後、抽出した標準音声パターンを対応する文字に変換することができ、変換された文字を結合してスクリプト文字列を生成することができる。すなわち、図５に示すように、スクリプト文字列生成部１２０は、動画内で話者が発話した音声を認識してスクリプト文字列Ｓ１を生成することができる。

但し、スクリプト文字列生成部１２０が音声を文字に変換する方式はこれに限定されず、スクリプト文字列生成部１２０はこの他にも様々な方式で動画に含まれる音声を文字に変換することができる。

字幕文字列生成部１３０は、単位区間に含まれる字幕イメージを認識して、字幕イメージに対応する字幕文字列を生成することができる。動画内には話者が話す内容や、動画が伝達しようとする内容を強調するために、字幕イメージが含まれることがある。例えば、図５に示すように、ニュース動画の場合にも、ニュースの主な内容を要約して伝達するために字幕イメージＣが含まれる。

このように字幕イメージには動画の内容が要約されて表示されるため、各々の単位区間の内容を確認するために、字幕イメージに含まれる文字を認識する必要がある。但し、字幕イメージは文字でなく形状として認識されるため、字幕イメージに含まれる文字を認識するためには、文字認識アルゴリズムなどを適用する必要がある。

実施形態によっては、サービスサーバ１００内に別の文字認識装置が備えられていてもよく、字幕文字列生成部１３０は文字認識装置を用いて字幕イメージを文字に変換することができる。例えば、単位区間に含まれる字幕イメージをスキャンして字幕イメージに対するピクセル値の分布を電気的信号である形状パターンで表すことができ、文字モデルデータベースなどに各々の文字に対応する標準形状パターンが格納されていてもよい。この場合、文字認識装置は、入力される形状パターンを文字モデルデータベースに格納された標準形状パターンと比較することができ、各々の形状パターンに対応する標準形状パターンを抽出することができる。その後、抽出した標準形状パターンに対応する文字に各々変換して字幕文字列を生成することができる。すなわち、図５に示すように、動画フレームｆ内の字幕イメージＣに含まれる形状を文字に変換して字幕文字列Ｓ２として抽出することができる。

一方、字幕文字列生成部１３０が字幕イメージから字幕文字列を抽出するためには、単位区間内での字幕イメージの存在有無と、字幕イメージの動画フレーム内の位置を判別する必要がある。すなわち、字幕イメージが含まれる動画フレームに限って文字認識を実行し、動画フレーム内に字幕イメージが位置する領域に限って文字認識を実行するようにして、より効率的な文字認識が実行されるようにすることができる。また、それにより、動画フレーム内に含まれる字幕イメージでない他の文字を変換するなどの問題を防止することができる。したがって、字幕文字列生成部１３０においては、字幕文字列を生成する前に、まず、単位区間内の字幕イメージを含む動画フレームを検出し、動画フレーム内に含まれる字幕イメージの位置を特定することができる。

具体的には、字幕文字列生成部１３０は、単位区間に含まれる各々の動画フレームに複数のランドマークを設定することができる。すなわち、図６に示すように、動画フレーム内にランドマークＬが均一に位置するように設定することができ、各々のランドマークＬにおいて色相または輝度などを測定することができる。具体的には、ランドマークＬの位置に対応するピクセルから各々のピクセルの色相、輝度などの入力を受けることができる。

その後、ランドマークにおいて測定された色相または輝度などが字幕イメージに対応する基準色相または基準輝度に該当すれば、その動画フレーム内に字幕イメージが位置すると判別することができる。図６に示すように、字幕イメージＣは原本画像Ｄを覆う形態で表示されることがあり、字幕イメージＣは基準色相と基準輝度を有するように設定されることができる。ここで、字幕イメージＣの基準色相、基準輝度は、原本画像Ｄとは区別される特徴的な色相や輝度を有するように設定されるため、字幕文字列生成部１３０は、色相や輝度を用いて字幕イメージを区別することができる。

また、字幕文字列生成部１３０は、動画フレーム上に均一に分布する複数のランドマークのうち、字幕イメージに対応する基準色相または基準輝度が測定されたランドマークを抽出することができ、抽出されたランドマークを用いて字幕イメージの位置または大きさを特定することができる。すなわち、各々のランドマークの動画フレーム内での設定座標などが予め設定されていてもよく、字幕文字列生成部１３０は、字幕イメージを検出したランドマークの設定座標を用いて、該字幕イメージの位置と大きさを特定することができる。この場合、字幕文字列生成部１３０は、特定された字幕イメージ領域内でのみ文字認識を実行するように制御することができる。すなわち、全体動画フレームのうち文字認識を実行する領域を特定することができるため、より効率的な文字認識が可能である。

一方、字幕文字列生成部１３０は、動画製作者から各々の動画に用いた字幕イメージの基準色相や基準輝度、動画フレーム内での位置や大きさなどの特徴情報の提供を受け、字幕イメージの抽出時にそれを活用することができる。例えば、字幕イメージの位置や大きさなどに対する特徴情報を受け取る場合には、ランドマークを動画フレーム全体に均一に設定せず、字幕イメージが位置するものとして設定された領域内に限定して、ランドマークを設定することができる。

キーワード生成部１４０は、スクリプト文字列および字幕文字列に自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）を適用して、単位区間に対応するキーワードを生成することができる。すなわち、ユーザが単位区間の内容を確認した後、それに対応してキーワードや注釈などを設定するのではなく、各々の単位区間に対する意味を基にしたキーワードを自動で設定することができる。ここで、スクリプト文字列および字幕文字列に適用する自然言語処理には様々な方法などが適用されることができ、実施形態によっては、ｗｏｒｄ２ｖｅｃ、ＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）などの機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）が適用されることができる。

一実施形態によれば、キーワード生成部１４０は、ｗｏｒｄ２ｖｅｃを用いて単語埋め込み（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ）したｗｏｒｄ２ｖｅｃモデルを実現することができ、字幕文字列またはスクリプト文字列から抽出した単語をｗｏｒｄ２ｖｅｃモデルに対する入力単語に設定して、入力単語に対応する関連単語を抽出することができる。その後、抽出された関連単語を、その単位区間に対するキーワードとして設定することができる。

例えば、サービスサーバ１００が提供する動画がニュース動画である場合には、最近５年間のニュース記事などを、ｗｏｒｄ２ｖｅｃを用いて単語埋め込みする方式で、ｗｏｒｄ２ｖｅｃモデルを実現することができる。Ｗｏｒｄ２ｖｅｃの場合、各々の単語をベクトル空間に埋め込んで単語をベクトルで表すものであり、互いに関連する単語は空間上で隣接して配置される特徴がある。すなわち、ｗｏｒｄ２ｖｅｃモデルが学習する複数のサンプルにおいて各々の単語が互いに隣接して現れる頻度が高いほど、ベクトル空間上で隣接して表示されることができる。例えば、サンプルに用いられた既存のニュース記事において、「ブレグジット」と関連して「英国」、「ユーロ圏」、「脱退」などがよく言及されると、「ブレグジット」と「英国」、「ユーロ圏」、「脱退」などに対応するベクトルは互いに隣接して埋め込まれることができ、これらは互いに関連があると判別することができる。

但し、スクリプト文字列には複数の単語が含まれるため、スクリプト文字列に含まれる各々の単語に対応して抽出される関連単語を全てキーワードに設定するにはキーワードが過度に多くなりうる。それを防止するために、キーワード生成部１４０は、関連単語と入力単語を比較して類似度が高い関連単語だけをキーワードに設定することができる。

具体的には、キーワード生成部１４０は、ｗｏｒｄ２ｖｅｃモデルに入力した入力単語に対応する入力単語ベクトルと、関連単語に対応する関連単語ベクトルとの間の類似度を計算して、類似度が高い関連単語だけを抽出してキーワードに設定することができる。

単語埋め込みを通じて各々の単語は空間上でベクトル化して分布されることができ、学習したサンプルにおいて互いに類似するかまたは関連していると設定された単語は、ベクトル空間上で隣接した位置に位置するようになる。したがって、入力単語ベクトルと関連単語ベクトルとの間の類似度を計算して、入力単語と関連単語の間の関係を把握することができる。ここで、ベクトル間の類似度はコサイン類似度（ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ）を用いて計算することができるが、これに限定されず、ベクトル間の類似度を計算できるものであれば、いかなるものを適用してもよい。

キーワード生成部１４０は、入力ベクトルとの類似度が所定値以上の関連単語ベクトルを抽出することができ、抽出された関連単語ベクトルに対応する関連単語をキーワードに設定することができる。すなわち、類似度が所定値以上の関連単語ベクトルに該当する関連単語だけをキーワードに設定することができる。また、実施形態によっては、入力ベクトルとの類似度が高い順に応じて既に設定された個数の関連単語ベクトルを抽出することができ、抽出された既に設定された個数の関連単語ベクトルに対応する関連単語をキーワードに設定することもできる。例えば、最も類似度が大きい関連単語ベクトルを１０個抽出し、抽出された１０個の関連単語をキーワードに設定することができる。

さらに、キーワード生成部１４０がリアルタイム検索語情報を用いてキーワードを設定する実施形態も可能である。リアルタイム検索語情報は、ポータルサイトなどが提供する検索サービスで用いられる検索語のうち、リアルタイムで検索量が急増した検索語に対する情報であってもよい。リアルタイム検索語情報に含まれる各々の検索語は現在イシューになっている主題に関するものであるため、キーワード生成部１４０はリアルタイム検索語と関連する単語を優先的にキーワードに設定することができる。リアルタイム検索語情報は、サービスサーバ１００が外部から受信してキーワード生成部１４０に提供されることができる。

具体的には、キーワード生成部１４０は、ｗｏｒｄ２ｖｅｃモデルから抽出した関連単語のうち、リアルタイム検索語情報に含まれる検索語に対応する関連単語を抽出し、抽出された関連単語に対しては類似度の計算時に加重値を付加することができる。すなわち、相対的に類似度が低い場合にも、リアルタイム検索語情報に対応する関連単語に対しては加重値によりキーワードに設定されることができる。このとき、検索語のリアルタイム検索順位に応じて、検索語に対応する関連単語に提供する加重値を互いに異なるように付与することもできる。例えば、リアルタイム検索語の１位に該当する検索語と５位に該当する検索語に対して加重値を互いに異なるように設定することができる。

キーワード設定時にリアルタイム検索語情報を活用する場合には、キーワード生成部１４０が、各々の単位区間に対して設定するキーワードを毎回互いに異なるように設定することができる。すなわち、ユーザの興味や需要を反映してキーワードを設定することができ、それにより、イシューとなった内容と関連した単位区間をユーザが容易に検索できるように提供することができる。

一方、実施形態によっては、キーワード生成部１４０は、ＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）を用いてキーワードを設定することもできる。すなわち、ＬＤＡで学習した機械学習モデルにスクリプト文字列および字幕文字列を適用して単位区間に対応する主題語を抽出することができ、その後、抽出された主題語を該単位区間のキーワードに設定することができる。

ＬＤＡは、トピックモデル（ｔｏｐｉｃ ｍｏｄｅｌ）の１つであり、複数の文書集合を用いて各文書にどのような主題が存在するかを分類できる教師なし学習アルゴリズムに該当する。ＬＤＡを用いてモデリングをすれば、特定の主題に該当する単語と、特定の文書に含まれる主題を結果物として得ることができる。

例えば、サービスサーバ１００が提供する動画がニュース動画である場合には、ＬＤＡを用いて最近５年間のニュース記事などを学習させて機械学習モデルを実現することができる。この場合、各々の記事に含まれる主題を示す主題語と、各々の主題語に対応する単語の集合を抽出することができる。例えば、ブレグジットに関する記事に対して、「英国」、「ユーロ圏」、「ハードブレックシート」、「ノディルブレックシート」の主題を含むものに分類することができ、「ノディルブレックシート」主題と関連して「ノディル」、「合意案」、「否決」、「脱退」などの単語が該主題に含まれるものに設定することができる。したがって、ニュース動画のいずれか１つの単位区間から抽出したスクリプト文字列と字幕文字列を機械学習モデルに入力すれば、入力したスクリプト文字列と字幕文字列に含まれる単語がどのような主題語に該当する単語であるかを確認することができ、それにより、該ニュース動画内にどのような主題語に対応する内容が含まれているかを把握することができる。その後、キーワード生成部１４０は、機械学習モデルを介して抽出された主題語を、該単位区間に対するキーワードに設定することができる。

また、実施形態によっては、キーワード生成部１４０が全体動画に対するキーワードを生成することもできる。具体的には、動画内に含まれる各々の単位区間に設定されたキーワードに自然言語処理を適用して、該動画に対応するキーワードを生成するようにすることができる。ここで、自然言語処理技法には、ｗｏｒｄ２ｖｅｃ、ＬＤＡなどの機械学習などが適用されることができる。すなわち、該動画全体の内容に対するキーワードを設定することがユーザの便宜上有利であるため、キーワード生成部１４０は該動画に対するキーワードも生成することができる。このとき、動画の内容を反映するために、各々の単位区間に対するキーワードを用いて、該動画のキーワードを生成することができる。

検索部１５０は、ユーザから入力されたキーワードに対応する単位区間を検索し、検索された単位区間をユーザに提供することができる。各々の単位区間にはキーワードが設定されているため、検索部１５０は特定の内容を含む単位区間を検索してユーザに提供することができる。また、検索部１５０は動画から分離された単位区間別に検索が可能であるため、ユーザが所望する単位区間だけを提供することができる。すなわち、検索部１５０によれば、動画サービスの提供時のユーザ利便性を大幅に向上させることができる。

要約動画生成部１６０は、同一の動画に対し、基準キーワードに対応する単位区間を抽出し、抽出された単位区間を結合して該動画に対する要約動画を生成することができる。ここで、基準キーワードは管理者により予め設定されるか、またはユーザから入力を受けてもよい。

例えば、サッカー中継動画の場合、基準キーワードを「ゴール」、「得点」などに設定すれば、単位区間の中から得点シーンだけを抽出してゴールシーンをまとめた要約動画を生成することができ、基準キーワードを特定の選手の名前に設定すれば、その特定の選手がボールに触れる単位区間だけを抽出して、その特定の選手に対するハイライト要約動画を生成することができる。また、ニュース動画の場合には、基準キーワードを「経済」に設定して経済分野に対する要約動画を生成したり、「仮想通貨」などのような特定のイシューに対するニュースを集約して１つの要約動画に生成したりすることもできる。すなわち、動画に対する別の編集作業などを実行する必要がなく、容易に要約動画を生成してユーザに提供することができる。

一方、本発明の一実施形態によるサービスサーバ１００は、図３に示すように、プロセッサ１０、メモリ４０などの物理的な構成を含むものであり、メモリ４０内には、プロセッサ１０により実行されるように構成される１つ以上のモジュールが含まれることができる。具体的には、１つ以上のモジュールには、単位区間分離モジュール、スクリプト文字列生成モジュール、字幕文字列生成モジュール、キーワード生成モジュール、検索モジュールおよび要約動画生成モジュールなどが含まれることができる。

プロセッサ１０は、様々なソフトウェアプログラムと、メモリ４０に格納されている命令語集合を実行して色々な機能を実行しデータを処理する機能を実行することができる。周辺インターフェース部３０は、コンピュータ装置の入出力周辺装置をプロセッサ１０、メモリ４０に連結することができ、メモリ制御部２０は、プロセッサ１０やコンピュータ装置の構成要素がメモリ４０にアクセスする場合に、メモリアクセスを制御する機能を実行することができる。実施形態によっては、プロセッサ１０、メモリ制御部２０および周辺インターフェース部３０を単一チップ上に実現するか、または別個のチップに実現してもよい。

メモリ４０は、高速ランダムアクセスメモリ、１つ以上の磁気ディスクストレージ、フラッシュメモリ装置のような不揮発性メモリなどを含むことができる。また、メモリ４０は、プロセッサ１０から離れて位置するストレージや、インターネットなどの通信ネットワークを介してアクセスされるネットワークアタッチトストレージなどをさらに含むことができる。

一方、図３に示すように、本発明の一実施形態によるサービスサーバ１００は、メモリ４０にオペレーティングシステムをはじめとして、アプリケーションプログラムに該当する単位区間分離モジュール、スクリプト文字列生成モジュール、字幕文字列生成モジュール、キーワード生成モジュール、検索モジュールおよび要約動画生成モジュールなどを含むことができる。ここで、各々のモジュールは、上述した機能を実行するための命令語の集合として、メモリ４０に格納されることができる。

したがって、本発明の一実施形態によるサービスサーバ１００は、プロセッサ１０がメモリ４０にアクセスして各々のモジュールに対応する命令語を実行することができる。但し、単位区間分離モジュール、スクリプト文字列生成モジュール、字幕文字列生成モジュール、キーワード生成モジュール、検索モジュールおよび要約動画生成モジュールは、上述した単位区間分離部、スクリプト文字列生成部、字幕文字列生成部、キーワード生成部、検索部および要約動画生成部に各々対応するため、ここでは詳しい説明は省略する。

図７は、本発明の一実施形態による動画サービス提供方法を示すフローチャートである。

図７を参照すれば、本発明の一実施形態による動画サービス提供方法は、単位区間分離ステップ（Ｓ１０）、スクリプト文字列生成ステップ（Ｓ２０）、字幕文字列生成ステップ（Ｓ３０）、キーワード生成ステップ（Ｓ４０）、検索ステップ（Ｓ５０）および要約動画生成ステップ（Ｓ６０）を含むことができる。ここで、本発明の一実施形態による動画サービス提供方法は、サービスサーバにより実行されることができる。

以下では、図７を参照して、本発明の一実施形態による動画サービス提供方法について説明する。

単位区間分離ステップ（Ｓ１０）では、動画内に含まれる音声の特性変化を基準に動画を複数の単位区間に分離することができる。ここで、音声の特性変化は音量または音質の変化を含むことができる。具体的には、音声の特性変化を用いて動画内の話者の発話が中断される停止区間を抽出することができ、停止区間を編集点に設定して動画を分離することができる。例えば、停止区間を、音量が設定値未満に減少し、設定値未満に減少した音量が基準時間以上維持される区間に設定することができる。すなわち、文脈などを考慮するとき、動画内の話者が話しを止めるまでを１つの区間に設定することができ、このために、単位区間の分離時に音量の変化量を用いることができる。

スクリプト文字列生成ステップ（Ｓ２０）では、単位区間に含まれる音声を認識して、音声に対応するスクリプト文字列を生成することができる。動画を複数の単位区間に分離した後には、各々の単位区間内に含まれる内容を認識する必要がある。このために、話者が発話した音声を認識し、それを文字に変換し、変換された文字を結合してスクリプト文字列に生成することができる。

実施形態によっては、音声認識装置が備えられていてもよく、音声認識装置を用いて音声を文字に変換することができる。例えば、単位区間に含まれる音声を電気的信号である音声パターンで表すことができ、音声モデルデータベースなどに各々の文字に対応する標準音声パターンが格納されていてもよい。この場合、音声認識装置は、入力される音声パターンを音声モデルデータベースに格納された標準音声パターンと比較することができ、各々の音声パターンに対応する標準音声パターンを抽出することができる。その後、抽出した標準音声パターンを対応する文字に変換することができ、変換された文字を結合してスクリプト文字列を生成することができる。

字幕文字列生成ステップ（Ｓ３０）では、単位区間に含まれる字幕イメージを認識して、字幕イメージに対応する字幕文字列を生成することができる。字幕イメージには動画の内容が要約されて表示されるため、字幕イメージに含まれる文字を認識する必要がある。但し、字幕イメージは文字でなく形状に認識されるため、字幕イメージに含まれる文字を認識するためには、文字認識アルゴリズムなどを適用する必要がある。ここで、字幕文字列生成ステップ（Ｓ３０）はスクリプト文字列生成ステップ（Ｓ２０）と同時に実行されることができるが、これに限定されるものではない。

実施形態によっては、別の文字認識装置が備えられていてもよく、文字認識装置を用いて字幕イメージを文字に変換することができる。例えば、単位区間に含まれる字幕イメージをスキャンして字幕イメージに対するピクセル値の分布を電気的信号である形状パターンで表すことができ、文字モデルデータベースなどに各々の文字に対応する標準形状パターンが格納されていてもよい。この場合、文字認識装置は、入力される形状パターンを文字モデルデータベースに格納された標準形状パターンと比較することができ、各々の形状パターンに対応する標準形状パターンを抽出することができる。その後、抽出した標準形状パターンに対応する文字に各々変換して字幕文字列を生成することができる。

一方、字幕イメージから字幕文字列を抽出するためには、単位区間内での字幕イメージの存在有無と、字幕イメージの動画フレーム内の位置を判別する必要がある。すなわち、字幕文字列を生成する前に、まず、単位区間内の字幕イメージを含む動画フレームを検出し、動画フレーム内に含まれる字幕イメージの位置を特定することができる。具体的には、字幕文字列生成ステップ（Ｓ３０）では、単位区間に含まれる動画フレーム内に複数のランドマークを設定し、ランドマークにおいて色相または輝度を測定する方式で字幕イメージを検出することができる。また、字幕イメージの位置は、ランドマークを動画フレーム上に均一に分布させた後、字幕イメージに対応する基準色相または基準輝度が測定されたランドマークを抽出して特定することができる。

キーワード生成ステップ（Ｓ４０）では、スクリプト文字列および字幕文字列に自然言語処理を適用して、単位区間に対応するキーワードを生成することができる。すなわち、ユーザが単位区間の内容を確認した後、それに対応してキーワードや注釈などを設定するのではなく、各々の単位区間に対する意味を基にしたキーワードを自動で設定することができる。ここで、スクリプト文字列および字幕文字列に適用する自然言語処理には様々な方法などが適用されることができ、実施形態によっては、ｗｏｒｄ２ｖｅｃ、ＬＤＡなどの機械学習が適用されることができる。

一実施形態によれば、キーワード生成ステップ（Ｓ４０）では、ｗｏｒｄ２ｖｅｃを用いて単語埋め込みしたｗｏｒｄ２ｖｅｃモデルを実現することができ、字幕文字列またはスクリプト文字列から抽出した単語をｗｏｒｄ２ｖｅｃモデルに対する入力単語に設定して、入力単語に対応する関連単語を抽出することができる。その後、抽出した関連単語を該単位区間に対するキーワードに設定することができる。

ここで、キーワード生成ステップ（Ｓ４０）は、関連単語と入力単語を比較して類似度が高い関連単語だけをキーワードに設定するように制限することができる。具体的には、ｗｏｒｄ２ｖｅｃモデルに入力した入力単語に対応する入力単語ベクトルと、関連単語に対応する関連単語ベクトルとの間の類似度を計算して、類似度が高い関連単語だけを抽出してキーワードに設定することができる。

各々の単語は単語埋め込みを通じて空間上でベクトル化して分布されることができ、学習したサンプルにおいて互いに類似するかまたは関連していると設定された単語はベクトル空間上で隣接した位置に位置するようになる。したがって、入力単語ベクトルと関連単語ベクトルとの間の類似度を計算して、入力単語と関連単語の間の関係を把握することができる。ここで、ベクトル間の類似度はコサイン類似度を用いて計算することができる。

具体的には、入力ベクトルとの類似度が所定値以上の関連単語ベクトルを抽出することができ、抽出された関連単語ベクトルに対応する関連単語をキーワードに設定することができる。すなわち、類似度が所定値以上の関連単語ベクトルに該当する関連単語だけをキーワードに設定することができる。また、実施形態によっては、入力ベクトルとの類似度が高い順に応じて既に設定された個数の関連単語ベクトルを抽出することができ、抽出された既に設定された個数の関連単語ベクトルに対応する関連単語をキーワードに設定することもできる。例えば、最も類似度が大きい関連単語ベクトルを１０個抽出し、抽出された１０個の関連単語をキーワードに設定することができる。

さらに、キーワード生成ステップ（Ｓ４０）では、リアルタイム検索語情報を用いて、キーワードを設定する実施形態も可能である。例えば、ｗｏｒｄ２ｖｅｃモデルから抽出した関連単語のうち、リアルタイム検索語情報に含まれる検索語に対応する関連単語を抽出することができ、抽出された関連単語に対しては類似度の計算時に加重値を付加することができる。すなわち、相対的に類似度が低い場合にも、リアルタイム検索語情報に対応する関連単語に対しては加重値によりキーワードに設定されることができる。この時、検索語のリアルタイム検索順位に応じて、検索語に対応する関連単語に提供する加重値を互いに異なるように付与することもできる。

一方、実施形態によっては、キーワード生成ステップ（Ｓ４０）においてＬＤＡを用いてキーワードを設定することもできる。すなわち、ＬＤＡを用いて学習した機械学習モデルにスクリプト文字列および字幕文字列を適用して単位区間に対応する主題語を抽出することができ、その後、抽出された主題語を該単位区間のキーワードに設定することができる。但し、ＬＤＡを用いて学習した機械学習モデルを用いてキーワードを設定する内容は前述したため、ここでは具体的な内容は省略する。

また、実施形態によっては、キーワード生成ステップ（Ｓ４０）において全体動画に対するキーワードを生成することもできる。すなわち、動画内に含まれる各々の単位区間に設定されたキーワードに自然言語処理を適用して、該動画に対応するキーワードを生成するようにすることができる。ここで、自然言語処理技法にはｗｏｒｄ２ｖｅｃ、ＬＤＡなどの機械学習などが適用されることができる。

検索ステップ（Ｓ５０）では、ユーザから入力されたキーワードに対応する単位区間を検索し、検索された単位区間をユーザに提供することができる。各々の単位区間にはキーワードが設定されているため、特定の内容を含む単位区間を検索してユーザに提供することができる。また、動画から分離された単位区間別に検索が可能であるため、ユーザが所望する単位区間だけを提供することができる。すなわち、動画サービスの提供時のユーザ利便性を大幅に向上させることができる。

要約動画生成ステップ（Ｓ６０）では、同一の動画に対し、基準キーワードに対応する単位区間を抽出し、抽出された単位区間を結合して該動画に対する要約動画を生成することができる。ここで、基準キーワードは管理者により予め設定されるか、またはユーザから入力を受けてもよい。すなわち、動画に対する別の編集作業などを実行する必要がなく、容易に要約動画を生成してユーザに提供することができる。

前述した本発明は、プログラムが記録された媒体にコンピュータ読取可能なコードとして実現することができる。コンピュータ読取可能な媒体は、コンピュータで実行可能なプログラムを続けて格納するか、実行またはダウンロードのために臨時格納するものであってもよい。また、媒体は単一または数個のハードウェアが結合された形態の様々な記録手段または格納手段であってもよく、あるコンピュータ・システムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含めてプログラム命令語が格納されるように構成されたものがある。また、他の媒体の例示として、アプリケーションを流通するアプリストアやその他の様々なソフトウェアを供給乃至流通するサイト、サーバなどが管理する記録媒体乃至格納媒体も挙げられる。したがって、上記の詳細な説明は、全ての面で制限的に解釈されてはならず、例示的なものに考慮されなければならない。本発明の範囲は添付された請求項の合理的な解釈によって決定されなければならず、本発明の等価的な範囲内での全ての変更は本発明の範囲に含まれる。

本発明は、前述した実施形態および添付された図面によって限定されるものではない。本発明が属する技術分野で通常の知識を有した者であれば、本発明の技術的思想を逸脱しない範囲内で本発明に係る構成要素を置換、変形および変更できることは明らかである。

１ ・・・端末装置
１０ ・・・プロセッサ
２０ ・・・メモリ制御部
３０ ・・・周辺インターフェース部
４０ ・・・メモリ
１００ ・・・サービスサーバ
１１０ ・・・単位区間分離部
１２０ ・・・スクリプト文字列生成部
１３０ ・・・字幕文字列生成部
１４０ ・・・キーワード生成部
１５０ ・・・検索部
１６０ ・・・要約動画生成部

Claims (18)

1. サービスサーバが端末装置に動画を提供する動画サービス提供方法であって、
   動画内に含まれる音声の特性変化を基準に、前記動画を複数の単位区間に分離する単位区間分離ステップ、
   前記単位区間に含まれる音声を認識して、前記音声に対応するスクリプト文字列を生成するスクリプト文字列生成ステップ、
   前記単位区間に含まれる字幕イメージを認識して、前記字幕イメージに対応する字幕文字列を生成する字幕文字列生成ステップ、および
   前記スクリプト文字列および字幕文字列に自然言語処理を適用して、前記単位区間に対応するキーワードを生成するキーワード生成ステップ
   を含む動画サービス提供方法。
2. 前記単位区間分離ステップは、
   前記音声の特性変化を用いて前記動画内の話者の発話が中断される停止区間を抽出し、前記停止区間を編集点に設定して前記動画を分離することを特徴とする、請求項１に記載の動画サービス提供方法。
3. 前記単位区間分離ステップは、
   前記音声の音量が設定値未満に減少し、前記設定値未満の音量が基準時間以上維持されれば、前記停止区間として判別することを特徴とする、請求項２に記載の動画サービス提供方法。
4. 前記スクリプト文字列生成ステップは、
   音声認識装置を用いて、前記音声から抽出した音声パターンを対応する文字に変換し、前記変換された文字を結合して前記スクリプト文字列を生成することを特徴とする、請求項１に記載の動画サービス提供方法。
5. 前記字幕文字列生成ステップは、
   文字認識装置を用いて、前記字幕イメージから抽出した形状パターンを対応する文字に変換し、前記変換された文字を結合して前記字幕文字列を生成することを特徴とする、請求項１に記載の動画サービス提供方法。
6. 前記字幕文字列生成ステップは、
   前記単位区間に含まれる動画フレーム内に複数のランドマークを設定し、前記ランドマークにおいて測定した色相または輝度を用いて前記字幕イメージを検出することを特徴とする、請求項１に記載の動画サービス提供方法。
7. 前記字幕文字列生成ステップは、
   前記動画フレーム上に均一に分布する複数のランドマークのうち、前記字幕イメージに対応する基準色相または基準輝度が測定されたランドマークを抽出し、前記抽出されたランドマークを用いて前記字幕イメージの位置を特定することを特徴とする、請求項６に記載の動画サービス提供方法。
8. 前記キーワード生成ステップは、
   ｗｏｒｄ２ｖｅｃを用いて単語埋め込みしたｗｏｒｄ２ｖｅｃモデルに前記字幕文字列またはスクリプト文字列から抽出した入力単語を入力して、対応する関連単語を抽出し、前記関連単語を前記キーワードに設定することを特徴とする、請求項１に記載の動画サービス提供方法。
9. 前記キーワード生成ステップは、
   前記ｗｏｒｄ２ｖｅｃモデルに入力した前記入力単語に対応する入力単語ベクトルと前記関連単語に対応する関連単語ベクトルとの間の類似度を計算するステップ、
   前記類似度が所定値以上の関連単語ベクトルまたは前記類似度が高い順に応じて選択される既に設定された個数の関連単語ベクトルを抽出するステップ、および
   前記抽出された関連単語ベクトルに対応する関連単語を前記キーワードに設定することを特徴とする、請求項８に記載の動画サービス提供方法。
10. 前記類似度を計算するステップは、
    リアルタイム検索語情報に含まれる検索語に対応する関連単語を抽出し、前記抽出された関連単語に対して前記類似度の計算時に加重値を付加することを特徴とする、請求項９に記載の動画サービス提供方法。
11. 前記キーワード生成ステップは、
    前記検索語のリアルタイム検索順位に応じて、前記検索語に対応する関連単語に提供する加重値を互いに異なるように付与することを特徴とする、請求項１０に記載の動画サービス提供方法。
12. 前記キーワード生成ステップは、
    ＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）を用いて学習した機械学習モデルに前記スクリプト文字列および字幕文字列を適用して前記単位区間に対応する主題語を抽出し、前記主題語を前記キーワードに設定することを特徴とする、請求項１に記載の動画サービス提供方法。
13. 前記キーワード生成ステップは、
    前記単位区間に対応するキーワードに自然言語処理を適用して、前記動画に対応するキーワードを生成することを特徴とする、請求項１に記載の動画サービス提供方法。
14. ユーザから入力されたキーワードに対応する単位区間を検索し、前記検索された単位区間をユーザに提供する検索ステップをさらに含むことを特徴とする、請求項１に記載の動画サービス提供方法。
15. 同一の動画に対し、基準キーワードに対応する単位区間を抽出し、前記抽出された単位区間を結合して要約動画を生成する要約動画生成ステップをさらに含むことを特徴とする、請求項１に記載の動画サービス提供方法。
16. ハードウェアと結合されて、ハードウェアに請求項１〜１５のいずれか１項に記載の動画サービス提供方法を実行させるためのコンピュータプログラム。
17. 動画内に含まれる音声の特性変化を基準に、前記動画を複数の単位区間に分離する単位区間分離部、
    前記単位区間に含まれる音声を認識して、前記音声に対応するスクリプト文字列を生成するスクリプト文字列生成部、
    前記単位区間に含まれる字幕イメージを認識して、前記字幕イメージに対応する字幕文字列を生成する字幕文字列生成部、および
    前記スクリプト文字列および字幕文字列に自然言語処理を適用して、前記単位区間に対応するキーワードを生成するキーワード生成部
    を含むサービスサーバ。
18. プロセッサ、および
    前記プロセッサに結合されたメモリを含む、サービスサーバであって、
    前記メモリは前記プロセッサにより実行されるように構成される１つ以上のモジュールを含み、
    前記１つ以上のモジュールは、
    動画内に含まれる音声の特性変化を基準に、前記動画を複数の単位区間に分離し、
    前記単位区間に含まれる音声を認識して、前記音声に対応するスクリプト文字列を生成し、
    前記単位区間に含まれる字幕イメージを認識して、前記字幕イメージに対応する字幕文字列を生成し、
    前記スクリプト文字列および字幕文字列に自然言語処理を適用して、前記単位区間に対応するキーワードを生成する、
    命令語を含むサービスサーバ。

Images