JP2021174117A - 学習装置、代表画像抽出装置及びプログラム - Google Patents

学習装置、代表画像抽出装置及びプログラム Download PDF

Info

Publication number
JP2021174117A
JP2021174117A JP2020075676A JP2020075676A JP2021174117A JP 2021174117 A JP2021174117 A JP 2021174117A JP 2020075676 A JP2020075676 A JP 2020075676A JP 2020075676 A JP2020075676 A JP 2020075676A JP 2021174117 A JP2021174117 A JP 2021174117A
Authority
JP
Japan
Prior art keywords
program
image
score
learning
learning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020075676A
Other languages
English (en)
Other versions
JP7441107B2 (ja
Inventor
桃子 前澤
Momoko Maezawa
貴裕 望月
Takahiro Mochizuki
伶 遠藤
Rei Endo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2020075676A priority Critical patent/JP7441107B2/ja
Publication of JP2021174117A publication Critical patent/JP2021174117A/ja
Application granted granted Critical
Publication of JP7441107B2 publication Critical patent/JP7441107B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】番組映像から、番組制作のノウハウを考慮した代表画像を抽出可能な学習装置等を提供する。
【解決手段】学習装置１の番組学習データ生成部１０は、学習用番組映像をサンプリングした番組画像について、番組ＨＰから取得した静止画との間の類似度を算出し、類似度に基づいて正解スコアを付与し、番組画像及び正解スコアからなる番組学習データを生成する。芸術性学習データ生成部１２は、芸術性評価オープンデータを用いて、芸術性評価画像及び正解スコアからなる芸術性学習データを生成する。学習部１４のＮＮ部３１は、ニューラルネットワークを用いて、番組画像または芸術性評価画像から１次元のスコアを算出し、誤差算出部３２は、スコアと正解スコアとの間の誤差を算出する。パラメータ更新部３３は、番組画像の誤差及び芸術性評価画像の誤差の和が小さくなるように、ニューラルネットワークのパラメータを更新する。
【選択図】図１

Description

本発明は、映像から代表画像を抽出する映像解析分野に用いる学習装置、代表画像抽出装置及びプログラムに関する。
従来、放送局では、視聴者の接触率向上を目的として、番組ＨＰ（ホームページ）の充実化が進んでいる。番組ＨＰには、閲覧者に番組内容を大まかに把握してもらうために、番組映像から抽出した複数の代表画像を掲載するケースが多い。
しかしながら、番組映像から代表画像を抽出するには大きな労力が必要である。このため、番組映像から代表画像を自動的に抽出する手法が提案されている（例えば、特許文献１、非特許文献１を参照）。
例えば特許文献１の手法は、画像集合から人物の顔、シーン及びオブジェクトの判別結果、ＧＰＳ（Global Positioning System：全地球無線測位システム）情報並びに類似度に基づいて、画像間の関連度を算出し、関連度及び撮影日に基づいて、代表画像を抽出するものである。
また、非特許文献１の手法は、事前学習済みのGoogLeNetのニューラルネットワークを用いて、画像に対する芸術性の高低を判定するものである。
特許第６１４９０１５号公報
しかしながら、番組映像から代表画像を抽出する際に、前述の特許文献１の手法では、ＧＰＳ情報、撮影日等の特殊な情報を必要とする。また、画像に含まれる物体、顔等の一部の要素のみに着目しており、画像全体の芸術性を考慮していない。また、前述の非特許文献１の手法では、番組制作のノウハウを考慮していない。
このため、代表画像を用いて作成した番組ＨＰは、必ずしも有効なものにはなっておらず、閲覧者に対して番組内容を効果的に提示することができない場合がある、という問題があった。
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、番組映像から、番組制作のノウハウを考慮した代表画像を抽出可能な学習装置、代表画像抽出装置及びプログラムを提供することにある。
前記課題を解決するために、請求項１の学習装置は、ニューラルネットワークを学習する学習装置において、学習用番組映像をサンプリングして得られるフレーム画像を番組画像とし、前記番組画像に付与された複数段階のうちのいずれかの段階のスコアを第１正解スコアとし、所定画像に付与された複数段階のうちのいずれかの段階のスコアを第２正解スコアとし、前記ニューラルネットワークを、前記番組画像及び前記所定画像が交互に入力され、１次元のスコアが出力されるモデルとして、前記番組画像及び前記第１正解スコアからなる番組学習データ、並びに前記所定画像及び前記第２正解スコアからなる所定学習データが格納されたメモリと、前記メモリから前記番組学習データ及び前記所定学習データを読み出し、前記番組学習データ及び前記所定学習データを用いて、前記ニューラルネットワークを学習する学習部と、を備え、前記学習部が、前記ニューラルネットワークを用いて、前記番組学習データに含まれる前記番組画像から前記番組画像の１次元のスコアを第１スコアとして算出し、前記ニューラルネットワークを用いて、前記所定学習データに含まれる前記所定画像から前記所定画像の１次元のスコアを第２スコアとして算出するニューラルネットワーク部と、前記ニューラルネットワーク部により算出された前記第１スコアと前記番組学習データに含まれる前記第１正解スコアとの間の誤差を第１誤差として算出し、前記第２スコアと前記所定学習データに含まれる前記第２正解スコアとの間の誤差を第２誤差として算出する誤差算出部と、前記誤差算出部により算出された前記第１誤差及び前記第２誤差の和が小さくなるように、前記ニューラルネットワークのパラメータを更新するパラメータ更新部と、を備えたことを特徴とする。
また、請求項２の学習装置は、請求項１に記載の学習装置において、さらに、前記番組学習データを生成する番組学習データ生成部を備え、前記番組学習データ生成部が、前記学習用番組映像を前記番組画像にサンプリングするサンプリング処理部と、前記学習用番組映像に対応した番組のホームページのＵＲＬへアクセスし、前記番組の静止画をダウンロードするダウンロード処理部と、前記サンプリング処理部によりサンプリングされた前記番組画像について、前記ダウンロード処理部によりダウンロードされた前記静止画との間の類似度を算出する類似度算出部と、前記類似度算出部により算出された前記類似度に基づいて、前記番組画像に対して前記第１正解スコアを付与し、前記番組画像及び前記第１正解スコアからなる前記番組学習データを前記メモリに格納する第１正解スコア付与部と、を備えたことを特徴とする。
また、請求項３の学習装置は、請求項２に記載の学習装置において、前記所定学習データを生成する所定学習データ生成部を備え、前記所定学習データ生成部が、前記所定画像、及び前記所定画像に対して予め付与された複数段階のうちのいずれかの段階のラベルからなるオープンデータを入力し、前記ラベルを前記第２正解スコアに変換することで、前記所定画像に対して前記第２正解スコアを付与し、前記所定画像及び前記第２正解スコアからなる前記所定学習データを前記メモリに格納する第２正解スコア付与部を備えたことを特徴とする。
また、請求項４の学習装置は、請求項１から３までのいずれか一項に記載の学習装置において、前記番組学習データの数をＡ個（Ａは正の整数）、前記所定学習データの数をＢ個（Ｂは正の整数）、Ａ＜Ｂとし、Ｂ個からＡ個を減算した結果を（Ｂ−Ａ）として、前記学習部が、Ａ個の前記番組学習データ、及び、前記所定学習データに対する前記番組学習データの不足分である（Ｂ−Ａ）個のデータであって、Ａ個の前記番組学習データのいずれかまたは全てを用いて補充された前記番組学習データ、並びにＢ個の前記所定学習データを用いて、前記ニューラルネットワークを学習する、ことを特徴とする。
さらに、請求項５の代表画像抽出装置は、番組映像から代表画像を抽出する代表画像抽出装置において、前記番組映像をフレーム画像にサンプリングし、前記フレーム画像を番組画像として出力するサンプリング処理部と、請求項１から４までのいずれか一項の学習装置により学習されたニューラルネットワークを用いて、前記サンプリング処理部により出力された前記番組画像から、前記番組画像の１次元のスコアを算出するスコア算出部と、前記スコア算出部により算出された前記スコアに基づいて、前記サンプリング処理部により前記番組映像がサンプリングされて出力された全ての前記番組画像から、前記代表画像を選択する選択部と、を備えたことを特徴とする。
さらに、請求項６のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の学習装置として機能させることを特徴とする。
また、請求項７のプログラムは、コンピュータを、請求項５に記載の代表画像抽出装置として機能させることを特徴とする。
以上のように、本発明によれば、番組映像から、番組制作のノウハウを考慮した代表画像を抽出することができる。
本発明の実施形態による学習装置の構成例を示すブロック図である。 番組学習データ生成部の構成例を示すブロック図である。 番組学習データ生成部の処理例を示すフローチャートである。 番組学習データ生成部の他の構成例を示すフローチャートである。 芸術性学習データ生成部の構成例を示すブロック図である。 学習部の構成例を示すブロック図である。 学習部の処理例を示すフローチャートである。 ＮＮ部の構成例を示すブロック図である。 ＮＮ部の具体的な構成例を説明する図である。 本発明の実施形態による代表画像抽出装置の構成例を示すブロック図である。 代表画像抽出装置を用いた第１実施例の番組ＨＰ作成システムを説明する図である。 代表画像抽出装置を用いた第２実施例の番組ＤＶＤ販売ＨＰ作成システムを説明する図である。 本発明の実施形態における学習処理の効果を説明する図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔学習装置〕
まず、本発明の実施形態による学習装置について説明する。図１は、本発明の実施形態による学習装置の構成例を示すブロック図である。
この学習装置１は、番組学習データ生成部１０、メモリ１１，１３、芸術性学習データ生成部１２及び学習部１４を備えている。学習装置１は、学習用番組映像及び芸術性評価オープンデータ等を用いて、後述する代表画像抽出装置２が番組映像から番組制作のノウハウを考慮した代表画像を抽出できるように、代表画像抽出装置２が使用するニューラルネットワークを学習する装置である。
番組学習データ生成部１０は、学習用番組映像、及び当該学習用番組映像の番組に対応した番組ＨＰのＵＲＬ（Uniform Resource Locator）を入力する。そして、番組学習データ生成部１０は、学習用番組映像をサンプリングして得られた複数のフレーム画像（以下、「番組画像」という。）のそれぞれについて、番組ＨＰのＵＲＬへアクセスして取得した複数の静止画のそれぞれとの間の類似度を算出する。
番組学習データ生成部１０は、類似度に基づいて、番組画像に対して正解スコアを付与し、番組画像及び正解スコアからなる番組学習データをメモリ１１に格納する。
これにより、メモリ１１には、学習用番組映像をサンプリングして得られた全ての番組画像について、番組画像及び正解スコアからなる番組学習データが格納される。
ここで、番組ＨＰに掲載されている静止画は、番組制作スタッフがそのノウハウを生かすことで、番組映像から選択した代表画面であるといえる。このため、番組画像と静止画との間の類似度は、番組制作スタッフのノウハウが反映された値となり、結果として、番組画像の正解スコアは、番組制作スタッフのノウハウが反映された値となる。
芸術性学習データ生成部１２は、芸術性評価オープンデータを順次入力する。この芸術性評価オープンデータは、一切の制限を受けることなく、全ての人が入手し利用することが可能なデータであり、画像に対し、芸術性の観点で評価された正解ラベルが付与されている。芸術性評価オープンデータは、画像（以下、「芸術性評価画像」という。）、及び芸術性評価画像に対して予め付与された複数段階の評価が反映された正解ラベル（芸術性の高低を示すラベル）から構成される。
芸術性学習データ生成部１２は、入力した芸術性評価オープンデータのそれぞれについて、芸術性評価オープンデータに含まれる正解ラベルを、所定の規則に従って正解スコアに変換する。そして、芸術性学習データ生成部１２は、芸術性評価画像及び正解スコアからなる芸術性学習データをメモリ１３に格納する。正解ラベルは、前述のとおり高低を示すラベルであり、正解スコアは数値である。
これにより、メモリ１３には、複数の芸術性評価オープンデータについて、芸術性評価画像及び正解スコアからなる芸術性学習データが格納される。
学習部１４は、学習対象のニューラルネットワークを備えている。学習部１４は、メモリ１１から、番組画像及び正解スコアからなる番組学習データを読み出すと共に、メモリ１３から、芸術性評価画像及び正解スコアからなる芸術性学習データを読み出す。そして、学習部１４は、番組学習データ及び芸術性学習データを用いて、ニューラルネットワークを学習する。このニューラルネットワークは、番組画像及び芸術性評価画像が交互に入力され、１次元のスコア（重要度）が出力されるモデルである。
これにより、ニューラルネットワークに用いる最適なパラメータ（重み係数等）が得られる。このパラメータは、番組制作スタッフのノウハウが反映された値であり、後述する図１０に示す代表画像抽出装置２に備えたニューラルネットワークに用いられる。
（番組学習データ生成部１０）
次に、図１に示した番組学習データ生成部１０について詳細に説明する。図２は、番組学習データ生成部１０の構成例を示すブロック図であり、図３は、番組学習データ生成部１０の処理例を示すフローチャートである。この番組学習データ生成部１０は、サンプリング処理部２０、ダウンロード処理部２１、類似度算出部２２及び正解スコア付与部２３を備えている。
番組学習データ生成部１０は、ハードディスクレコーダー等に蓄積された学習用番組映像、及び当該学習用番組映像の番組に対応した番組ＨＰのＵＲＬを入力する（ステップＳ３０１）。サンプリング処理部２０は、学習用番組映像を入力し、ダウンロード処理部２１は、対応する番組ＨＰのＵＲＬを入力する。
サンプリング処理部２０は、学習用番組映像から一定間隔で、フレーム画像である番組画像をサンプリングする（ステップＳ３０２）。サンプリングされた全ての番組画像をＰ1，・・・，ＰNとする。Ｎは２以上の整数である。サンプリング処理部２０は、番組画像Ｐ1，・・・，ＰNを類似度算出部２２に出力する。
ダウンロード処理部２１は、番組ＨＰのＵＲＬへアクセスし、番組ＨＰに掲載されている全ての静止画をダウンロードする（ステップＳ３０３）。ダウンロードされた全ての静止画をＰ’1，・・・，Ｐ’Mとする。Ｍは２以上の整数である。ダウンロード処理部２１は、静止画Ｐ’1，・・・，Ｐ’Mを類似度算出部２２に出力する。
類似度算出部２２は、サンプリング処理部２０から番組画像Ｐ1，・・・，ＰNを入力すると共に、ダウンロード処理部２１から静止画Ｐ’1，・・・，Ｐ’Mを入力する。そして、類似度算出部２２は、番組画像Ｐnについて、静止画Ｐ’mとの間の類似度Ｓn,mを算出する（ステップＳ３０４）。ｎ＝１，・・・，Ｎであり、ｍ＝１，・・・，Ｍである。
類似度算出部２２は、番組画像Ｐn及び当該番組画像Ｐnの類似度Ｓn,m（Ｓn,1，・・・，Ｓn,M）を正解スコア付与部２３に出力する。
正解スコア付与部２３は、類似度算出部２２から番組画像Ｐn及び当該番組画像Ｐnの類似度Ｓn,m（Ｓn,1，・・・，Ｓn,M）を入力する。そして、正解スコア付与部２３は、番組画像Ｐnについて、類似度Ｓn,1，・・・，Ｓn,Mのうちの最大値Ｂ＝ｍａｘmＳn,mを求める（ステップＳ３０５）。
正解スコア付与部２３は、最大値Ｂが予め設定された閾値以上であるか否かを判定する（ステップＳ３０６）。正解スコア付与部２３は、ステップＳ３０６において、最大値Ｂが閾値以上であると判定した場合（ステップＳ３０６：Ｙ）、番組画像Ｐnに対し、正例の正解スコア（＝１）を付与する（ステップＳ３０７）。
一方、正解スコア付与部２３は、ステップＳ３０６において、最大値Ｂが閾値以上でないと判定した場合（ステップＳ３０６：Ｎ）、番組画像Ｐnに対し、負例の正解スコア（＝０）を付与する（ステップＳ３０８）。
尚、正解スコア付与部２３は、番組画像Ｐnに対し、０〜１の範囲のスコアにおいて、２段階の正解スコア（正例（＝１）または負例（＝０））を付与するようにしたが、３段階以上の正解スコアを付与するようにしてもよい。例えば、３段階の正解スコアの場合、正解スコア付与部２３は、最大値Ｂを閾値処理することで、番組画像Ｐnに対し、３段階の正解スコア（例えば０．０，０．５，１．０）のうちのいずれかを付与する。
この場合、正解スコアの段階は、０〜１の範囲において必ずしも等間隔である必要はなく、例えば０．０，０．７，１．０であってもよく、適切な間隔であればよい。また、正解スコアは、後述する図５において芸術性評価画像の正解スコアと同様の範囲、例えば０〜１の範囲で、その段階が設定されるものとする。
また、正解スコア付与部２３は、番組画像に対して、類似度算出部２２から入力した類似度を正解スコアとして付与するようにしてもよい。この場合の類似度の範囲は０〜１である。
正解スコア付与部２３は、ステップＳ３０７またはＳ３０８から移行して、番組画像及び正解スコアからなる番組学習データをメモリ１１に格納する（ステップＳ３０９）。ステップＳ３０４〜Ｓ３０９の処理は、Ｎ個の番組画像Ｐn（ｎ＝１，・・・，Ｎ）について行われ、メモリ１１には、Ｎ個の番組学習データが格納される。
これにより、番組画像Ｐnについて、番組ＨＰからダウンロードされた静止画との間の類似度Ｓn,mが反映された正解スコアが付与され、番組学習データがメモリ１１に格納される。類似度Ｓn,mが高いほど（代表画像に相応しいほど）、正解スコアは１または１に近い段階の値となり、類似度Ｓn,mが低いほど（代表画像に相応しくないほど）、正解スコアは０または０に近い段階の値となる。
図４は、番組学習データ生成部１０の他の構成例を示すフローチャートである。この番組学習データ生成部１０は、サンプリング処理部２０及び正解スコア付与部２４を備えている。この番組学習データ生成部１０は、学習用番組映像のみを入力し、番組ＨＰのＵＲＬを入力しない。
サンプリング処理部２０は、学習用番組映像を入力し、図２に示したサンプリング処理部２０と同様の処理を行い、番組画像を正解スコア付与部２４に出力する。
正解スコア付与部２４は、サンプリング処理部２０から番組画像を入力し、番組画像を、図示しない表示装置に表示する。番組制作スタッフであるユーザは、表示装置に表示された番組画像を評価し、番組画像に対する正解スコアを判断する。例えば、２段階の正解スコアの場合、番組画像の評価が高いときに正解スコア（＝１）が判断され、番組画像の評価が低いときに正解スコア（＝０）が判断される。
正解スコア付与部２４は、番組制作スタッフの操作に従い、番組画像に対する正解スコアを入力する。そして、正解スコア付与部２４は、番組画像に対して正解スコアを付与することで、番組画像及び正解スコアからなる番組学習データを生成し、これをメモリ１１に格納する。
これにより、番組画像について、番組制作スタッフのノウハウが反映された正解スコアが付与され、番組学習データがメモリ１１に格納される。番組画像に対する評価が高いほど（代表画像として相応しいほど）、正解スコアは１または１に近い段階の値となり、番組画像に対する評価が低いほど（代表画像として相応しくないほど）、正解スコアは０または０に近い段階の値となる。
（芸術性学習データ生成部１２）
次に、図１に示した芸術性学習データ生成部１２について詳細に説明する。図５は、芸術性学習データ生成部１２の構成例を示すブロック図である。この芸術性学習データ生成部１２は、正解スコア付与部２５を備えている。
正解スコア付与部２５は、芸術性評価画像及び正解ラベルからなる芸術性評価オープンデータを順次入力する。
正解スコア付与部２５は、芸術性評価オープンデータのそれぞれについて、芸術性評価オープンデータに含まれる正解ラベルを、所定の規則に従って正解スコアに変換することで、芸術性評価オープンデータに含まれる芸術性評価画像に対して正解スコアを付与する。そして、正解スコア付与部２５は、芸術性評価画像及び正解スコアからなる芸術性学習データをメモリ１３に格納する。
一般に、正解ラベルは数値化されていないため、正解ラベルを学習処理に用いることができない。このため、正解スコア付与部２５は、正解ラベルを、数値で表した正解スコアに変換する。これにより、正解ラベルが反映され、かつ数値で表された正解スコアを、学習処理に用いることができる。
所定の規則は、ｐ段階の正解ラベルをｑ段階の正解スコアに変換する、予め設定された規則である。ｐ，ｑは２以上の整数であり、ｐ≠ｑであってもよいし、ｐ＝ｑであってもよい。
所定の規則により、例えば、３段階の正解ラベルである「great」「good」及び「bad」が２段階の正解スコアに変換される。３段階の正解ラベルは、芸術性の高い順に「great」＞「good」＞「bad」である。正解ラベル（＝great）は正解スコア（＝１）に、正解ラベル（＝good）は正解スコア（＝１）に、正解ラベル（＝bad）は正解スコア（＝０）に変換される。
また、所定の規則により、例えば、３段階の正解ラベルが３段階の正解スコアに変換される。正解ラベル（＝great）は正解スコア（＝１．０）に、正解ラベル（＝good）は正解スコア（＝０．５）に、正解ラベル（＝bad）は正解スコア（＝０．０）に変換される。
尚、正解スコアの段階は、０〜１の範囲において必ずしも等間隔である必要はなく、例えば０．０，０．７，１．０であってもよく、適切な間隔であればよい。また、正解スコアは、３段階を超える段階であってもよく、前述の番組画像の正解スコアと同様の範囲、例えば０〜１の範囲で、その段階が設定されるものとする。
正解スコア付与部２５は、正解ラベルを正解スコアに変換する代わりに、番組制作スタッフの操作に従い、番組制作スタッフにより判断された正解スコアを入力することで、芸術性評価画像に対して正解スコアを付与するようにしてもよい。前述と同様に、正解スコアの段階は必ずしも等間隔である必要はない。
具体的には、正解スコア付与部２５は、芸術性評価オープンデータに含まれる芸術性評価画像及び正解ラベルを、図示しない表示装置に表示する。番組制作スタッフであるユーザは、表示装置に表示された正解ラベルを参照して芸術性評価画像を評価し、芸術性評価画像に対する正解スコアを判断する。
正解スコア付与部２５は、番組制作スタッフの操作に従い、芸術性評価画像に対する正解スコアを入力する。そして、正解スコア付与部２５は、芸術性評価画像に対して正解スコアを付与することで、芸術性評価画像及び正解スコアからなる芸術性学習データを生成し、これをメモリ１３に格納する。
これにより、芸術性評価画像について、番組制作スタッフのノウハウが反映された正解スコアが付与され、芸術性学習データがメモリ１３に格納される。芸術性評価画像に対する評価が高いほど（代表画像として相応しいほど）、正解スコアは１または１に近い段階の値となり、芸術性評価画像に対する評価が低いほど（代表画像として相応しくないほど）、正解スコアは０または０に近い段階の値となる。
（学習部１４）
次に、図１に示した学習部１４について詳細に説明する。図６は、学習部１４の構成例を示すブロック図であり、図７は、学習部１４の処理例を示すフローチャートである。
この学習部１４は、切り替え部３０、ＮＮ（ニューラルネットワーク）部３１、誤差算出部３２及びパラメータ更新部３３を備えている。学習部１４は、ステップＳ７０７の処理にて終了条件を満たすまで、番組学習データ及び芸術性学習データの組毎に、ステップＳ７０１〜Ｓ７０６の処理を行う。
切り替え部３０は、パラメータ更新部３３から、番組学習データまたは芸術性学習データを示す切り替え信号を入力する。そして、切り替え部３０は、切り替え信号が番組学習データを示している場合、メモリ１１から、番組画像及び正解スコアからなる番組学習データを読み出す。一方、切り替え部３０は、切り替え信号が芸術性学習データを示している場合、メモリ１３から、芸術性評価画像及び正解スコアからなる芸術性学習データを読み出す（ステップＳ７０１）。
これにより、番組学習データを示す切り替え信号が入力される毎に、メモリ１１から、新たな番組学習データが読み出され、芸術性学習データを示す切り替え信号が入力される毎に、メモリ１３から新たな芸術性学習データが読み出される。
切り替え部３０は、切り替え信号が番組学習データを示している場合、番組学習データに含まれる番組画像をＮＮ部３１に出力すると共に、番組画像に対応する正解スコアを誤差算出部３２に出力する。
一方、切り替え部３０は、切り替え信号が芸術性学習データを示している場合、芸術性学習データに含まれる芸術性評価画像をＮＮ部３１に出力すると共に、芸術性評価画像に対応する正解スコアを誤差算出部３２に出力する。
ＮＮ部３１は、切り替え部３０から番組画像または芸術性評価画像のテンソルを入力する。そして、ＮＮ部３１は、パラメータ更新部３３によりパラメータが設定されたニューラルネットワークを用いて、番組画像または芸術性評価画像から１次元のスコアを算出し、スコアを誤差算出部３２に出力する。
誤差算出部３２は、ＮＮ部３１からスコアを入力すると共に、切り替え部３０から正解スコアを入力し、両者の誤差を算出してパラメータ更新部３３に出力する。例えば、誤差を算出する関数としては、ＭＳＥ（平均二乗誤差）等の、誤差が大きいほど大きい値を出力する関数が用いられる。
具体的には、ＮＮ部３１は、切り替え部３０から番組画像のテンソルを入力した場合、ニューラルネットワークを用いて、番組映像からスコアを算出する（ステップＳ７０２）。このニューラルネットワークとは、後述する図８に示す特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１である。
そして、誤差算出部３２は、番組画像のスコアと番組学習データに含まれる当該番組画像の正解スコアとの間の誤差を算出する（ステップＳ７０３）。
一方、ＮＮ部３１は、切り替え部３０から芸術性評価画像のテンソルを入力した場合、ニューラルネットワークを用いて、芸術性評価画像からスコアを算出する（ステップＳ７０４）。
そして、誤差算出部３２は、芸術性評価画像のスコアと芸術性学習データに含まれる当該芸術性評価画像の正解スコアとの間の誤差を算出する（ステップＳ７０５）。
パラメータ更新部３３は、誤差算出部３２から番組画像の誤差及び芸術性評価画像の誤差を入力し、これらの誤差の和が小さくなるように、保持しているパラメータを更新する（ステップＳ７０６）。そして、パラメータ更新部３３は、更新したパラメータをＮＮ部３１に設定する。
ここで、パラメータ更新部３３は、ＮＮ部３１に設定したパラメータを保持しているものとする。
尚、パラメータ更新部３３は、パラメータを更新する処理として、例えばＡｄａｍ、ＳＧＤ（Stocastic Gradient Descent）、誤差逆伝播学習法（Backpropagation）等の一般的なニューラルネットワーク最適化手法を用いる。
また、パラメータ更新部３３は、番組画像及び芸術性評価画像を組として、所定数の組（例えば３０組）毎に、パラメータを更新するようにしてもよい。具体的には、パラメータ更新部３３は、所定数の組の誤差をそれぞれ入力し、所定数の組の誤差の和を算出し、当該誤差の和が小さくなるように、パラメータを更新する。
パラメータ更新部３３は、誤差算出部３２から番組画像の誤差を入力した場合、次に芸術性評価画像の誤差を入力するために、芸術性学習データを示す切り替え信号を切り替え部３０に出力する。
一方、パラメータ更新部３３は、誤差算出部３２から芸術性評価画像の誤差を入力した場合、次に番組画像の誤差を入力するために、番組学習データを示す切り替え信号を切り替え部３０に出力する。
パラメータ更新部３３は、ステップＳ７０６から移行して、パラメータ更新の終了条件を満たすか否かを判定する（ステップＳ７０７）。
パラメータ更新部３３は、ステップＳ７０７において、終了条件を満たさないと判定した場合（ステップＳ７０７：Ｎ）、ステップＳ７０１へ移行し、次の番組学習データ及び芸術性学習データの組について、ステップＳ７０１〜Ｓ７０６の処理を行う。つまり、終了条件を満たすまで、番組学習データ及び芸術性学習データの組毎に、ステップＳ７０１〜Ｓ７０６の処理が行われる。
一方、パラメータ更新部３３は、ステップＳ７０７において、終了条件を満たすと判定した場合（ステップＳ７０７：Ｙ）、ステップＳ７０６の処理にて更新したパラメータを最適なパラメータとして出力する（ステップＳ７０８）。パラメータ更新部３３により出力された最適なパラメータは、後述する図１０に示す代表画像抽出装置２に備えたスコア算出部５１のニューラルネットワークに設定される。
ここで、ステップＳ７０７における終了条件は、例えば、予め設定された回数分のパラメータ更新が行われたか否か、パラメータの更新量が予め設定された閾値よりも小さいか否かの条件等である。
（ＮＮ部３１）
次に、図６に示したＮＮ部３１について詳細に説明する。図８は、ＮＮ部３１の構成例を示すブロック図である。このＮＮ部３１は、特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１を備えて構成される。
特徴抽出用ＮＮ４０は、番組画像または芸術性評価画像を入力データとして、パラメータ更新部３３によりパラメータが設定されたニューラルネットワークの演算により、１０２４次元の画像特徴ベクトルの出力データを求める。
スコア算出用ＮＮ４１は、特徴抽出用ＮＮ４０により求めた１０２４次元の画像特徴ベクトルを入力データとして、パラメータ更新部３３によりパラメータが設定されたニューラルネットワークの演算により、１次元のスコアの出力データを求める。
図９は、ＮＮ部３１の具体的な構成例を説明する図であり、図８に示したＮＮ部３１の構成を詳細に表したものである。図９において、「Conv」は畳み込み層を、「MaxPool」は最大値を抽出するプーリング層を、「LocalResponseNorm」は正規化層をそれぞれ示す。また、「Inception Module」は「GoogLeNet」に含まれる技術であり、畳み込み層及びプーリング層を示す。また、「AveragePool」は平均値を算出するプーリング層を、「FC」は全結合層を、「Concat」は連結層を、「Sigmoid」はシグモイド関数を用いる層をそれぞれ示す。また、「Kernel」はフィルタサイズを、「dim」は次元数をそれぞれ示す。
番組画像または芸術性評価画像が入力される「Conv」のプーリング層α１から、１０２４次元の画像特徴ベクトルが出力される「Concat」の連結層α２までの各層により、特徴抽出用ＮＮ４０が構成される。
また、１０２４次元の画像特徴ベクトルが入力される「FC」の全結合層α３から、１次元のスコアが出力される「Sigmoid」のシグモイド関数α４の出力層までの各層により、スコア算出用ＮＮ４１が構成される。
このように、ＮＮ部３１は、番組画像または芸術性評価画像から当該画像の１０２４次元の画像特徴ベクトルを算出する特徴抽出用ＮＮ４０と、当該画像の１０２４次元の画像特徴ベクトルから１次元のスコアを算出するスコア算出用ＮＮ４１から構成される。
このＮＮ部３１により、番組画像または芸術性評価画像に付与された正解スコアの段階数に関わることなく、１次元のスコアが算出される。つまり、ＮＮ部３１としては、番組画像または芸術性評価画像の段階数に応じて異なるニューラルネットワークを用意する必要がなく、段階数に依存することのない固定構成のニューラルネットワークを用意すればよい。
以上のように、本発明の実施形態による学習装置１によれば、番組学習データ生成部１０は、学習用番組映像をサンプリングして得られた番組画像について、番組ＨＰのＵＲＬへアクセスして取得した静止画との間の類似度を算出する。そして、番組学習データ生成部１０は、類似度に基づいて、番組画像に対して正解スコアを付与し、番組画像及び正解スコアからなる番組学習データを生成する。
芸術性学習データ生成部１２は、芸術性評価オープンデータに含まれる正解ラベルを、所定の規則に従って正解スコアに変換し、芸術性評価画像及び正解スコアからなる芸術性学習データを生成する。
学習部１４は、番組学習データ及び芸術性学習データを用いて、ニューラルネットワークを学習する。具体的には、ＮＮ部３１は、ニューラルネットワークを用いて、番組学習データに含まれる番組画像から１次元のスコアを算出し、誤差算出部３２は、番組画像のスコアと番組学習データに含まれる正解スコアとの間の誤差を算出する。また、ＮＮ部３１は、芸術性評価画像についても１次元のスコアを算出し、誤差算出部３２は、芸術性評価画像のスコアと芸術性学習データに含まれる正解スコアとの間の誤差を算出する。
パラメータ更新部３３は、番組画像の誤差及び芸術性評価画像の誤差の和が小さくなるように、ニューラルネットワークのパラメータを更新し、所定の終了条件を満たしたときのパラメータを最適なパラメータとして出力する。
ここで、番組ＨＰの静止画は、番組制作スタッフのノウハウを生かすことで生成された画像であるため、番組画像と静止画の類似度から算出された番組画像の正解スコアは、番組制作のノウハウを考慮したスコアとなる。
これにより、番組画像の正解スコアを用いて学習されたニューラルネットワークも、番組制作のノウハウを考慮したものとなる。したがって、後述する代表画像抽出装置２は、学習装置１により学習されたニューラルネットワークを用いることにより、番組映像から、番組制作のノウハウを考慮した代表画像を抽出することができる。また、番組映像以外の特殊なデータを用いることなく、代表画像を抽出することができるから、処理負荷を低減することができる。そして、代表画像を用いて番組ＨＰを作成する際には、作業量を大幅に減らすことができる。
また、メモリ１１に格納された番組学習データの数がメモリ１３に格納された芸術性学習データよりも少ない場合であっても、同じ番組学習データを繰り返し用いることにより、番組学習データの不足分を補充することができる。これにより、芸術性学習データと同数の番組学習データを用意することができ、同数の番組学習データ及び芸術性学習データを用いて、ニューラルネットワークを学習することができる。
具体的には、メモリ１１に格納された番組学習データの数をＡ個（Ａは正の整数）、メモリ１３に格納された芸術性学習データの数をＢ個（Ｂは正の整数）、Ａ＜Ｂ、番組学習データ及び芸術性学習データの差分、すなわちＢ個からＡ個を減算した結果を（Ｂ−Ａ）とする。番組学習データ及び芸術性学習データの差分に相当する（Ｂ−Ａ）個の番組学習データ（芸術性学習データに対する番組学習データの不足分）は、Ａ個の番組学習データのいずれかまたは全てを使用することで補充される。すなわち、学習部１４は、Ａ個の番組学習データ、及び、不足分の（Ｂ−Ａ）個のデータであって、Ａ個の番組学習データのいずれかまたは全てを用いて補充された番組学習データ、並びにＢ個の芸術性学習データを用いて、ニューラルネットワークを学習する。この場合、Ａ個の番組学習データ及び不足分の（Ｂ−Ａ）個の番組学習データの合計数は、芸術性学習データの数と同じＢ個である。
例えば、番組学習データの数がＡ＝6,000であり、芸術性学習データの数がＢ＝10,000である場合を想定する。この場合、芸術性学習データに対する番組学習データの不足分である（Ｂ−Ａ）＝4,000個の番組学習データは、Ａ＝6,000個の番組学習データの一部を用いて補充される。これにより、不足分の4,000個の番組学習データは、元のＡ＝6,000個の番組学習データを用いて補充することができる。学習部１４は、元のＡ＝6,000個の番組学習データ及び不足分の4,000個の番組学習データ、並びに10,000個の芸術性学習データを用いて、ニューラルネットワークを学習する。
また、番組学習データの数がＡ＝6,000であり、芸術性学習データの数がＢ＝25,000である場合を想定する。この場合、芸術性学習データに対する番組学習データの不足分である（Ｂ−Ａ）＝19,000個の番組学習データは、Ａ＝6,000個の番組学習データが３回重複して使用され、さらに、残りの1,000個については、Ａ＝6,000個の番組学習データの一部が使用される。これにより、不足分の19,000個の番組学習データは、元のＡ＝6,000個の番組学習データを用いて補充することができる。学習部１４は、元のＡ＝6,000個の番組学習データ及び不足分の19,000個の番組学習データ、並びに25,000個の芸術性学習データを用いて、ニューラルネットワークを学習する。
また、番組画像の正解スコアの段階数と芸術性評価画像の正解スコアの段階数が同じまたは異なる場合であっても、ＮＮ部３１により、番組画像及び芸術性評価画像について統一した１次元のスコアが算出される。つまり、ＮＮ部３１において、番組画像及び芸術性評価画像の段階数に依存することのない固定構成のニューラルネットワークを用いることができるから、段階数に応じて異なるニューラルネットワークを予め用意する必要がない。したがって、簡易な構成にて高精度の学習処理を実現することができる。
図１３は、本発明の実施形態における学習処理の効果を説明する図である。（１）は、非特許文献１の学習処理を示しており、特徴抽出用ＮＮ及びクラス分類用ＮＮを用いて、２段階のクラス（２クラス）の正解スコアが付与された画像ａのデータセットから、２クラスの確率分布が算出される。
（２）は、一般的なマルチデータセットの学習処理を示している。特徴抽出用ＮＮ及び上側に示すクラス分類用ＮＮを用いて、２クラスの正解スコアが付与された画像ａのデータセットから、２クラスの確率分布が算出される。また、特徴抽出用ＮＮ及び下側に示すクラス分類用ＮＮを用いて、３クラスの正解スコアが付与された画像ｂのデータセットから、３クラスの確率分布が算出される。
（３）は、本発明の実施形態における学習処理を示しており、図８に示したＮＮ部３１の特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１による処理に相当する。特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１を用いて、２クラスの正解スコアが付与された画像ａ（例えば番組画像）のデータセットから、１次元のスコアが算出される。また、特徴抽出用ＮＮ４０及びスコア算出用ＮＮ４１を用いて、３クラスの正解スコアが付与された画像ｂ（例えば芸術性評価画像）のデータセットから、１次元のスコアが算出される。
（３）において、２クラスのデータセットの場合、例えば第１のクラスの正解スコアは０．０、第２のクラスの正解スコアは１．０である。また、３クラスのデータセットの場合、例えば第１のクラスの正解スコアは０．０、第２のクラスの正解スコアは０．５、第３のクラスの正解スコアは１．０である。
（２）において、２クラスのデータセットにおける第１のクラス及び３クラスのデータセットにおける第１のクラスについて、これらの正解スコアが意味する画像に対する評価度合いは、似ているが同じではない。例えば、２クラスのデータセットにおける第１のクラスの正解スコアが０．０、３クラスのデータセットにおける第１のクラスの正解スコアも０．０とする。この場合、両データセットのクラス数が異なるため、正解スコアが０．０の画像に対する評価の幅も異なることとなる。
このため、（２）に示したとおり、２クラスのデータセット用のクラス分類用ＮＮと、３クラスのデータセット用のクラス分類用ＮＮとに分け、異なる２つのＮＮを用いる必要がある。
しかしながら、例えば３クラスのデータセットの数が２クラスのデータセットよりも少ない場合には、特徴抽出用ＮＮ、上側に示すクラス分類用ＮＮ及び下側に示すクラス分類用ＮＮの全体として、精度の高い学習を実現することができない。
そこで、（３）に示したように、本発明の実施形態において、１次元のスコアを算出する、両データセットに共通のスコア算出用ＮＮ４１を用いることで、データセットのクラス数に依存することなく、学習処理を実現することができる。
このように、（２）に示したとおり、従来は、複数種類のデータセットを用いてニューラルネットワークを学習する場合、データセット毎に、異なるニューラルネットワークを用意する必要があった。これに対し、（３）に示したとおり、本発明の実施形態では、異なるニューラルネットワークを用意する必要はなく、単一のスコア算出用ＮＮ４１を用いれば済む。つまり、簡易な構成にて高精度の学習処理を実現することができる。
（３）に示す本発明の実施形態は、データセットのクラスとして、順序関係（例えば「great」＞「good」＞「bad」等）がある場合に、特に有効である。
〔代表画像抽出装置〕
次に、図１に示した学習装置１により学習されたニューラルネットワークを用いて、番組映像から代表画像を抽出する代表画像抽出装置について説明する。図１０は、本発明の実施形態による代表画像抽出装置の構成例を示すブロック図である。
この代表画像抽出装置２は、サンプリング処理部５０、スコア算出部５１及び選択部５２を備えている。サンプリング処理部５０は、番組映像を入力し、番組映像から一定間隔で、フレーム画像である番組画像をサンプリングし、番組画像をスコア算出部５１に出力する。
尚、サンプリング処理部５０は、番組映像をサンプリングして得られた全ての番組画像のうち、所定数の番組画像を予め選択し、選択した所定数の番組画像のみをスコア算出部５１に出力するようにしてもよい。これにより、後段のスコア算出部５１及び選択部５２における処理負荷を低減することができる。
スコア算出部５１は、図１に示した学習装置１により学習された学習済みニューラルネットワークを備えている。つまり、スコア算出部５１は、学習装置１により出力された最適なパラメータを入力し、ニューラルネットワークに設定する。
スコア算出部５１は、サンプリング処理部５０から番組画像のテンソルを入力し、ニューラルネットワークを用いて、番組画像からスコアを算出する。そして、スコア算出部５１は、番組画像及び当該番組画像のスコアを選択部５２に出力する。
これにより、番組映像をサンプリングして得られた複数の番組画像のそれぞれについて、番組画像及び当該番組画像のスコアが算出され、選択部５２に出力される。
選択部５２は、サンプリング処理部５０によりサンプリングして得られた全ての番組画像のそれぞれについて、スコア算出部５１から番組画像及びスコアを入力する。そして、選択部５２は、スコアの降順に番組画像をソートし、全ての番組画像の中からスコアの高いＣ枚の番組画像を、代表画像に選択する。Ｃは１以上の整数であり、予め設定される。
選択部５２は、Ｃ枚の代表画像を時系列順にソートし、時系列順のＣ枚の代表画像を出力する。
尚、選択部５２は、全ての番組画像及びこれらに対応するスコアを入力し、閾値処理により、全ての番組画像をスコアに基づいて例えば３段階のクラスに分類し、上位のクラスの番組画像を代表画像に選択するようにしてもよい。選択部５２は、必ずしもスコアを等間隔に区切ることで、番組画像を分類する必要はない。
例えば、選択部５２は、予め設定された閾値（例えば、０．２５，０．７５）を用いた閾値処理により、０．００≦スコア≦閾値０．２５の場合、当該スコアの番組画像を第１の段階のクラスに分類する。また、選択部５２は、閾値０．２５＜スコア＜閾値０．７５の場合、当該スコアの番組画像を第２の段階のクラスに分類し、閾値０．７５≦スコア≦１．００の場合、当該スコアの番組画像を第３の段階のクラスに分類する。そして、選択部５２は、第３の段階のクラスの番組画像を代表画像に選択する。
以上のように、本発明の実施形態の代表画像抽出装置２によれば、スコア算出部５１は、番組映像をサンプリングして得られた番組画像について、学習装置１により学習されたニューラルネットワークを用いて、スコアを算出する。
選択部５２は、番組映像をサンプリングして得られた全ての番組画像を、スコアの降順にソートし、スコアの高いＣ枚の番組画像を代表画像に選択し、Ｃ枚の代表画像を時系列順にソートして出力する。
ここで、学習装置１により学習されたニューラルネットワークは、番組制作のノウハウを考慮して生成されたモデルである。したがって、このニューラルネットワークを用いることにより、番組映像から、番組制作のノウハウを考慮した代表画像を抽出することができる。また、番組映像以外の特殊なデータを用いることなく、代表画像を抽出することができるから、処理負荷を低減することができる。そして、代表画像を用いて番組ＨＰを作成する際には、作業量を大幅に減らすことができる。
〔代表画像抽出装置２を用いた実施例〕
次に、図１０に示した代表画像抽出装置２を用いた実施例について説明する。図１１は、代表画像抽出装置２を用いた第１実施例の番組ＨＰ作成システムを説明する図である。この番組ＨＰ作成システム３は、番組ＨＰの作成対象である番組についての番組ＥＰＧ（Electronic Programming Guide：電子番組表）情報及び番組映像を用いて、番組ＨＰを作成するシステムである。
番組ＨＰ作成システム３は、代表画像抽出装置２、要約映像生成部１００及び自動配置処理部１０１を備えて構成される。要約映像生成部１００は、従来の処理により、番組映像から要約映像を生成する構成部であり、代表画像抽出装置２は、図１０に示した本発明の実施形態による装置であり、番組映像から例えば３枚の代表画像を抽出する。
自動配置処理部１０１は、番組ＥＰＧ情報、要約映像及び３枚の代表画像を、予め設定された位置に配置し、図１１に示すような番組ＨＰを作成する。
図１２は、代表画像抽出装置２を用いた第２実施例の番組ＤＶＤ販売ＨＰ作成システムを説明する図である。この番組ＤＶＤ販売ＨＰ作成システム４は、番組ＤＶＤ販売ＨＰの作成対象である番組ＤＶＤについてのＤＶＤ宣伝コメント、ＤＶＤパッケージ画像及び番組ＤＶＤ動画を用いて、番組ＤＶＤ販売ＨＰを作成するシステムである。
番組ＤＶＤ販売ＨＰ作成システム４は、代表画像抽出装置２及び自動配置処理部１０２を備えて構成される。代表画像抽出装置２は、図１０に示した本発明の実施形態による装置であり、番組映像から例えば６枚の代表画像を抽出する。
自動配置処理部１０２は、ＤＶＤ宣伝コメント、ＤＶＤパッケージ画像及び６枚の代表画像を、予め設定された位置に配置し、図１２に示すような番組ＤＶＤ販売ＨＰを作成する。
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
例えば、図１に示した学習装置１は、番組画像に加え、芸術性評価オープンデータの芸術性評価画像を用いて、ニューラルネットワークを学習するようにしたが、番組画像のみを用いるようにしてもよい。また、学習装置１は、番組画像に加え、芸術性評価オープンデータ以外のオープンデータを用いるようにしてもよい。学習に用いるオープンデータは、画像、及び当該画像に対して所定の観点で評価が付与された正解ラベルからなるデータであれば何でもよい。
また、図８及び図９に示したＮＮ部３１の特徴抽出用ＮＮ４０は、１０２４次元の画像特徴ベクトルの出力データを求め、スコア算出用ＮＮ４１は、１０２４次元の画像特徴ベクトルを入力データとして扱うようにした。この１０２４次元の画像ベクトルは例示であり、本発明における特徴抽出用ＮＮ４０の出力データ及びスコア算出用ＮＮ４１の入力データは、１０２４次元の画像ベクトルに限定されるものではない。
尚、本発明の実施形態による学習装置１のハードウェア構成としては、通常のコンピュータを使用することができる。学習装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。本発明の実施形態による代表画像抽出装置２についても同様である。
学習装置１に備えた番組学習データ生成部１０、メモリ１１，１３、芸術性学習データ生成部１２及び学習部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
また、代表画像抽出装置２に備えたサンプリング処理部５０、スコア算出部５１及び選択部５２の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
１ 学習装置
２ 代表画像抽出装置
３ 番組ＨＰ作成システム
４ 番組ＤＶＤ販売ＨＰ作成システム
１０ 番組学習データ生成部
１１，１３ メモリ
１２ 芸術性学習データ生成部
１４ 学習部
２０ サンプリング処理部
２１ ダウンロード処理部
２２ 類似度算出部
２３，２４，２５ 正解スコア付与部
３０ 切り替え部
３１ ＮＮ（ニューラルネットワーク）部
３２ 誤差算出部
３３ パラメータ更新部
４０ 特徴抽出用ＮＮ
４１ スコア算出用ＮＮ
５０ サンプリング処理部
５１ スコア算出部
５２ 選択部
１００ 要約映像生成部
１０１，１０２ 自動配置処理部
Ｐ1，・・・，ＰN，Ｐn 番組画像
Ｐ’1，・・・，Ｐ’M，Ｐ’m 静止画
Ｓn,m 類似度
Ｂ 最大値

Claims (7)

  1. ニューラルネットワークを学習する学習装置において、
    学習用番組映像をサンプリングして得られるフレーム画像を番組画像とし、前記番組画像に付与された複数段階のうちのいずれかの段階のスコアを第１正解スコアとし、所定画像に付与された複数段階のうちのいずれかの段階のスコアを第２正解スコアとし、前記ニューラルネットワークを、前記番組画像及び前記所定画像が交互に入力され、１次元のスコアが出力されるモデルとして、
    前記番組画像及び前記第１正解スコアからなる番組学習データ、並びに前記所定画像及び前記第２正解スコアからなる所定学習データが格納されたメモリと、
    前記メモリから前記番組学習データ及び前記所定学習データを読み出し、前記番組学習データ及び前記所定学習データを用いて、前記ニューラルネットワークを学習する学習部と、を備え、
    前記学習部は、
    前記ニューラルネットワークを用いて、前記番組学習データに含まれる前記番組画像から前記番組画像の１次元のスコアを第１スコアとして算出し、前記ニューラルネットワークを用いて、前記所定学習データに含まれる前記所定画像から前記所定画像の１次元のスコアを第２スコアとして算出するニューラルネットワーク部と、
    前記ニューラルネットワーク部により算出された前記第１スコアと前記番組学習データに含まれる前記第１正解スコアとの間の誤差を第１誤差として算出し、前記第２スコアと前記所定学習データに含まれる前記第２正解スコアとの間の誤差を第２誤差として算出する誤差算出部と、
    前記誤差算出部により算出された前記第１誤差及び前記第２誤差の和が小さくなるように、前記ニューラルネットワークのパラメータを更新するパラメータ更新部と、を備えたことを特徴とする学習装置。
  2. 請求項１に記載の学習装置において、
    さらに、前記番組学習データを生成する番組学習データ生成部を備え、
    前記番組学習データ生成部は、
    前記学習用番組映像を前記番組画像にサンプリングするサンプリング処理部と、
    前記学習用番組映像に対応した番組のホームページのＵＲＬへアクセスし、前記番組の静止画をダウンロードするダウンロード処理部と、
    前記サンプリング処理部によりサンプリングされた前記番組画像について、前記ダウンロード処理部によりダウンロードされた前記静止画との間の類似度を算出する類似度算出部と、
    前記類似度算出部により算出された前記類似度に基づいて、前記番組画像に対して前記第１正解スコアを付与し、前記番組画像及び前記第１正解スコアからなる前記番組学習データを前記メモリに格納する第１正解スコア付与部と、を備えたことを特徴とする学習装置。
  3. 請求項２に記載の学習装置において、
    前記所定学習データを生成する所定学習データ生成部を備え、
    前記所定学習データ生成部は、
    前記所定画像、及び前記所定画像に対して予め付与された複数段階のうちのいずれかの段階のラベルからなるオープンデータを入力し、前記ラベルを前記第２正解スコアに変換することで、前記所定画像に対して前記第２正解スコアを付与し、前記所定画像及び前記第２正解スコアからなる前記所定学習データを前記メモリに格納する第２正解スコア付与部を備えたことを特徴とする学習装置。
  4. 請求項１から３までのいずれか一項に記載の学習装置において、
    前記番組学習データの数をＡ個（Ａは正の整数）、前記所定学習データの数をＢ個（Ｂは正の整数）、Ａ＜Ｂとし、Ｂ個からＡ個を減算した結果を（Ｂ−Ａ）として、
    前記学習部は、
    Ａ個の前記番組学習データ、及び、前記所定学習データに対する前記番組学習データの不足分である（Ｂ−Ａ）個のデータであって、Ａ個の前記番組学習データのいずれかまたは全てを用いて補充された前記番組学習データ、並びにＢ個の前記所定学習データを用いて、前記ニューラルネットワークを学習する、ことを特徴とする学習装置。
  5. 番組映像から代表画像を抽出する代表画像抽出装置において、
    前記番組映像をフレーム画像にサンプリングし、前記フレーム画像を番組画像として出力するサンプリング処理部と、
    請求項１から４までのいずれか一項の学習装置により学習されたニューラルネットワークを用いて、前記サンプリング処理部により出力された前記番組画像から、前記番組画像の１次元のスコアを算出するスコア算出部と、
    前記スコア算出部により算出された前記スコアに基づいて、前記サンプリング処理部により前記番組映像がサンプリングされて出力された全ての前記番組画像から、前記代表画像を選択する選択部と、を備えたことを特徴とする代表画像抽出装置。
  6. コンピュータを、請求項１から４までのいずれか一項に記載の学習装置として機能させるためのプログラム。
  7. コンピュータを、請求項５に記載の代表画像抽出装置として機能させるためのプログラム。
JP2020075676A 2020-04-21 2020-04-21 学習装置、代表画像抽出装置及びプログラム Active JP7441107B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020075676A JP7441107B2 (ja) 2020-04-21 2020-04-21 学習装置、代表画像抽出装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020075676A JP7441107B2 (ja) 2020-04-21 2020-04-21 学習装置、代表画像抽出装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021174117A true JP2021174117A (ja) 2021-11-01
JP7441107B2 JP7441107B2 (ja) 2024-02-29

Family

ID=78281852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020075676A Active JP7441107B2 (ja) 2020-04-21 2020-04-21 学習装置、代表画像抽出装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7441107B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230196775A1 (en) * 2020-05-27 2023-06-22 Nec Corporation Video processing device, video processing method, training device, training method, and recording medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6954219B2 (ja) 2018-04-09 2021-10-27 トヨタ自動車株式会社 機械学習装置
JP7011170B2 (ja) 2018-06-05 2022-01-26 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230196775A1 (en) * 2020-05-27 2023-06-22 Nec Corporation Video processing device, video processing method, training device, training method, and recording medium

Also Published As

Publication number Publication date
JP7441107B2 (ja) 2024-02-29

Similar Documents

Publication Publication Date Title
CN109446430B (zh) 产品推荐的方法、装置、计算机设备及可读存储介质
CN109117777B (zh) 生成信息的方法和装置
CN108228703B (zh) 图像问答方法、装置、系统和存储介质
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
US9910829B2 (en) Automatic document separation
US20160253597A1 (en) Content-aware domain adaptation for cross-domain classification
CN114283350B (zh) 视觉模型训练和视频处理方法、装置、设备及存储介质
CN109271542A (zh) 封面确定方法、装置、设备及可读存储介质
CN114443899A (zh) 视频分类方法、装置、设备及介质
US20200210776A1 (en) Question answering method, terminal, and non-transitory computer readable storage medium
CN109784368A (zh) 一种应用程序分类的确定方法和装置
CN115115049A (zh) 神经网络模型的训练方法、装置、设备、介质及程序产品
CN111898704B (zh) 对内容样本进行聚类的方法和装置
CN118014703B (zh) 基于数字化平台的可视化智能决策系统及方法
CN111125457A (zh) 一种深度跨模态哈希检索方法及装置
EP4089568A1 (en) Cascade pooling for natural language document processing
CN118535737B (zh) 一种基于文本分类进行地址分类的快速微调方法及系统
CN118504663A (zh) 微调数据筛选方法、装置、计算机设备和可读存储介质
CN110796260A (zh) 一种基于类扩张学习的神经网络模型优化方法
JP2021174117A (ja) 学習装置、代表画像抽出装置及びプログラム
CN119202826A (zh) 融合视觉预训练模型的sku智能分类与标签生成方法
CN112528897A (zh) 人像的年龄估测方法、装置、计算机设备及存储介质
CN115878891A (zh) 直播内容生成方法、装置、设备以及计算机存储介质
CN111159397B (zh) 文本分类方法和装置、服务器
JP7594474B2 (ja) 学習装置、代表画像抽出装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240216

R150 Certificate of patent or registration of utility model

Ref document number: 7441107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150