JP2010154254A - 合成画像作成装置 - Google Patents

Abstract

【課題】映像コンテンツをユーザにとって分かり易い、読むコンテンツへと変換できる合成画像作成装置を提供する。
【解決手段】制御部１１２は、映像コンテンツから、字幕と、字幕の表示タイミングとを取得し、取得された字幕の表示タイミングに基づき映像コンテンツから静止画像を取得し、取得された字幕と、取得された静止画像とを関連付ける。映像コンテンツから取得した複数の静止画像が互いに類似する場合、複数の静止画像のうち１の静止画像と、複数の静止画像のそれぞれに関連付けられた字幕とを合成した合成画像を生成する。映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際には、類似判定に使用する閾値を、映像コンテンツの種類に応じて動的に変更する。
【選択図】図２

Description

本発明は、映像コンテンツから読むコンテンツを作成する合成画像作成装置に関する。

映像コンテンツを読むコンテンツに変換し、読むコンテンツにより映像コンテンツのコンテンツ内容を把握する方法がある。読むコンテンツとは、映像コンテンツに含まれる字幕を集約したものである。映像コンテンツを読むコンテンツにすることにより、映像コンテンツを書籍のように自由な早さで読み進めて行くことができる。
しかし、このような字幕のみが集約された読むコンテンツでは、映像コンテンツ独自の視覚情報が失われてしまい、読むコンテンツを読み進めるだけでは、映像コンテンツの内容を把握するのが難しくなるという問題がある。

そこで、この問題を解決するために、字幕と字幕が表示されるタイミングに表示される画像とを合成した合成画像からなる読むコンテンツが考えられる。このような合成画像からなる読むコンテンツでは、字幕と共にその字幕に対応する画像が表示されるため、字幕を読みながら画像も確認できるため、映像コンテンツの内容の把握がより容易になる。
しかし、上記のように作成された読むコンテンツでは、映像コンテンツの字幕が表示されるタイミング毎に合成画像が作成されるため、字幕のみが変化し、映像がほとんど変化しないような場面では、図１に示すように、画像部分はほぼ一緒で字幕のみが異なる合成画像が複数生成される。このような合成画像からなる読むコンテンツを合成画像１枚ずつ画面に表示させる場合、操作者は頻繁にキー操作を行わなければ読み進めて行くことができないため、快適な閲覧の妨げとなる。

上記の問題を解決するため、特許文献１に記載の情報処理装置は、映像コンテンツに予め含められている「場面情報」に基づき、場面が変わる毎にその場面で最初に発話する発話者の発話時刻の動画像から静止画を抽出し、抽出した静止画とその場面での台詞情報を合成して文字情報付静止画を生成する。上記情報処理装置で作成される読むコンテンツは、場面毎の静止画にその場面での台詞が集約し、合成画面が生成されているため、操作者は読み進めて行くために頻繁にキー操作を行う必要が無くなる。
特開２００６‐３３９８１７号公報

しかし、上記の特許文献１に記載の情報処理装置では、合成画像を作成するにあたって映像コンテンツに予め場面情報が付与されていなければならない。場面情報が付与されている映像コンテンツは限定的であり、特に場面情報が付与されていない生放送の映像コンテンツでは、上記情報処理装置は、台詞が集約された合成画像を作成することができない。

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、特許文献１に記載の情報処理装置のように映像コンテンツの場面情報を必要とせずに、映像コンテンツの内容を容易に把握できるようにするとともに、少ないキー操作で読み進めることができる読むコンテンツを生成できる合成画像作成装置を提供することにある。

上記目的を達成するため、本発明の合成画像作成装置は、映像コンテンツから、字幕と、該字幕の表示タイミングとを取得し、前記取得された字幕の表示タイミングに基づき前記映像コンテンツから静止画像を取得し、前記取得された字幕と、該字幕の表示タイミングに基づき取得された静止画像とを関連付けるように制御する制御部とを備え、前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似する場合、当該複数の静止画像のうち１の静止画像と、当該複数の静止画像のそれぞれに関連付けられた字幕と、を合成した合成画像を生成するように制御することを特徴とする。

前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際に、類似判定に使用する閾値を、前記映像コンテンツの種類に応じて動的に変更することが好ましい。また、前記制御部は、前記１の静止画像を、前記複数の静止画像のうちの最も画像品質の良い静止画像とすることが好ましい。さらに、前記制御部は、前記字幕の表示タイミングに静止画像を取得できなかった場合、取得可能な静止画像のうち前記字幕の表示タイミングに最も近い静止画像を取得することが好ましい。

また、本発明は、字幕付き映像コンテンツの表示方法であって、前記映像コンテンツの動画像から類似シーンを特定し、該動画像から特定した類似シーンに含まれる字幕を集約し、該集約した字幕を、前記類似シーンの代表画像と共に表示することを特徴とする。

本発明の合成画像作成装置は、字幕の表示タイミングに基づき静止画像を取得して字幕の集約を行うことにより、映像コンテンツの内容を容易に把握できるようにするとともに、少ないキー操作で読み進めることができる読むコンテンツを生成することができる。

本発明の実施の形態について図面を参照して説明する。以下、合成画像作成装置の典型例としてデジタル放送を受信できる携帯電話端末に本発明を適用して説明する。図２は、本発明を適用した携帯電話端末の概略的な機能構成を示すブロック図である。図２に示す携帯電話端末は、アンテナ１０１と、チューナ部１０２と、復調部１０３と、多重分離部１０４と、音声デコーダ部１０５と、スピーカ１０６と、映像デコーダ部１０７と、表示制御部１０８と、映像表示部１０９と、字幕デコーダ部１１０と、データ放送デコーダ部１１１と、制御部１１２と、記憶蓄積部１１４により構成されている。
制御部１１２は、コンテンツ変換部１１３を備えており、コンテンツ変換部１１３は、字幕表示時刻取得部１１３ａと、静止画像取得部１１３ｂと、類似度判定部１１３ｃと、字幕取得部１１３ｄと、画像選出部１１３ｅと、字幕集約部１１３ｆにより構成されている。また、記憶蓄積部１１４は、一時保存部１１４ａを備えている。

携帯電話端末の構成部品として、受信アンテナ１０１は、デジタル放送の信号を常時連続的に受信し、チューナ部１０２は、入力されたＲＦ信号に対して制御部１１２からの周波数（チャンネル）指定命令に基づいてチューニングを行い、番組を選局する。チューナ部１０２で周波数変換されたチャンネル信号は、復調部１０３でＭＰＥＧ（Moving Picture Experts Group）のトランスポーストリーム（ＴＳ：Transport Stream）信号に復調される。ここで、ＴＳ信号には、音声信号や映像信号、字幕信号やデータ信号などがパケット単位で多重化されている。ＴＳ信号に復調されたチャンネル信号は、多重分離部１０４において、ＴＳ信号内のパケットＩＤに基づいて音声パケット、映像パケット、字幕パケット、データ放送パケットなどを検出され、各パケットに分離された上でそれぞれ音声デコーダ部１０５、映像デコーダ部１０７、字幕デコーダ部１１０、データ放送デコーダ部１１１などに出力される。音声デコーダ部１０５は、制御部１１２からの指定命令に基づいて音声データをデコードし、スピーカ１０６に出力する。映像デコーダ部１０７は、映像データをデコードし、表示制御部１０８に出力する。字幕デコード部１１０は、字幕データをデコードし、表示制御部１０８に出力する。データ放送デコーダ部１１１は、受信したＢＭＬ（Broadcast Markup Language）を基に画面イメージを作成し、表示制御部１０８に出力する。表示制御部１０８は、制御部１１２から出される命令に基づき、各デコーダ部から受信した映像データや字幕データなどを重畳し、表示部１０９に表示する。また、コンテンツ変換部１１３は、映像コンテンツを読むコンテンツへと変換を行う。変換されたコンテンツは、記録蓄積部１１４に記録される。また、コンテンツ変換せずに通常録画を行う場合は、映像データ、音声データ、字幕データをそのまま記録蓄積部１１４に記録する。

（読むコンテンツへの変換方法）
図３は、デジタル放送を読むコンテンツに変換するときの処理を説明するフローチャートである。なお、以下の処理は、ユーザが予め、もしくは直前に番組を読むコンテンツとして保存するように設定した場合において、対象番組に字幕放送が存在する場合にのみ実行される。
コンテンツ変換対象の番組の終了、もしくはユーザによる中断などによりコンテンツ変換処理が終了するまで、以降の処理を繰り返す（Ｓ１０１）。
字幕ＰＥＳ（Packetized Elementary Stream）データ（以下、字幕データという）を受信すると（Ｓ１０２）、字幕表示時刻取得部１１３ａは、受信した字幕データから字幕の表示タイミングを取得し、字幕取得部１１３ｄは、受信した字幕データから字幕を取得する（Ｓ１０３）。
字幕の表示タイミングは、字幕パケットのヘッダに含まれているＰＴＳ（Presentation Time Stamp）を参照することで取得することが可能である。図４は、字幕パケットのヘッダに含まれているＰＴＳを参照するプログラムを示す図である。
字幕の表示タイミングを取得すると、静止画像取得部１１３ｂは、映像パケットから字幕の表示タイミングに再生される映像フレームを抜き出すことで、静止画像を取得する（Ｓ１０４）。

図５は、静止画像の取得方法を説明する図である。対象の映像フレームがＩピクチャの場合は、単一の映像フレームのみで映像表示部１０９に表示される映像を構成できるため、対象の映像フレームのみを抜き出し、そこから静止画像を取得する。対象のフレームがＰピクチャなどの場合は、単一の映像フレームだけでは映像表示部１０９に表示される映像を構成できないため、映像の構成に必要な複数の映像フレームを抜き出し、そこから静止画像を構成したうえで取得する。なお、図５では、ＰフレームとＩフレームしか明示していないが、この他に映像パケット中にＢピクチャが含まれている場合においても、関連する複数のフレームを抜き出し、そこから静止画像を構成した上で取得する。

また、通常は、図６に示すように、字幕の表示タイミングに対応する映像フレームから静止画像を抽出するが、何らかの理由により、字幕の表示タイミングの映像パケットを取得できなかった場合は、図７に示すように、静止画像を抽出することができない。この場合は、図８に示すように、受信したフレームの中で静止画像が抽出可能であって、上述した字幕の表示タイミングに最も近いフレームから静止画像を抽出する。

次に、制御部１１２は、一時保存部１１４ａに既に一時保存されている静止画像があるか否かを判断し（Ｓ１０５）、一時保存されている静止画像が存在しない場合（Ｎｏの場合）、取得した静止画像と、字幕取得部１１３ｄが取得した字幕とを関連付けて一時保存部１１４ａに一時保存する（Ｓ１０６）。
一時保存部１１４ａに既に一時保存されている静止画像が存在する場合（Ｙｅｓの場合）、類似度判定部１１３ｃにより、先に一時保存されている静止画像と今回取得した静止画像の類似度を判定する（Ｓ１０７）（映像コンテンツの動画像から類似シーンを特定する）。また、このときに一時保存されている静止画像が複数存在する場合は、一時保存されている静止画像の中で、最初に一時保存された静止画像と比較をする。

静止画像の類似度を判定する方法としては、例えば、お互いの画素値を比較し、画素値の差が一定値以下の場合は類似画像であると判定するなどの手法でもよい。また、静止画像中に存在するオブジェクトの位置や構造解析により類似度を求めるような手法など、静止画像の類似度を定量的に求めることができる、どのような手法を用いてもよい。

類似度判定の結果、類似画像であると判定された場合（Ｙｅｓの場合）、制御部１１２は、取得した静止画像と字幕取得部１１３ｄが取得した字幕を関連付けて、一時保存部１１４ａに追加保存する（Ｓ１０６）。
類似度判定の結果、類似画像ではないと判定された場合（Ｎｏの場合）、制御部１１２は一時保存部１１４ａに一時保存中の静止画像が複数であるか否かを判断する（Ｓ１０９）。
一時保存部１１４ａに一時保存中の静止画像が複数ではない場合（Ｎｏの場合）、制御部１１２は、一時保存中の静止画像と当該静止画像に関連付けられた字幕を合成した合成画像を生成し、記録蓄積部１１４に保存する（Ｓ１１０）。

携帯電話端末においては固定端末と比較すると放送波の状態が常時変化しており、受信状態によっては映像が乱れる場合がある。合成画像を固定的に生成する手法では、図９に示すように、状態の悪い映像が合成画像として生成される可能性もある。そこで、ステップＳ１０９において、一時保存部１１４ａに一時保存中の静止画像が複数存在する場合（Ｙｅｓの場合）、画像選出部１１３ｅは、一時保存中の複数の静止画像の中から最も状態の良い静止画像を選出する（Ｓ１１１）。

状態の良い静止画像としては、例えばブロックノイズの最も少ない静止画像などが考えられる。ブロックノイズは、画像中のエッジ境界よりもグラデーション部分や比較的のっぺりした部分において目立つ。これは放送に使用される画像圧縮技術においては、図１０に示す８×８ピクセルのブロック単位で離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）がかけられているためである。これによりブロック内の高周波成分を省略することで画像の圧縮を行っているが、場合によっては画像情報が過度に失われ、隣のブロックとの連続性がなくなり、ブロックノイズとなる。
以上の理由と、色よりも輝度によく反応する人間の視覚特性から、画像中のブロックノイズの多さを調べる手法として以下の手法が考えられる（以下、図１１参照）。

対象ブロックの縁に位置するピクセルの輝度値を求める。輝度値はＲＧＢ値から以下の変換式で求められる。

対象ブロックの縁を構成するピクセルについて縁単位での輝度値平均と、平均値を求めた縁側に隣接するブロック内で前記輝度値平均を求めた縁に接する縁の輝度値平均を求め、互いの平均値の差の絶対値を求める。これらは以下の式で行うことができる。

以上の処理を画像中の各ブロックの各縁単位で隣接ブロックとの輝度値の差を求める。ただし、画像の縁の部分に位置するブロックでは、隣接ブロックが存在しない方向の値を求める必要はない。
最終的に画像中の輝度値の差の平均値を求め、この値が最も小さいものをブロックノイズが最も少ない画像とする。

ただし、上記方法は一例であり、これ以外にも、図１２に示すように、画像中のブロックノイズ量を測定するＧＢＩＭ（Generalized Block-edge Impairment Metric）を用いて、最もブロックノイズ量が少ない静止画像を選択してもよいし、その他の画質評価手法を用いてもよい。また、放送波の受信状態とその時点で受信した映像データの品質は、非常に関係が深いことが考えられるため、あえて画像自身の評価を行うのではなく、静止画像とその映像データを受信した時の受信状態を関連付けて記憶させ、最も受信状態が良い状態で受信した時の静止画像を選択してもよい。

最も状態の良い特定の静止画像を選出すると、字幕集約部１１３ｆは、選出されなかった残りの各静止画像に関連付けられていた字幕を、選出された静止画像（代表画像）に関連付けし直すことで字幕の集約を行う（Ｓ１１２）。字幕の集約は、字幕の時系列的な順番を崩さないように集約を行う（動画像から特定した類似シーンに含まれる字幕を集約する）。図１３は、選出された画像に字幕を集約したときのコンテンツ画面の一例を示す図である。

字幕の集約が終了すると、制御部１１２は、選出された静止画像とその静止画像に関連付けされている全ての字幕を合成した合成画像を生成し、記録蓄積部１１４に保存する（Ｓ１１０）。
記録蓄積部１１４に合成画像を保存すると、制御部１１２は、一時保存部１１４ａに一時保存中の全ての静止画像と字幕を消去する（Ｓ１１３）。
消去が完了すると、制御部１１２は、Ｓ１０４で取得した画像にＳ１０３で取得した字幕を関連付けて一時保存部１１４ａに一時保存する（Ｓ１０６）。
以上のような処理を行うことで、ユーザが分かり易いコンテンツを作成することが可能となる。

図１４は、字幕単位で静止画像を取得したときの読むコンテンツの生成例を示す図であり、
図１５は、本発明の処理によって生成された読むコンテンツの例を示す図である。これらの読むコンテンツの生成例から、本発明によれば、映像コンテンツをユーザにとって分かり易い、読むコンテンツへと変換できることが分かる。また、シーン単位ではなく、字幕表示タイミングごとの静止画像をキャプチャし、類似度判定により集約を行うため、シーン内において激しい動きのあるコンテンツなどにおいても、分かり易く集約するだけでなく、情報の抜け落ちも防ぐことが可能になる。また、集約処理時の静止画像選出において画像状態の良い静止画像を選出するため、画像の品質が悪いため分かり難いコンテンツになってしまうことを防ぐこともできる。

なお、上記の処理は、リアルタイムでコンテンツ変換処理を行う場合の処理であるが、このほかに既に記録蓄積部１１４に保存している番組に対してコンテンツ変換処理を行ってもよく、この場合も同様の処理を、録画している番組が終了するまで繰り返す。ただし、この場合も保存している番組に字幕放送が付与されていた場合にのみ処理が実行される。なお、処理内容についてはリアルタイムでの変換処理と同一のため説明を割愛する。

（類似度判定閾値の変更方法）
デジタル放送などで放送される番組には様々なジャンルがあるため、必ずしも同一シーン内において動きの激しいコンテンツばかりではない。例えば、図１６に示すようなニュースシーンを仮定すると、映像内の一部のみが変化することが考えられる。この場合、動きの激しいコンテンツを想定して、図６のフローチャートのステップ１０７において、類似度判定で使用する閾値を高めに設定した場合、ほとんどが類似画像と判断され、過度に集約されてしまうため、分かり易いコンテンツを生成することはできない。また、逆に同一シーン内において動きが余り激しくないコンテンツを想定し、閾値を低めに設定した場合、図１７に示すアクションシーンのように動きの激しいコンテンツでは、抽出した静止画像がほとんど類似画像ではないと判断され、適度に集約されることがないため、分かり易いコンテンツを生成することはできない。

そこで、同一シーン内の映像の動きはコンテンツのジャンルに関連すると考え、番組のジャンル毎に閾値を可変にする。例えばスポーツや映画などは同一シーン内では比較的に動きが激しく、ニュースなどは同一シーン内では比較的に動きが激しくないことが想定できる。そこで、図１８に示すような番組のジャンルに閾値を対応させたテーブルを携帯電話端末内に保持し、変換対象の番組のジャンル毎に閾値を適応的に変化させることで、より分かり易いコンテンツを生成することが可能になる。図１９は、閾値を低めに設定したときのニュースコンテンツの作成例を示す図あり、図２０は、閾値を高めに設定したときのアクションコンテンツの作成例を示す図である。
このように、本発明では、類似度判定の際の閾値を変換対象コンテンツのジャンルに合わせて可変にしているため、ジャンルに応じたコンテンツを生成することが可能である。
コンテンツのジャンル情報の取得方法としては、ＴＳ信号内のイベントインフォメーションテーブル（ＥＩＴ：Event Information Table）にあるコンテント記述子を参照することにより対象番組のジャンルを知ることが可能である。図２１は、イベントインフォメーションテーブルにあるコンテント記述子を参照するプログラムを示す図であり、図２２は、コンテント記述子と番組内容とを関連付けたテーブルを示す図である。

（コンテンツの表示方法）
図２３は、本発明の実施の形態に基づき生成された合成画像からなる読むコンテンツの表示（字幕付き映像コンテンツの表示）形態の一例を示す図である。携帯電話端末は、図２３に示すように、画面を縦にして表示する場合、上部に静止画像を表示し、その下に静止画像に関連付けられている字幕を表示（合成画像の表示）する（集約した字幕を類似シーンの代表画像と共に表示する）。字幕の下には操作可能なキーと説明を分かり易く表示してもよい。また左右キーは静止画像単位でのページの切り替えに割り当てており、左右キーを操作することで書籍のページをめくるように静止画像と字幕を画面に表示していく。なお、字幕の量に合わせて字幕表示領域が自動で増減するようにする。

図２４は、画面を横にした場合の表示形態の一例を示す図である。この場合も基本的には縦画面と同様に、上部に静止画像を表示しその下に字幕を表示（合成画像の表示）する。この場合、静止画像は、縦画面表示時よりも大きく表示することが可能であるが、その分字幕表示領域が制限されてしまうため、画像に関連する字幕を１画面で表示しきれない可能性が高くなる。そこで、表示できるだけの字幕を画面に表示し、現在表示中の静止画像に関連付けられた字幕で画面中に表示されていない字幕がある場合は、上下キーによりスクロールすることで、表示されていなかった字幕を字幕表示領域に表示させる。また、このときまだ表示されていない字幕があることを明示的にユーザに知らせるため、字幕の近くにスクロールが可能なことをじらせるマークを表示してもよい。なお、左右キーは、縦画面表示時と同様に、書籍のページをめくるように、静止画像単位での切替えに使用する。この場合もユーザに明示的に切替え操作が可能なことを知らせるために、画面の端に切替え可能なことを知らせるマークを表示してもよい。

また、縦画面表示、横画面表示に関わらず、図２５に示すような静止画像と字幕の関連付けテーブルを携帯電話端末内に記録し、これに基づき上下キーは字幕単位での切り替え（図中の右側の矢印に相当）、左右キーは画像単位の切り替え（図中の左側の矢印に相当）に対応させるように表示してもよい。

字幕単位で静止画像を取得したときの読むコンテンツの生成例を示す図である。 本発明の合成画像作成装置の基本的な構成を示すブロック図である。 デジタル放送を読むコンテンツに変換するときの処理を説明するフローチャートである。 ＰＴＳを参照するプログラムを示す図である。 静止画像の取得方法を説明する図である。 通常時の静止画像の取得方法を説明する図である。 映像データのパケットをロスしたときの読むコンテンツの生成例を示す図である。 パケットロス時の静止画像の取得方法を説明する図である。 受信状態の悪いときの読むコンテンツの生成例を示す図である。 ８×８ピクセルの処理ブロックを説明する図である。 対象ブロックの輝度値平均を算出する部分を示す図である。 ＧＢＩＭを用いた画像の選択方法を説明する図である。 選出された静止画像に字幕データを集約したときのコンテンツ画面の一例を示す図である。 字幕単位で静止画像を取得したときの読むコンテンツの他の生成例を示す図である。 本発明の処理によって生成された読むコンテンツの例を示す図である。 ニュースシーンの一例を示す図である。 アクションシーンの一例を示す図である。 番組のジャンルと類似度判定で使用する閾値とを関連付けたテーブルを示す図である。 閾値を低めに設定したときのニュースコンテンツの作成例を示す図である。 閾値を高めに設定したときのアクションコンテンツの作成例を示す図である。 コンテント記述子を参照するプログラムを示す図である。 コンテント記述子と番組内容とを関連付けたテーブルを示す図である。 読むコンテンツへと変換した番組の表示形態の一例を示す図である。 画面を横にした場合の表示形態の一例を示す図である。 静止画像と字幕とを関連付けたテーブルを示す図である。

符号の説明

１０１ アンテナ
１０２ チューナ部
１０３ 復調部
１０４ 多重分離部
１０５ 音声デコーダ部
１０６ スピーカ
１０７ 映像デコーダ部
１０８ 表示制御部
１０９ 映像表示部
１１０ 字幕デコーダ部
１１１ データ放送デコーダ部
１１２ 制御部
１１３ コンテンツ変換部
１１３ａ 字幕表示時刻取得部
１１３ｂ 静止画像取得部
１１３ｃ 類似度判定部
１１３ｄ 字幕取得部
１１３ｅ 画像選出部
１１３ｆ 字幕集約部
１１４ 記録蓄積部
１１４ａ 一時保存部

Claims (5)

1. 映像コンテンツから、字幕と、該字幕の表示タイミングと、を取得し、
   前記取得された字幕の表示タイミングに基づき前記映像コンテンツから静止画像を取得し、
   前記取得された字幕と、該字幕の表示タイミングに基づき取得された静止画像と、を関連付けるように制御する制御部と、を備え、
   前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似する場合、当該複数の静止画像のうち１の静止画像と、当該複数の静止画像のそれぞれに関連付けられた字幕と、を合成した合成画像を生成するように制御することを特徴とする合成画像作成装置。
2. 前記制御部は、前記映像コンテンツから取得した複数の静止画像が互いに類似するか否かを判定する際に、類似判定に使用する閾値を、前記映像コンテンツの種類に応じて動的に変更することを特徴とする請求項１に記載の合成画像作成装置。
3. 前記制御部は、前記１の静止画像を、前記複数の静止画像のうちの最も画像品質の良い静止画像とすることを特徴とする請求項１または２に記載の合成画像作成装置。
4. 前記制御部は、前記字幕の表示タイミングに静止画像を取得できなかった場合、取得可能な静止画像のうち前記字幕の表示タイミングに最も近い静止画像を取得することを特徴とする請求項１乃至３のいずれか１項に記載の合成画像作成装置。
5. 字幕付き映像コンテンツの表示方法であって、
   前記映像コンテンツの動画像から類似シーンを特定し、
   該動画像から特定した類似シーンに含まれる字幕を集約し、
   該集約した字幕を、前記類似シーンの代表画像と共に表示することを特徴とする表示方法。

Images