JP2010263529A - 動画像処理装置、動画像処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザにより変更可能な、動画像とともに画面に表示出力される字幕のバリエーションの幅を従来よりも広げることができる動画像処理装置、動画像処理方法及びプログラムを提供する。
【解決手段】画面表示出力部２６が、動画像に含まれるフレーム画像が表示される動画像領域と、動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する。領域変化指示受付部３２が、字幕領域及び動画像領域の少なくとも一方の、画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける。領域変化部３４が、領域変化指示受付部３２が受け付ける指示に応じて、画面内における字幕領域の形状及び大きさの少なくとも一方を変化させる。
【選択図】図２

Description

本発明は、動画像処理装置、動画像処理方法及びプログラムに関する。

例えば、映画のコンテンツが記憶された情報記憶媒体などのように、動画像や音声とともに字幕のデータ（例えば、字幕の画像）が記憶された情報記憶媒体（例えば、ＤＶＤ−ＲＯＭなど）が存在する。そして、このような情報記憶媒体を読み込んで、動画像に重ねて字幕を表示出力する動画像処理装置（例えば、ＤＶＤプレイヤなど）が存在する。特許文献１には、ユーザの操作により字幕を移動することができるディスク再生装置が記載されている。

特開２００４−３２０３２４号公報

動画像処理装置のユーザのなかには、字幕が表示されない方がよいと思うユーザ（具体的には、例えば、動画像処理装置で外国の映画などを鑑賞するユーザなど）もいれば、字幕さえ表示されればよいと思うユーザ（具体的には、例えば、動画像処理装置で外国の映画などを用いた語学の学習を行うユーザなど）もいる。また、字幕として大きな文字が表示されるのがよいと思うユーザもいれば、字幕として多くの文字が表示されるのがよいと思うユーザもいる。このように、一般的に、画面内に字幕がどのように表示されるのが望ましいかは、動画像処理装置を利用する各ユーザで異なる。

本発明は上記課題に鑑みてなされたものであって、ユーザにより変更可能な、動画像とともに画面に表示出力される字幕のバリエーションの幅を従来よりも広げることができる動画像処理装置、動画像処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る動画像処理装置は、動画像に含まれる少なくとも１つのフレーム画像を順次表示出力する動画像処理装置であって、前記動画像に含まれるフレーム画像が表示される動画像領域と、前記動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する画面表示出力手段と、前記字幕領域及び前記動画像領域の少なくとも一方の、前記画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける領域変化指示受付手段と、前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記字幕領域の形状及び大きさの少なくとも一方を変化させる領域変化手段と、を含むことを特徴とする。

また、本発明に係る動画像処理方法は、動画像に含まれる少なくとも１つのフレーム画像を順次表示出力する動画像処理方法であって、前記動画像に含まれるフレーム画像が表示される動画像領域と、前記動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する画面表示出力ステップと、前記字幕領域及び前記動画像領域の少なくとも一方の、前記画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける領域変化指示受付ステップと、前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記字幕領域の形状及び大きさの少なくとも一方を変化させる領域変化ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、動画像に含まれる少なくとも１つのフレーム画像を順次表示出力する動画像処理装置としてコンピュータを機能させるプログラムであって、前記動画像に含まれるフレーム画像が表示される動画像領域と、前記動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する画面表示出力手段、前記字幕領域及び前記動画像領域の少なくとも一方の、前記画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける領域変化指示受付手段、前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記字幕領域の形状及び大きさの少なくとも一方を変化させる領域変化手段、として前記コンピュータを機能させることを特徴とする。

本発明によると、ユーザによる操作に応じて、字幕領域の形状及び大きさの少なくとも一方が変化するので、ユーザにより変更可能な、動画像とともに画面に表示出力される字幕のバリエーションの幅を従来よりも広げることができる。

本発明の一態様では、前記字幕領域の変化に応じて、前記字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる字幕変化手段、をさらに含むことを特徴とする。こうすれば、字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方が変化するので、ユーザにより変更可能な、動画像とともに画面に表示出力される字幕のバリエーションの幅を従来よりも広げることができる。

この態様では、前記字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる指示を受け付ける字幕変化指示受付手段、をさらに含み、前記字幕変化手段が、前記字幕変化指示受付手段が受け付ける指示に応じて、前記字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方を変化させてもよい。こうすれば、ユーザによる字幕として表示される文字の数及び大きさの少なくとも一方の制御が可能となる。

また、本発明の一態様では、前記フレーム画像の少なくとも一部である、前記動画像領域と前記字幕領域とが重なる領域に表示される少なくとも１つの画素の表示態様を変化させる表示態様変化手段、をさらに含むことを特徴とする。こうすれば、動画像領域と字幕領域とが重なる領域に表示される、フレーム画像の少なくとも一部である画素の表示態様が変化するので、ユーザが、動画像領域と字幕領域とが重なる領域を容易に認識することができる。

この態様では、前記表示態様変化手段が、前記少なくとも１つの画素の明度を下げてもよい。こうすれば、動画像領域と字幕領域とが重なる領域に表示される、フレーム画像の少なくとも一部である画素の明度が下がるので、ユーザは、この領域に表示されている字幕の認識が従来よりも容易となる。

また、本発明の一態様では、前記領域変化手段が、前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記動画像領域の形状及び大きさの少なくとも一方を変化させて、前記動画像領域の変化に応じて、前記動画像領域に表示されるフレーム画像の大きさを変化させるフレーム画像変化手段、をさらに含むことを特徴とする。こうすれば、ユーザによるフレーム画像の大きさの制御が可能となる。

本発明の一実施形態に係る動画像処理装置のハードウェア構成の一例を示す図である。 本発明の一実施形態に係る動画像処理装置により実現される機能の一例を示す機能ブロック図である。 単位字幕データのデータ構造の一例を示す図である。 動画像出力画面の一例を示す図である。 本実施形態に係る動画像処理装置で行われる表示出力処理の流れの一例を示すフロー図である。 動画像出力画面の一例を示す図である。 動画像出力画面の一例を示す図である。 動画像出力画面の一例を示す図である。 動画像出力画面の一例を示す図である。 動画像出力画面の一例を示す図である。 動画像出力画面の一例を示す図である。 動画像管理画面の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係る動画像処理装置１０のハードウェア構成の一例を示す図である。図１に示すように、本実施形態に係る動画像処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、通信部１８、入出力部２０、を含んでいる。これらの要素は、バスなどを介して接続される。

制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、動画像処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マウス、マイク、スピーカー、などであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。通信部１８は、例えば、ネットワークボードなどの通信インタフェースであり、ＬＡＮなどのネットワークを介して接続される各種サーバ（図示せず）などとの間で情報の送受信を行う。入出力部２０は、例えば、ＵＳＢインタフェースや、ＣＤ−ＲＯＭドライブや、ＤＶＤドライブなどであり、接続される、ＵＳＢメモリやＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの情報記憶媒体との間でデータの入出力を行う。

図２は、本実施形態に係る動画像処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、動画像処理装置１０は、動画像取得部２２、単位字幕データ取得部２４、画面表示出力部２６、単位字幕データ特定部２８、単位字幕選択操作受付部３０、領域変化指示受付部３２、領域変化部３４、字幕変化部３６、フレーム画像変化部３８、表示態様変化部４０、字幕変化指示受付部４２、動画像管理画面制御部４４、を含むものとして機能する。これらの要素は制御部１２を主として実現される。

これらの要素は、コンピュータである動画像処理装置１０にインストールされたプログラムを、動画像処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＵＳＢメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して動画像処理装置１０に供給される。

本実施形態では、入出力部２０を介して接続されるＵＳＢメモリに、動画像、音声データ、及び、少なくとも１つの単位字幕データ４６、言語は異なるが意味が対応する単語やフレーズ同士が互いに関連付けられた辞書データ、単語を示す単語データ、などが記憶されている。図３は、単位字幕データ４６のデータ構造の一例を示す図である。

本実施形態では、動画像は少なくとも１つのフレーム画像４８を含んでいる（図４参照）。そして、各フレーム画像４８は、表示出力される順序を示すデータに関連付けられている。本実施形態では、各フレーム画像４８は、例えば、動画像の開始時点からの経過時間（時、分、秒や、フレーム数など）を示すタイムコードと関連付けられている。そして、本実施形態では、音声データは、動画像と同期して再生出力されるよう動画像に関連付けられている。

図３に示すように、単位字幕データ４６は、単位字幕データ４６の識別子である単位字幕データＩＤ５０、字幕の文字列を示す字幕文字列データ５２、字幕文字列データ５２の少なくとも一部に関連付けられている部分に関連する内容の文字列や画像などを示す関連内容データ５４、字幕に対応する少なくとも１つのフレーム画像４８や、字幕に対応するフレーム画像４８の区間などを示すデータ（本実施形態では、例えば、開始タイムコード５６及び終了タイムコード５８）、字幕の言語（例えば、英語や日本語など）を示す言語データ６０を含んでいる。このように、本実施形態では、単位字幕データ４６は、開始タイムコード５６及び終了タイムコード５８により、動画像の少なくとも一部である部分動画像に関連付けられている。なお、単位字幕データ４６のデータ構造は、上述のデータ構造には限定されない。

動画像取得部２２は、動画像を取得する。動画像取得部２２は、例えば、入出力部２０を介して接続されるＵＳＢメモリやＤＶＤ−ＲＯＭなどの情報記憶媒体に記憶されている動画像や、通信部１８を介して接続されるサーバに記憶されている動画像を取得する。

単位字幕データ取得部２４は、動画像取得部２２が取得する動画像に対応する単位字幕データ４６を取得する。本実施形態では、単位字幕データ取得部２４は、複数の単位字幕データ４６を取得する。

画面表示出力部２６は、図４に例示する動画像出力画面６２をディスプレイなどのＵＩ部１６に表示出力する。動画像出力画面６２は、例えば、動画像に含まれるフレーム画像４８が表示される動画像領域６４と、字幕が表示される字幕領域６６（図４の例では、縦長の帯状の領域）と、動画像領域６４と字幕領域６６との境界を示す境界画像６８（図４の例では、縦長の棒状の画像）と、を含んでいる。図４の例では、字幕領域６６が動画像領域６４の右側に配置されているが、字幕領域６６が動画像領域６４の左側に配置されていてもよい。

画面表示出力部２６は、関連付けられている部分動画像が互いに異なる（例えば、開始タイムコード５６及び終了タイムコード５８の少なくとも一方が互いに異なる）複数の単位字幕データ４６それぞれに対応する単位字幕７０を字幕領域６６に表示出力する。本実施形態では、画面表示出力部２６は、例えば、対応する単位字幕データ４６に含まれる開始タイムコード５６の順序で、上から下に並んで配置されている複数の単位字幕７０全体から構成される全体字幕画像を生成して、その少なくとも一部を字幕領域６６に表示出力する。このとき、画面表示出力部２６は、図４に示すように、日本語の単位字幕７０と英語の単位字幕７０とが交互に配置された全体字幕画像を生成してもよい。このように、画面表示出力部２６は、含まれる言語データ６０が互いに異なり、かつ、含まれる開始タイムコード５６が互いに対応する単位字幕データ４６について、それらの単位字幕データ４６に対応する単位字幕７０が並んで配置された全体字幕画像を生成してもよい。

また、図４に示すように、本実施形態では、字幕領域６６にスクロールバー７２が含まれている。スクロールバー７２に含まれるノブ７４の位置は、字幕領域６６に表示される画像（全体字幕画像の少なくとも一部）の、全体字幕画像内における位置に対応している。そして、ユーザがマウスなどのＵＩ部１６によりスクロールバー７２を上下にドラッグする操作を実行すると、画面表示出力部２６は、この操作に応じて、字幕領域６６に表示される画像の全体字幕画像内における位置を変更する（すなわち、全体字幕画像をスクロールする）。このようにして、画面表示出力部２６は、字幕領域６６に表示される画像を更新する。

本実施形態では、画面表示出力部２６は、所定時間（例えば、１／６０秒）毎に、動画像に含まれるフレーム画像４８を、関連付けられているタイムコードの順序で、順次、動画像領域６４に表示出力する。このように、本実施形態では、画面表示出力部２６は、動画像を再生出力する。なお、本実施形態では、画面表示出力部２６は、動画像とともに、この動画像に関連付けられている音声データも再生出力する。そして、本実施形態では、画面表示出力部２６は、ユーザから受け付ける、フレーム画像４８の表示出力間隔（フレームレート）の変更操作に応じて、フレーム画像４８のフレームレートを変更する。

そして、画面表示出力部２６は、所定時間間隔（フレーム画像４８のフレームレートに対応しても、しなくてもよい）で字幕を字幕領域６６に表示出力する。ここで、画面表示出力部２６により所定時間間隔で行われる字幕の表示出力処理の流れの一例を図５に例示するフロー図を参照しながら説明する。

まず、画面表示出力部２６は、動画像領域６４に表示されているフレーム画像４８のタイムコードを取得する（Ｓ１０１）。そして、画面表示出力部２６は、開始タイムコード５６と終了タイムコード５８との間に、Ｓ１０１に示す処理で取得するタイムコードが含まれている、少なくとも１つの単位字幕データ４６を特定する（Ｓ１０２）。ここで、画面表示出力部２６は、含まれる言語データ６０が互いに異なる複数の単位字幕データ４６（例えば、英語の単位字幕データ４６と日本語の単位字幕データ４６）を特定してもよい。

そして、Ｓ１０２に示す処理で特定される単位字幕データ４６に対応する単位字幕７０が、字幕領域６６に表示されているか否かを確認する（Ｓ１０３）。表示されていない場合は（Ｓ１０３：Ｎ）、画面表示出力部２６は、Ｓ１０２に示す処理で特定される単位字幕データ４６に対応する単位字幕７０が字幕領域６６に表示されるよう、字幕領域６６に表示される画像を更新する（Ｓ１０４）。画面表示出力部２６は、例えば、字幕領域６６に表示される画像の全体字幕画像内における位置を変更する。画面表示出力部２６は、より具体的には、例えば、Ｓ１０２に示す処理で特定される単位字幕データ４６に対応する単位字幕７０が、字幕領域６６の下端部に配置されるよう、全体字幕画像のスクロール処理を実行する。このように、本実施形態では、画面表示出力部２６は、動画像領域６４に表示されるフレーム画像４８に対応する単位字幕７０が字幕領域６６に表示されていない場合に、字幕領域６６に表示される単位字幕７０を更新する。

そして、画面表示出力部２６は、字幕領域６６に表示される画像の更新に応じて、字幕領域６６に表示されるノブ７４の位置を更新する（Ｓ１０５）。

Ｓ１０３に示す処理で、単位字幕データ４６に対応する単位字幕７０が、字幕領域６６に表示されていることが確認される場合（Ｓ１０３：Ｙ）、又は、Ｓ１０５に示す処理が終了した場合は、画面表示出力部２６は、Ｓ１０２に示す処理で特定される単位字幕データ４６に対応する単位字幕７０上に、動画像領域６４に表示されているフレーム画像４８に対応する単位字幕７０であることを示す強調画像７６を表示出力する（Ｓ１０６）。

このように、本実施形態では、画面表示出力部２６は、動画像領域６４に表示されるフレーム画像４８に対応する単位字幕７０を、この単位字幕７０以外の単位字幕７０とは異なる表示態様（例えば、単位字幕７０上に強調画像７６が表示されるよう）で表示出力する。

なお、本処理例では、上述のＳ１０２に示す処理で、上述の条件を満足する単位字幕データ４６が存在しない場合には、上述のＳ１０６に示す処理において、画面表示出力部２６は、強調画像７６の表示出力を実行しない。このように、本処理例では、例えば、動画像処理装置１０が映画の動画像を再生出力している際に、登場人物がセリフを話さない期間（例えば、銃撃戦の場面など）については、画面表示出力部２６は、強調画像７６の表示出力を実行しないこととなるので、ユーザは、字幕領域６６に強調画像７６が表示されているか否かによって、登場人物がセリフを話している期間であるか否かを判断することができる。

また、画面表示出力部２６は、例えば、ユーザからの要求に応じて、上述のＳ１０３〜Ｓ１０５に示す処理を実行するかしないかを制御するようにしてもよい。こうすれば、ユーザにより、Ｓ１０３〜Ｓ１０５に示す処理を実行しないよう画面表示出力部２６が制御される際には、動画像の再生が進んでも字幕領域６６はスクロールされないので、ユーザは、動画像の再生の進行の影響を受けることなく、字幕領域６６に表示されている単位字幕７０を見ることができる。

なお、字幕の表示出力処理の流れは上述の処理例には限定されない。例えば、画面表示出力部２６が、動画像領域６４にフレーム画像４８を順次表示出力する毎に、そのフレーム画像４８のタイムコードに対応する開始タイムコード５６（あるいは、終了タイムコード５８）を含む単位字幕データ４６が存在するか否かを確認してもよい。そして、画面表示出力部２６が、単位字幕データ４６の存在を確認した際には、上述のＳ１０３〜Ｓ１０６と同様の処理により、字幕領域６６に表示される画像を更新してもよい。

また、画面表示出力部２６が、フレーム画像４８のタイムコードと、単位字幕データ４６に含まれる開始タイムコード５６や終了タイムコード５８に基づいて、単位字幕７０の切り替わりタイミングを検出してもよい。そして、画面表示出力部２６が、単位字幕７０の切り替わりタイミングを検出した際に、上述のＳ１０３〜Ｓ１０６と同様の処理により、字幕領域６６に表示される画像を更新してもよい。

また、本実施形態では、画面表示出力部２６は、ユーザによる動画像の再生開始要求（例えば、動画像の最初からの再生開始要求や、動画像の途中からの再生開始要求など）を受け付けて、再生開始の対象となるフレーム画像４８（例えば、最初のフレーム画像４８や、ユーザにより指定されるフレーム画像４８など）のタイムコードに基づいて、上述のＳ１０２と同様の処理により、少なくとも１つの単位字幕データ４６を特定する。そして、画面表示出力部２６は、その単位字幕データ４６に対応する単位字幕７０（以下、開始単位字幕と呼ぶ。）を含む、全体字幕画像の少なくとも一部を字幕領域６６に表示出力する初期化処理を実行する。なお、画面表示出力部２６は、初期化処理において、開始単位字幕を、字幕領域６６の中央部に表示出力してもよい。もちろん、画面表示出力部２６は、開始単位字幕を、字幕領域６６の上端部や下端部に表示出力してもよい。このようにして、本実施形態では、画面表示出力部２６は、動画像の再生を開始する際に、再生開始の対象となるフレーム画像４８に対応する単位字幕７０、及び、その付近（例えば、その前後数個の単位字幕７０）を字幕領域６６に表示出力する。なお、画面表示出力部２６は、表示出力される単位字幕７０の数を、字幕として表示される文字の大きさに基づいて決定してもよい。また、画面表示出力部２６は、表示出力される単位字幕７０の数を、字幕領域６６の大きさと単位字幕７０の文字の大きさとの比較結果に基づいて決定してもよい。なお、画面表示出力部２６は、所定時間間隔で行われる字幕の表示出力処理の際に、上述のＳ１０１〜Ｓ１０６に示す処理の代わりに、上述の初期化処理と同様の処理を実行してもよい。

また、本実施形態では、ユーザにより、動画像領域６４に表示されるフレーム画像４８の変更操作（例えば、動画像領域６４の下端部に表示出力されるスライド可能なバー（図示せず）の操作）が行われた際に、画面表示出力部２６は、ユーザにより選択されたフレーム画像４８を動画像領域６４に表示出力する。そして、画面表示出力部２６は、そのフレーム画像４８に基づいて、図５の処理例のような、字幕領域６６に表示される画像のスクロール処理や、強調画像７６の表示出力処理を実行する。

また、本実施形態では、動画像の再生中に、ユーザにより、繰り返し再生操作（例えば、繰り返し再生ボタン（図示せず）を押下する操作）が行われた際に、画面表示出力部２６は、押下されたタイミングに動画像領域６４に表示されているフレーム画像４８に対応する単位字幕データ４６を特定する。そして、画面表示出力部２６は、その単位字幕データ４６に含まれる開始タイムコード５６から終了タイムコード５８までの期間に対応する部分動画像を所定回繰り返し動画像領域６４に表示出力する。このとき、画面表示出力部２６は、部分動画像の繰り返し再生が終了する度に再生を所定時間だけ一時停止しても構わない。本実施形態では、上述の繰り返し再生の後、画面表示出力部２６は、動画像の続きの部分を動画像領域６４に表示出力する。このように、画面表示出力部２６は、ユーザから受け付ける操作に基づいて特定される単位字幕データ４６に関連付けられる部分動画像を、所定回繰り返して動画像領域６４に表示出力してもよい。

単位字幕データ特定部２８は、ユーザから受け付ける操作に基づいて、少なくとも１つの単位字幕データ４６を特定する。本実施形態では、例えば、単位字幕データ特定部２８は、動画像の表示出力中に、ユーザから、少なくとも１つの言語を指定する操作を受け付けると、その操作により指定される少なくとも１つの言語を示す言語データ６０を含む単位字幕データ４６を特定する。このように、本実施形態では、単位字幕データ特定部２８は、言語データ６０と、ユーザから受け付ける操作と、に基づいて、単位字幕データ４６を特定する。そして、画面表示出力部２６は、このようにして特定された単位字幕データ４６に対応する単位字幕７０を字幕領域６６に表示出力する。このようにして、本実施形態では、ユーザが特定の言語の字幕（例えば、英語の字幕だけ、日本語の字幕だけ、あるいは、英語の字幕と日本語の字幕の両方）を字幕領域６６に表示させることができる。

単位字幕選択操作受付部３０は、ユーザから、字幕領域６６に表示されている複数の単位字幕７０のうちのいずれかを選択する単位字幕選択操作を受け付ける。そして、単位字幕選択操作受付部３０は、本実施形態では、受け付けた単位字幕選択操作に基づいて、動画像領域６４に表示されるフレーム画像４８を特定する。単位字幕選択操作受付部３０は、例えば、選択された単位字幕７０に対応する単位字幕データ４６に含まれる開始タイムコード５６を特定する。そして、単位字幕選択操作受付部３０は、この開始タイムコード５６に対応するフレーム画像４８を特定する。そして、画面表示出力部２６は、特定されたフレーム画像４８を動画像領域６４に表示出力する。そして、本実施形態では、画面表示出力部２６は、このフレーム画像４８以降のフレームのフレーム画像４８を、所定時間（例えば、１／６０秒）毎に、順次、動画像領域６４に表示出力する。このようにして、本実施形態では、ユーザは、鑑賞したい部分動画像に対応する字幕の画像を選択することにより、その部分動画像を鑑賞することができる。

領域変化指示受付部３２は、字幕領域６６及び動画像領域６４の少なくとも一方の、動画像出力画面６２内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける。領域変化部３４は、領域変化指示受付部３２が受け付ける指示に応じて、動画像出力画面６２内における字幕領域６６の形状及び大きさの少なくとも一方を変化させる。また、本実施形態では、領域変化部３４は、領域変化指示受付部３２が受け付ける指示に応じて、動画像出力画面６２内における動画像領域６４の形状及び大きさの少なくとも一方も変化させる。

字幕変化部３６は、字幕領域６６の変化に応じて、字幕領域６６に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる。フレーム画像変化部３８は、動画像領域６４の変化に応じて、動画像領域６４に表示されるフレーム画像４８の大きさを変化させる。

本実施形態では、具体的には、例えば、図４に示す動画像出力画面６２において、動画像の表示出力中に、ユーザが、マウスなどのＵＩ部１６により境界画像６８を左に移動する操作を実行すると、領域変化指示受付部３２がこの操作を受け付ける。そして、領域変化部３４は、境界画像６８の表示位置を左に変化させる。図６に、境界画像６８の表示位置が左に変化した後の動画像出力画面６２の一例を示す。図６に示すように、境界画像６８の表示位置が左に変化することで、動画像領域６４の幅は狭くなり、字幕領域６６の幅は広くなる。そして、領域変化部３４は、動画像領域６４に表示されるフレーム画像４８の高さと幅との比を保ちつつ、フレーム画像４８の幅が動画像領域６４の幅に対応するよう、フレーム画像４８を小さくする。領域変化部３４は、さらに、字幕領域６６に表示される単位字幕７０の幅を広くする。このことによって、本実施形態では、字幕領域６６に字幕として表示される文字の数が多くなる。

このようにして、本実施形態では、動画像を楽しみたいユーザや、字幕による語学の学習を行うユーザなどといった、動画像処理装置１０を活用するユーザの多様なニーズに対応することができる。

そして、本実施形態では、画面表示出力部２６は、単位字幕データ４６の少なくとも一部を指定するユーザの操作に応じて、この一部に関連する内容を表示出力する。画面表示出力部２６は、具体的には、例えば、図７に示すように、単位字幕７０の少なくとも一部を指定するユーザの操作に応じて、この一部に関連付けられている関連内容データ５４に対応する関連内容画像７８を、単位字幕７０に重なるようにして字幕領域６６内に表示出力する。なお、関連内容画像７８の表示位置は上述の例に限定されない。例えば、画面表示出力部２６は、関連内容画像７８を、動画像領域６４内のフレーム画像４８の付近（例えば、上や下）に表示出力してもよい。

また、本実施形態では、領域変化指示受付部３２は、動画像領域６４と字幕領域６６との位置関係を変更する指示をユーザから受け付ける。そして、領域変化部３４が、この指示に応じて動画像領域６４と字幕領域６６との位置関係を変化させる。領域変化指示受付部３２は、具体的には、例えば、図４、図６、及び、図７に示すように、動画像出力画面６２内に動画像領域６４と字幕領域６６とが左右に並んで配置されている状態から、図８に示すように、動画像出力画面６２内に動画像領域６４と字幕領域６６とが上下に並んで配置されている状態に変化する指示を受け付ける。そして、領域変化部３４がこの指示に応じて、動画像領域６４と字幕領域６６とを上下に並べてディスプレイなどのＵＩ部１６に表示出力する。なお、図８の例では、画面表示出力部２６が、字幕領域６６に、字幕として表示される文字列の他に、単位字幕データＩＤ５０及び開始タイムコード５６を併せて表示出力する。

このように、動画像領域６４と字幕領域６６とが上下に並んでいる状態で、ユーザが、マウスなどのＵＩ部１６により境界画像６８を上に移動する操作を実行すると、領域変化指示受付部３２はこの操作を受け付ける。そして、領域変化部３４が、境界画像６８の表示位置を上に変化させる。図９に、境界画像６８の表示位置が上に変化した後の動画像出力画面６２の一例を示す。そして、領域変化部３４が、フレーム画像４８の高さが動画像領域６４の高さに対応するよう、フレーム画像４８を小さくして、字幕領域６６に表示される単位字幕７０の数を多くする。このことによって、字幕領域６６に字幕として表示される文字の数が多くなる。なお、図８及び図９の例では、字幕領域６６が動画像領域６４の下側に配置されているが、字幕領域６６が動画像領域６４の上側に配置されていてもよい。

また、本実施形態では、領域変化指示受付部３２は、字幕領域６６を動画像領域６４に重ねる指示をユーザから受け付ける。そして、領域変化部３４が、この指示に応じて、図１０に示すように、字幕領域６６を動画像領域６４に重ねてディスプレイなどのＵＩ部１６に表示出力する。図１０の例では、字幕領域６６と動画像領域６４とが完全に重なっている。なお、字幕領域６６の一部と動画像領域６４の一部とが重なっていても構わない。

表示態様変化部４０は、フレーム画像４８の少なくとも一部である、動画像領域６４と字幕領域６６とが重なる領域に表示される少なくとも１つの画素の表示態様（例えば、色や明度や透明度など）を変化させる。表示態様変化部４０は、例えば、図１０に示すように、字幕領域６６と動画像領域６４とが完全に重なっている場合は、動画像領域６４に表示出力されているフレーム画像４８に含まれる全ての画素の明度を下げる。このようにすれば、字幕領域６６と動画像領域６４とが重なっていても、ユーザは、字幕として示されている文字を明瞭に読み取ることができる。

字幕変化指示受付部４２は、字幕領域６６に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる指示を受け付ける。そして、本実施形態では、字幕変化部３６が、字幕変化指示受付部４２が受け付ける指示に応じて、字幕領域６６に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる。例えば、字幕変化指示受付部４２が、字幕として表示される文字を大きく変化させる指示を受け付けた際には、字幕変化部３６は、図１１に示すように、字幕領域６６に字幕として表示される文字を大きくする。このようにして、ユーザが字幕として表示される文字の大きさや文字の数を制御することができる。

動画像管理画面制御部４４は、ユーザからの要求に応じて、図１２に例示する、動画像管理画面８０の表示出力などを行う。

ユーザが検索フォーム８２に検索文字列を入力して、検索ボタン８４を押下すると、動画像管理画面制御部４４は、ＵＳＢメモリなどに記憶されている、単語データや、単位字幕データ４６などのうちから、検索文字列を含むデータを取得して、リスト表示部８６に一覧として表示出力する。

ここで、ユーザが、一覧として表示出力されているデータのうちの１つを選択すると、動画像管理画面制御部４４は、選択されたデータの詳細な内容（フレーズや、メモや、翻訳や、対応する部分動画像など）を詳細表示部８８に表示出力する。また、動画像管理画面制御部４４は、選択されたデータに含まれる単語に関する辞書データを辞書表示部９０に表示出力する。また、本実施形態では、動画像管理画面制御部４４（画面表示出力部２６でもよい）は、例えば、ユーザにより指定される単位字幕７０や単位字幕データ４６に基づいて、その単位字幕７０や単位字幕データ４６に対応する語句に関する辞書データを表示出力する。動画像管理画面制御部４４は、より具体的には、例えば、単位字幕７０に関連付けて字幕領域６６に表示される辞書表示ボタン（図示せず）を押下する操作をユーザから受け付けて、その単位字幕７０に対応する単位字幕データ４６に含まれる字幕文字列データ５２に基づいて特定される語句（例えば、字幕文字列データ５２が示す文字列に含まれる単語やフレーズ）に関する辞書データを辞書表示部９０に一覧として表示出力する。

そして、ユーザは、動画像管理画面８０に含まれる、プルダウンメニューとなっているラベル設定タグ９２により、少なくとも１つのラベルのうちから１つのラベルを選択すると、動画像管理画面制御部４４が、選択されたラベルに対応するラベルデータを、詳細表示部８８に表示出力されているデータに対応する単語データや単位字幕データ４６に関連付けて記憶部１４に出力する。また、動画像管理画面制御部４４は、所定の条件を満足する単位字幕データ４６に、その条件に対応するラベルを予め関連付けて記憶部１４に出力してもよい。なお、ユーザが検索フォーム８２に検索文字列を入力して、検索ボタン８４を押下する際に、少なくとも１つのラベルフィルタ９４が選択されている場合は、選択されているラベルフィルタ９４に対応するラベルに関連付けられている単語データや単位字幕データ４６のうちから、検索文字列を含むデータを特定する。

また、本実施形態では、画面表示出力部２６は、ユーザから受け付ける操作に応じて、字幕領域６６に、単位字幕７０に対応するブックマーク選択画像９６を表示出力するか否かを制御する（図８、図９及び図１０参照）。そして、ユーザがマウスなどのＵＩ部１６により、ブックマーク選択画像９６を選択する操作を実行すると、画面表示出力部２６が、このブックマーク選択画像９６に対応する単位字幕データ４６に、ブックマークが付されたことを示すブックマークデータを関連付けて記憶部１４に出力する。そして、本実施形態では、動画像管理画面制御部４４は、リスト表示部８６に、ブックマークデータに関連付けられている単位字幕データ４６に対応するデータ（例えば、単位字幕データ４６に含まれる字幕文字列データ５２）を表示出力する際に、このデータにブックマークが付されていることを示す画像を併せて表示出力する。

なお、本発明は上記実施形態に限定されるものではない。

例えば、動画像処理装置１０が、クイズ機能を提供してもよい。動画像処理装置１０は、具体的には、例えば、出題される問題として、単位字幕データ４６に含まれる字幕文字列データ５２が示す文字列の一部を隠してディスプレイなどのＵＩ部１６に表示出力する。そして、動画像処理装置１０は、その単位字幕データ４６に関連付けられている部分動画像をディスプレイなどのＵＩ部１６に表示出力する。そして、動画像処理装置１０は、ユーザから文字列の入力を受け付けて、この文字列と空欄として入るべき文字列とが対応するか否かに基づいて、ユーザが正解したか否かを判断する。なお、動画像処理装置１０が、複数の選択肢をディスプレイなどのＵＩ部１６に表示出力してもよい。そして、それらの選択肢のうちからユーザにより選択される選択肢に基づいて、ユーザが正解したか否かを判断してもよい。そして、動画像処理装置１０は、ユーザの正解率や、各問題についてユーザが正解したか否かを示す画像をディスプレイなどのＵＩ部１６に表示出力する。

１０ 動画像処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、１８ 通信部、２０ 入出力部、２２ 動画像取得部、２４ 単位字幕データ取得部、２６ 画面表示出力部、２８ 単位字幕データ特定部、３０ 単位字幕選択操作受付部、３２ 領域変化指示受付部、３４ 領域変化部、３６ 字幕変化部、３８ フレーム画像変化部、４０ 表示態様変化部、４２ 字幕変化指示受付部、４４ 動画像管理画面制御部、４６ 単位字幕データ、４８ フレーム画像、５０ 単位字幕データＩＤ、５２ 字幕文字列データ、５４ 関連内容データ、５６ 開始タイムコード、５８ 終了タイムコード、６０ 言語データ、６２ 動画像出力画面、６４ 動画像領域、６６ 字幕領域、６８ 境界画像、７０ 単位字幕、７２ スクロールバー、７４ ノブ、７６ 強調画像、７８ 関連内容画像、８０ 動画像管理画面、８２ 検索フォーム、８４ 検索ボタン、８６ リスト表示部、８８ 詳細表示部、９０ 辞書表示部、９２ ラベル設定タグ、９４ ラベルフィルタ、９６ ブックマーク選択画像。

Claims (8)

1. 動画像に含まれる少なくとも１つのフレーム画像を順次表示出力する動画像処理装置であって、
   前記動画像に含まれるフレーム画像が表示される動画像領域と、前記動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する画面表示出力手段と、
   前記字幕領域及び前記動画像領域の少なくとも一方の、前記画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける領域変化指示受付手段と、
   前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記字幕領域の形状及び大きさの少なくとも一方を変化させる領域変化手段と、
   を含むことを特徴とする動画像処理装置。
2. 前記字幕領域の変化に応じて、前記字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる字幕変化手段、をさらに含む、
   ことを特徴とする請求項１に記載の動画像処理装置。
3. 前記字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる指示を受け付ける字幕変化指示受付手段、をさらに含み、
   前記字幕変化手段が、前記字幕変化指示受付手段が受け付ける指示に応じて、前記字幕領域に字幕として表示される文字の数及び大きさの少なくとも一方を変化させる、
   ことを特徴とする請求項２に記載の動画像処理装置。
4. 前記フレーム画像の少なくとも一部である、前記動画像領域と前記字幕領域とが重なる領域に表示される少なくとも１つの画素の表示態様を変化させる表示態様変化手段、をさらに含む、
   ことを特徴とする請求項１から３のいずれか一項に記載の動画像処理装置。
5. 前記表示態様変化手段が、前記少なくとも１つの画素の明度を下げる、
   ことを特徴とする請求項４に記載の動画像処理装置。
6. 前記領域変化手段が、前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記動画像領域の形状及び大きさの少なくとも一方を変化させて、
   前記動画像領域の変化に応じて、前記動画像領域に表示されるフレーム画像の大きさを変化させるフレーム画像変化手段、をさらに含む、
   ことを特徴とする請求項１から５のいずれか一項に記載の動画像処理装置。
7. 動画像に含まれる少なくとも１つのフレーム画像を順次表示出力する動画像処理方法であって、
   前記動画像に含まれるフレーム画像が表示される動画像領域と、前記動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する画面表示出力ステップと、
   前記字幕領域及び前記動画像領域の少なくとも一方の、前記画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける領域変化指示受付ステップと、
   前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記字幕領域の形状及び大きさの少なくとも一方を変化させる領域変化ステップと、
   を含むことを特徴とする動画像処理方法。
8. 動画像に含まれる少なくとも１つのフレーム画像を順次表示出力する動画像処理装置としてコンピュータを機能させるプログラムであって、
   前記動画像に含まれるフレーム画像が表示される動画像領域と、前記動画像の少なくとも一部に関連付けられる字幕が表示される字幕領域と、を含む画面を表示出力する画面表示出力手段、
   前記字幕領域及び前記動画像領域の少なくとも一方の、前記画面内における形状及び大きさの少なくとも一方を変化させる指示をユーザから受け付ける領域変化指示受付手段、
   前記領域変化指示受付手段が受け付ける指示に応じて、前記画面内における前記字幕領域の形状及び大きさの少なくとも一方を変化させる領域変化手段、
   として前記コンピュータを機能させることを特徴とするプログラム。

Images