JP2011015076A - 映像装置 - Google Patents

Abstract

【課題】映像と同時に出力される字幕が黒帯に配置される場合、映像を拡大して出力させると、表示されなかった字幕を表示できる映像装置を提供する。
【解決手段】受信した映像情報に基づいて構成される映像を横方向にスキャンして輝度分布を測定し（０２０５）、それに基づき字幕位置を判定し（０２０７）、判定結果を元に判定された字幕位置から字幕を抜き出し（０２０３）、受信した映像情報で配置される字幕位置とは異なる位置に字幕を出力する（０２０４）ことができる映像装置。
【選択図】図２

Description

本発明は、ディスプレイに表示される映像に含まれる字幕を判定して抜き出し、任意の位置に字幕を表示させる技術に関する。

近年の技術の進歩によって、映画などのコンテンツを楽しむためのメディアとしてＢｌｕ−ｒａｙ（登録商標）が一般的に普及してきている。このＢｌｕ−ｒａｙを用いることで、例えば、映画であれば高解像度かつ映画館のスクリーンに近いアスペクト比２．３５：１での収録も可能となるため、現在では、Ｂｌｕ−ｒａｙ収録される映画コンテンツは２．３５：１で収録されることが多い。

しかしながら、従来のテレビの一般的なアスペクト比は４：３、もしくは１６：９である。したがって、２．３５：１という従来とは異なる比率の映像を表示する場合は、映像の上下に黒帯を付加したり、特許文献１に記載のように映像の左右を画面外にはみ出させて上下を画面いっぱいになるようにするなどの映像処理がおこなわれて表示される。

特開２００８−１６７２６５

しかしこの場合、映像と同時に出力される字幕が黒帯に配置される場合、もしくは複数行出力される字幕が映像と映像外にまたがって配置される場合に、映像を拡大して出力させると映像外に配置される字幕は表示されなくなるという課題がある。

以上の課題を解決するために、本発明は、受信した映像情報から字幕位置を判定し、判定結果を元に字幕を抜き出し、受信した映像情報で配置される字幕位置とは異なる位置に字幕を出力することができることを特徴とする映像装置を提供する。具体的には、以下のような映像装置である。

第一発明では、映像情報を受信する映像情報受信部と、受信した映像情報に基づいて映像を構成する映像構成部と、映像構成部で構成された映像をディスプレイに出力する出力部と、映像情報に基づいて構成される映像を横方向にスキャンして輝度分布を測定する輝度分布測定部と、輝度分布に基づき字幕位置を判定する位置判定基準を保持する位置判定基準保持部と、輝度分布測定部での測定結果と、保持されている判定基準に基づいて字幕位置を判定する判定部と、判定された字幕位置から字幕を抜き出し、受信した映像情報中で定められた配置と異なる配置に変更するよう映像構成部を制御する制御部と、を有する映像装置を提供する。

第二発明では、第一発明を基本として、音声情報に基づいて定められる音声出力タイミングを利用して字幕の有無を判定する有無判定基準を保持する有無判定基準保持部をさらに有する映像装置を提供する。

第三発明では、第一発明又は第二発明を基本として制御部は、判定された字幕位置から字幕を抜き出し、受信した映像情報中で定められたタイミングと異なるタイミングで字幕が表示されるように映像構成部を制御するタイミング制御手段をさらに有す映像装置を提供する。

第四発明では、第一発明から第三発明のいずれか一を基本として制御部は、受信した映像情報から構成される映像のなかでディスプレイ画面中にフル表示させる領域を変更するフル表示領域変更手段を有する映像装置を提供する。

以上のように、映像装置のディスプレイに映像とともに出力される字幕位置を判定し、字幕を抜き出してディスプレイに出力することができる本発明によって、映像外に字幕が出力されることで字幕が切れてしまうことや、映像と映像外にまたがって字幕が表示されることを防ぐことが可能となる。これにより、中途半端な字幕情報だけが与えられることでユーザに対して与える違和感、不快感を防ぐことが可能となる。

本発明の概要を説明するための概略図 実施例１の映像装置における機能的要件の一例を示した図 実施例１の映像装置における位置判定基準の一例を示した図 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ａ） 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ｂ） 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ｃ） 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ｄ） 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ｅ） 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ｆ） 実施例１の映像装置における輝度分布測定部で測定された輝度分布を元に、位置判定基準保持部に保持されている位置判定基準に基づいて字幕位置を判定するその一例を説明するための図（ｇ） 実施例１の映像装置における映像装置が有無判定基準を備えるときの機能的要件の一例を示した図 実施例１の映像装置における実際に抜き出された字幕を受信した映像情報が示す字幕の出力位置とは異なる位置に出力した一例を示した図（ａ） 実施例１の映像装置における実際に抜き出された字幕を受信した映像情報が示す字幕の出力位置とは異なる位置に出力した一例を示した図（ｂ） 実施例１の映像装置における実際に抜き出された字幕を受信した映像情報が示す字幕の出力位置とは異なる位置に出力した一例を示した図（ｃ） 実施例１の映像装置における映像装置の制御部がタイミング制御手段を備えるときの機能的要件の一例を示した図 実施例１の映像装置におけるタイミング制御手段を用いて、字幕を異なる時間で表示させるその一例を示した図（ａ） 実施例１の映像装置におけるタイミング制御手段を用いて、字幕を異なる時間で表示させるその一例を示した図（ｂ） 実施例１の映像装置における映像装置の制御部がフル表示領域変更手段を備えるときの機能的要件の一例を示した図 実施例１の映像装置におけるフル表示領域変更手段がフル画面表示を行う一例を示した図（ａ） 実施例１の映像装置におけるフル表示領域変更手段がフル画面表示を行う一例を示した図（ｂ） 実施例１の映像装置におけるハードウェア構成の一例を表す概念図 実施例１の映像装置における映像情報の受信から、字幕領域を判定して字幕を抜き出して映像情報とは異なる位置に字幕を配置して出力する流れの一例を表すフローチャート

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

なお、実施例１にて、主に請求項１，２，３，４、５ついて説明する。

≪実施例１≫

<概要>
本実施例の映像装置は、図１に示すように受信した映像情報に基づいて構成された映像をディスプレイに出力するとともに、映像に含まれる字幕を判定・抜き出し、抜き出した字幕を映像情報中で定められた出力位置とは異なる位置に出力することができることを特徴とする映像装置である。

<機能的構成>

以下に記載する本実施例の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バスあるいは二次記憶装置（ハードディスクや不揮発性メモリ）、それらのハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどがあげられる。

またこれらのハードウェアやソフトウェアは、主メモリ上に展開したプログラムをＣＰＵで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然この発明の技術的な範囲に含まれる。（本明細書の全体を通じて同様である）

図２は、本実施例の映像装置における機能的構成の一例を示す図である。本実施例の「映像装置」（０２０１）は、「映像情報受信部」（０２０２）と、「映像構成部」（０２０３）と、「出力部」（０２０４）と、「輝度分布測定部」（０２０５）と、「位置判定基準保持部」（０２０６）と、「判定部」（０２０７）と、「制御部」（０２０８）と、を有している。

「映像情報受信部」（０２０２）は、映像情報を受信する機能を有する。具体的には、少なくともディスプレイに表示するための映像と字幕を含む情報である映像情報を受信する。ここで、映像情報とは、符号化されたＭＰＥＧなどが挙げられる。また、受信した映像情報に基づいて構成された映像とは、例えば図１に示されるような映像である。

なお、受信する映像情報は、有線で受信する構成であってもよいし、無線で受信する構成であってもよい。有線である場合にはＢｌｕ−ｒａｙ（登録商標）ディスクプレーヤからＨＤＭＩケーブルを用いて接続する構成などが考えられる。また、無線である場合にはアンテナ等から送信される情報を受信する構成などが考えられる。

「映像構成部」（０２０３）は、受信した映像情報に基づいて映像を構成する機能を有する。具体的には、前記「映像情報受信部」（０２０２）で受信した映像情報に含まれる情報元に、映像装置のディスプレイに出力できる形式に映像の構成を行い、映像を後に詳述する「出力部」（０２０４）に引き渡す。さらには、後に詳述する「制御部」（０２０８）から受ける命令に基づいて字幕を受信した映像情報において表示される字幕とは異なる位置に出力するように字幕位置を調整して後に詳述する「出力部」（０２０４）へ引き渡す。

「出力部」（０２０４）は、映像構成部で構成された映像をディスプレイに出力する機能を有する。具体的には、前記「映像構成部」（０２０３）で構成された映像を受け取り、ディスプレイに映像を出力する。ここで、ディスプレイとは通常のディスプレイであってもよいし、ヘッドマウントディスプレイであってもよい。さらには、プロジェクタに出力する構成であってもよい。また、プロジェクタに出力する場合にはそのプロジェクタから投影される画像を表示するためのスクリーン部を有する構成であることが好ましい。

「輝度分布測定部」（０２０５）は、映像情報に基づいて構成される映像を横方向にスキャンして輝度分布を測定する機能を有する。具体的には、前記「映像構成部」（０２０３）で構成された映像を構成する画像（例えば１フレーム分の画像）を任意のタイミングで取得し、取得した画像（例えば１フレーム分の画像）の左右片側のいずれかから、残る片側に対して輝度情報を取得し輝度分布を測定する。例えば映像装置が液晶テレビである場合には、映像を構成する1フレームの画像を取得し、取得した画像における横方向のピクセルの並びごとに輝度分布を測定するという具合である。

ここで、本実施例では輝度分布を走査線ごとに測定する構成としたが、実際にはそれに限らない。例えば、画面を構成する画素の行単位の輝度分布を測定する構成であってもよい。さらには、ドットの行ごとに測定する構成であってもよいしピクセルの行ごとに測定する構成であってもよい。

また、受信する映像信号の形式に応じて、映像情報受信部で受信した信号に含まれる輝度信号及び色差信号（YIQ、YCbCr／YPbPr）等を直接取得して輝度分布を測定する構成であってもよい。

「位置判定基準保持部」（０２０６）は、輝度分布に基づき字幕位置を判定する位置判定基準を保持する機能を有する。具体的には、後に詳述する「判定部」（０２０７）において、前記「輝度分布測定部」（０２０５）での測定結果を元に字幕位置を判定する際の基準となる位置判定基準を保持する。特に本実施例では、表示される字幕は白色を想定している。

図３は、本実施例における位置判定基準の一例を示したものである。本図に示した位置判定基準の一例は、前記「輝度分布測定部」（０２０５）において測定された測定結果を微分することで得られる傾き（隣の画素との輝度の差分）を指標として、判断するための基準を示したものである。この場合には、後に詳述する「判定部」（０２０７）が「輝度分布測定部」（０２０５）で測定した測定結果を微分して傾き（隣の画素との輝度の差分）を求め、その傾きが位置判定基準で定められた値（本例では、傾き＝１００、−１００）を超える位置を取得し字幕位置を判定するという具合になる（図４）。

ここで、本例では「輝度分布測定部」（０２０５）での測定結果を微分することで得られる輝度の傾き（隣の画素との輝度の差分）のみを指標として用いたが、実際にはそれだけに限らない。具体的には、輝度信号（Y）との組み合わせで表現される例えばYIQ、YCbCr／YPbPrで示されるような色空間を用いて、輝度と合わせて色差を組み合わせて判定させるように位置判定基準が構成されていてもよい。さらには、位置判定基準としてRGBなどの色情報を保持する構成であってもよい。この場合には、後に詳述する「判定部」（０２０７）において判定の際に輝度に変換する（輝度信号Y=0.30R+0.59G+0.11Bで変換することができる）「輝度変換手段」を有する構成であることが好ましい。

「判定部」（０２０７）は、輝度分布測定部での測定結果と、保持されている判定基準に基づいて字幕位置を判定する機能を有する。具体的に本実施例では、前記「輝度分布測定部」（０２０５）で測定された輝度分布から、前記「位置判定基準保持部」（０２０６）が保持する位置判定基準の条件を満たす箇所を取得し、取得した箇所から字幕位置を判定する。

図４は、実際に前記「輝度分布測定部」（０２０５）で測定された輝度分布を元に、位置判定基準保持部（０２０６）に保持されている位置判定基準に基づいて字幕位置を判定するその過程を説明するための図である。図４（ａ）は、ディスプレイの画面（０４０１）に出力される映像を構成する1フレームの画像（０４０２）と字幕（０４０３）の一例を示している。図４（ｂ）は、図４（ａ）に示した画像における1ライン（０４０４）の輝度分布と、傾きの一例を示している。図４（ｃ）は、字幕位置を判定するための位置判定基準の一例を示している。図４（ｄ）〜（ｇ）は、字幕位置の判定過程と結果の一例を示している。

ここで輝度分布測定部において映像を構成する１フレームの画像における横方向のピクセルの並びごとに輝度分布が測定されたと仮定し、図４（ｂ）（ここでは、横方向のピクセルの並び１行分のデータを示している）に示すような測定結果を判定部が受けたとする。測定結果を受けて判定部は、図４（ｄ）に示すように測定結果（図４（ｂ））から、位置判定基準（図４（ｃ））を満たす箇所を取得する。例えば本例であれば、図４（ｅ）に示すように位置判定基準を満たす箇所の取得を行うということである（例えば、Pa〜Pf）。基準を満たす箇所を取得すると次に、図４（ｆ）に示すように位置判定基準を満たす最初の箇所と最後の箇所の取得を行う（例えばPa、Pf）。両箇所を取得すると、図４（ｇ）に示すように両箇所の間を字幕が占める領域として判定する（例えばPa〜Pfを字幕領域と判定する）。

このようにして、横方向のピクセルの並びごとに測定された測定結果を元に判定を行い、取得されている画像における字幕が表示されている領域の特定を行う。

≪字幕の有無の判定≫

ここで、本実施例における映像装置は、映像の音声情報をもとに字幕の有無を判定する構成をさらに有していてもよい。この場合には、図５に示すように、「映像装置」（０５０１）が「有無判定基準保持部」（０５０９）を新たに有する構成が考えられる。以下に、この場合において新たに有することとなる構成要件について以下説明する。

「有無判定基準保持部」（０５０９）は、音声情報に基づいて定められる音声出力タイミングを利用して字幕の有無を判定する有無判定基準を保持する。具体的には、前記「判定部」（０５０７）において字幕位置を特定する際に、映像とともに出力される音声に含まれる声の出力タイミングを利用して、映像中に字幕自体が含まれているかどうかを判定するための有無判定基準を保持する。

ここで、音声情報とは、ＢＧＭや爆発音などの効果音等を除いた特に人の声を表している。このように例えば、人の声を検出している場合に、字幕領域が判定された場合に、判定結果を字幕領域として判定するという具合である。逆に、人の声を検出していない場合には、字幕領域が判定されたとしてもこれを字幕領域として取り扱わないという具合である。

以上のような構成を採ることによって、映像とともに出力される音声（人の声）の有無をもとに、映像中に字幕が含まれているかどうかを判定するとともに、含まれているとの判定結果である場合に位置判定基準から字幕の判定を行うことが可能となる。

なお、字幕の有無の判定と、字幕位置の判定はその順番に限定されない。

≪字幕出力の調整≫

「制御部」（０２０８）は、判定されて字幕位置から字幕を抜き出し、受信した映像情報中で定められた配置と異なる配置に変更するよう映像構成部を制御する機能を有する。具体的には、前記「判定部」（０２０７）において判定された字幕位置から字幕を抜き出し、前記「映像情報受信部」（０２０２）で受信した映像情報が示す字幕の出力位置とは異なる位置に出力するように調整を行う。そして、調整内容を元に「映像構成部」（０２０３）を制御し、調整後の字幕を出力部を介して映像の出力を行う。

図６は、実際に抜き出された字幕を受信した映像情報が示す字幕の出力位置とは異なる位置に出力した一例を示している。図６（ａ）は、字幕を抜き出す前の映像を示しており、図６（ｂ）〜（ｃ）は、字幕を抜き出す前の映像とは異なる位置に字幕を出力した一例を示している。

まず、図６（ａ）に示す映像から前記「判定部」（０２０７）において『映像に含まれる字幕（改行）２行目の字幕』の領域が字幕位置と判定されたとする。判定が行われると、「制御部」（０２０８）は、字幕位置から字幕の抜き出しを行う（本例では、『映像に含まれる字幕（改行）２行目の字幕』が抜き出される）。字幕の抜き出しを行うと、図６（ｂ）、（ｃ）に示すように、字幕を抜き出す前の映像の出力されている字幕の位置とは異なる位置に出力を行う。なお、図６（ｂ）は、字幕を映像からはみ出さないように出力させた一例であり、図６（ｃ）は、映像内に１行目と２行目を分割し、１行ずつ出力させた一例である。

ここで、本例では字幕を図６（ｂ）（ｃ）に示すように映像の下側に出力させる構成としたが、実際にはそれに限らない。具体的には、抜き出した字幕を映像右側に縦書で出力させる構成であってもよい。さらには、２行をまとめて出力させる構成であってもよいし、１行ずつ出力させる構成であってもよい。

また、本実施例の「制御部」（０２０８）は、映像内における抜き出した字幕の部分を隣接する字幕以外の画素の色で補完するための機能である「抜出補完手段」を有する構成であることが好ましい。

さらには、本実施例の「制御部」（０２０８）は、字幕を抜き出す手段として、判定された字幕領域の領域全体をイメージとして抜き出して出力するための「領域抜出手段」を有する構成であってもよいし、また、字幕領域をイメージとして抜き出した上で文字以外の部分をクリアのレイヤーに変換したうえで文字のみを出力するための「文字抜出手段」を有する構成であってもよいし、さらには、特定された字幕領域に表示される文字を認識し、字幕をテキストとして出力するための「文字認識手段」を有する構成であってもよい。

≪字幕の出力タイミングについて≫

なお、本実施例における映像装置は、判定された字幕位置から字幕を抜き出して、抜き出す前の映像において定められている字幕出力タイミングと異なるタイミングで出力させる構成であってもよい。この場合には、図７に示すように「映像装置」（０７０１）の「制御部」（０７０８）が「タイミング制御手段」（０７１０）を新たに有する構成が考えられる。この場合における新たに有することとなる構成要件について以下説明する。

「タイミング制御手段」（０７１０）は、判定された字幕位置から字幕を抜き出し、受信した映像情報中で定められたタイミングと異なるタイミングで字幕が構成されるように映像構成部を制御する機能を有する。具体的には、前記「判定部」（０７０７）で判定された字幕位置に基づいて、前記「制御部」（０７０８）において抜き出された字幕を、前記「映像情報受信部」（０７０２）で受信した映像において出力されている字幕の表示時間と異なる表示時間で表示させる。

図８を用いて実際に本実施例のタイミング制御手段を用いて、字幕を異なる時間で表示させるその一例を説明する。図８（ａ）は、映像情報受信部で受信された映像情報を元にそのまま表示させた場合における画面及び、字幕表示時間の一例を示している。図８（ｂ）は、前記「制御部」において、図８（ａ）に示した字幕を１行ずつ表示させるように制御した場合における画面及び字幕表示時間の一例を示している。

本実施例のタイミング制御手段は、図８（ａ）に示すように２行の字幕（１５文字）を各１行ずつ表示させるように制御する場合に、通常であれば２行の字幕（１５文字）を１５秒間表示させるところを、２行目の字幕を６秒表示させるように字幕の表示タイミングの制御を行う。ここで、本実施例では、字幕の表示時間を字幕の表示時間（本例では１５秒）を字幕の文字数（１５文字）で除算することで１文字あたりの表示時間（１秒／１文字）を求めたうえで、各行の文字数（１行目＝９文字、２行目＝６文字）から各行の表示時間（１行目＝９秒、２行目＝６秒）を定める方式をとっているが実際にはそれに限らない。具体的には、あらかじめ定められた時間で表示を行う構成であってもよい。さらには、ある字幕として表示される文字の文字数の範囲で表示時間を定めて（例えば、８文字以内であれば２秒、９文字以上１６文字以内であれば４秒など）おき、定められた時間で表示させる構成であってもよい。

さらに、タイミングを制御する手段として映像装置で選択されている表示言語に応じて字幕表示時間を調整する構成であってもよい。具体的には、英語やドイツ語フランス語などのようなセリフなどの文章を表現するのに必要な文字数が多い言語では、その字幕表示時間を短くし、中国語のようにセリフなどの文章を表現するのに必要な文字数が少ない言語では、その字幕表示時間を長くするという具合である。

≪受信した映像情報のフル表示≫

さらに、本実施例における映像装置は、ディスプレイに表示させるための、「映像情報受信部」が受信した映像情報から構成される映像をディスプレイ画面にフル表示させる構成を有していてもよい。この場合には、図９に示すように「映像装置」（０９０１）の「制御部」（０９０８）が「フル表示領域変更手段」（０９１１）を新たに有する構成が考えられる、この場合において、新たに有することとなる構成要件について以下説明する。

「フル表示領域変更手段」（０９１１）は、受信した映像情報から構成される映像のなかでディスプレイ画面中にフル表示させる領域を変更する機能を有する。具体的には、前記「映像情報受信部」で受信した映像情報を元に構成される映像が、図１０（ａ）に示すように例えばアスペクト比が１６：９のサイズの画面に２．３５：１の映像を出力する場合のように、出力されるディスプレイにフル画面で表示できない場合に、図１０（ｂ）に示すように、ディスプレイにフル表示できるように映像領域を変更する。

ここで、受信した映像をディスプレイサイズに領域を変更するにあたり、受信した映像のアスペクト比を変えることなく拡大し、フル画面に表示させる（この場合には、映像がカットされる領域が発生する）構成であってもよいし、アスペクト比を固定せず、ディスプレイサイズに拡大する構成であってもよい。なお、本実施例の「フル表示領域変更手段」は、受信した映像情報における映像サイズがディスプレイに表示できないサイズであった場合に、この映像を縮小して、ディスプレイサイズに縮小することも可能である。

また、本例では１６：９でフル表示可能な映像を２．３５：１のサイズに出力した時の映像領域を変更する例をあげたが実際にはその場合だけに限定されず、さまざまなサイズの映像をフル表示できるように映像領域の変更を行うことが可能である。

<ハードウェア的構成>

図１１は、本実施例の映像装置におけるハードウェア構成の一例を表す概念図である。この図を利用して、本実施例の映像装置におけるそれぞれのハードウェア構成部の働きについて説明する。

この図にあるように、本実施例の映像装置は、各種演算処理や制御を行う「ＣＰＵ」（１１０１）と、「主メモリ」（１１０２）とを備えている。また、位置判定基準や有無判定基準などを格納する「記憶装置」（１１０３）や、映像などを受信するための「入力ポート」（１１０５）や、映像を出力するための「ディスプレイ」（１１０６）などの「Ｉ／Ｏ」（１１０４）などを備えている。そして、これらがシステムバスなどのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

≪映像の出力と字幕位置（有無）の判定・調整≫

ここで、「入力ポート」（１１０５）などの「Ｉ／Ｏ」（１１０４）を介して映像情報を受信したと仮定する。「Ｉ／Ｏ」（１１０４）から映像情報を受信すると、「主メモリ」（１１０２）のワーク領域に展開されている「映像構成プログラム」（１１０７）がこれを検知する。受信を検知した「映像構成プログラム」（１１０７）は、受信した映像情報に基づいて映像を構成するとともに「主メモリ」（１１０２）のワーク領域に展開されている「輝度分布測定プログラム」（１１０８）の呼び出しを行う。「輝度分布測定プログラム」（１１０８）は、「映像構成プログラム」（１１０７）が構成した映像のスキャンを行い、輝度分布の測定を行う。輝度分布の測定が行われると、「輝度分布測定プログラム」（１１０８）は、「主メモリ」（１１０２）のワーク領域に展開されている、「判定プログラム」（１１０９）の呼び出しを行う。「判定プログラム」（１１０９）は、「記憶装置」（１１０３）に記憶されている判定基準の取得を行う（ここでは、位置判定基準と、有無判定基準が取得されたものとする）。判定基準が取得されると「判定プログラム」（１１０９）は、取得した判定基準（位置判定基準と有無判定基準）に基づいて「映像構成プログラム」（１１０７）が構成した映像及び音声から字幕の有無及び字幕位置の判定を行う。

字幕位置の判定が行われると、「判定プログラム」（１１０９）は「主メモリ」（１１０２）のワーク領域に展開されている「制御プログラム」（１１１０）の呼び出しを行う。「制御プログラム」（１１１０）は、「判定プログラム」（１１０９）においてされた字幕位置の判定結果に基づいて、「映像構成プログラム」（１１０７）が構成した映像から字幕の抜き出しを行う。「制御プログラム」（１１１０）は字幕を抜き出すと、抜き出した字幕の位置とは異なる位置に字幕を配置するように「映像構成プログラム」（１１０７）において構成した映像に対して調整を行う。なお、ここで「制御プログラム」（１１１０）は、必要に応じて後に詳述するサブプログラムの呼び出しを行う構成であってもよい。

調整が完了すると「映像構成プログラム」（１１０７）は、「ディスプレイ」（１１０６）に出力を行うという具合である。

≪字幕表示タイミングの調整≫

ここで、「制御プログラム」（１１１０）は、図１１に示すようにサブプログラムとして「タイミング制御プログラム」（１１１１）を備える構成であってもよい。この場合には、「制御プログラム」（１１１０）が字幕を抜き出すとともに、「タイミング制御プログラム」（１１１１）を呼び出し、抜き出した字幕の表示時間の調整を行う。

≪映像のフル画面表示調整≫

さらには、「制御プログラム」（１１１０）は、図１１に示すようにサブプログラムとして「フル表示変更プログラム」（１１１２）を備える構成であってもよい。この場合には、「制御プログラム」（１１１０）が字幕を抜き出して字幕位置を調整するとともに、「映像構成プログラム」（１１０７）において構成した映像を「ディスプレイ」（１１０６）にフル画面表示できるように拡大・縮小し映像領域の変更を行う。

<処理の流れ>

図１２は、本実施例の映像装置における、映像情報の受信から、字幕領域を判定して字幕を抜き出して映像情報とは異なる位置に字幕を配置して出力する流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され、計算機を制御するためのプログラムを構成する処理ステップであってもかまわない。

ここで、本実施例の映像装置が映像情報を受信したとする（Ｓ１２０１）。映像情報を受信すると、映像情報を元に映像の構成を行う（Ｓ１２０２）。映像の構成が行われると、構成された映像における輝度分布を取得する（Ｓ１２０３）。輝度分布の取得が行われると、判定基準（本例では位置判定基準と有無判定基準）、輝度分布を取得し、構成された映像から字幕位置の判定を行う（Ｓ１２０４）。字幕位置が判定された場合には、判定された字幕を抜き出し、構成された映像における字幕位置とは異なる位置に字幕を配置するよう調整を行う（Ｓ１２０５）。そして、字幕出力タイミングの調整を行う（Ｓ１２０６）。判定されない場合には、これら（Ｓ１２０５、Ｓ１２０６）はスキップする。各々の処理が行われると、映像領域の調整を行う（Ｓ１２０７）。映像領域の調整を行うと、映像の出力を行う（Ｓ１２０８）。

ここで、本例では、判定基準を位置判定基準と有無判定基準の二つの基準を用いたが実際にはそれに限らない。位置判定基準のみで判定してもよい。位置判定は、字幕位置を特定するための基準を用いて判定するのであればそれに限らない。

また、本例では字幕出力のタイミング調整を行った後に映像領域の調整を行う順番としたが実際にはそれに限らず、順番が逆であってもよい。さらには、タイミングの調整及び映像領域の調整を行わない構成であってもよいし、そのいずれかを行う構成であってもよい。

<効果の簡単な説明>

本実施例の映像装置によって、映像に含まれる字幕を判定して抜き出して字幕位置を調整することにより、映像と黒帯領域の境界に配置された字幕などユーザにとって視認しづらい字幕の調整を行うことが可能となる。さらには、映像外に配置されていた字幕を映像内に含むように配置させることによって、フル画面表示を行った際に字幕が切れてしまう（映像領域外の部分がカットされる）ことを防ぐことが可能となる。さらには、一度に多行にわたって出力される字幕を分割して適正なタイミングで表示させることにより、映像に占める字幕領域を減らすことが可能となる。

０２０１ 映像装置
０２０２ 映像情報受信部
０２０３ 映像構成部
０２０４ 出力部
０２０５ 輝度分布測定部
０２０６ 位置判定基準保持部
０２０７ 判定部
０２０８ 制御部
０５０９ 有無判定基準保持部
０７１０ タイミング制御手段
０９１１ フル表示領域変更手段

Claims (5)

1. 映像情報を受信する映像情報受信部と、
   受信した映像情報に基づいて映像を構成する映像構成部と、
   映像構成部で構成された映像をディスプレイに出力する出力部と、
   映像情報に基づいて構成される映像を横方向にスキャンして輝度分布を測定する輝度分布測定部と、
   輝度分布に基づき字幕位置を判定する位置判定基準を保持する位置判定基準保持部と、
   輝度分布測定部での測定結果と、保持されている判定基準に基づいて字幕位置を判定する判定部と、
   判定された字幕位置から字幕を抜き出し、受信した映像情報中で定められた配置と異なる配置に変更するよう映像構成部を制御する制御部と、
   を有する映像装置。
2. 音声情報に基づいて定められる音声出力タイミングを利用して字幕の有無を判定する有無判定基準を保持する有無判定基準保持部をさらに有する請求項１に記載の映像装置。
3. 制御部は、判定された字幕位置から字幕を抜き出し、受信した映像情報中で定められたタイミングと異なるタイミングで字幕が表示されるように映像構成部を制御するタイミング制御手段をさらに有する請求項１または２に記載の映像装置。
4. 制御部は、受信した映像情報から構成される映像のなかでディスプレイ画面中にフル表示させる領域を変更するフル表示領域変更手段を有する請求項１から３のいずれか一に記載の映像装置。
5. 輝度分布に基づき字幕位置を判定する位置判定基準を保持する位置判定基準保持部を有する映像装置の動作方法であって、
   映像情報を受信する映像情報受信ステップと、
   受信した映像情報に基づいて映像を構成する映像構成ステップと、
   映像構成部で構成された映像をディスプレイに出力する出力ステップと、
   映像情報に基づいて構成される映像を横方向にスキャンして輝度分布を測定する輝度分布測定ステップと、
   輝度分布測定部での測定結果と、保持されている判定基準に基づいて字幕位置を判定する判定ステップと、
   判定された字幕位置から字幕を抜き出し、受信した映像情報中で定められた配置と異なる配置に変更するよう映像構成部を制御する制御ステップと、
   からなる映像装置の動作方法。