<実施形態1>
本発明の一実施形態に係る表示装置について、図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係る表示装置はテレビジョン受像機として実現されているので、以下ではこれを「テレビ」と呼ぶ。ただし、本発明の適用範囲は、テレビに限定されるものではない。
〔テレビの構成〕
まず、本実施形態に係るテレビ10の構成を、図2を参照して説明する。図2は、本実施形態に係るテレビ10の構成を示すブロック図である。
テレビ10は、図2に示すように、外部入力端子101、地上デジタル放送チューナ102、衛星放送チューナ103、録画再生部104、BDドライブ105、映像セレクタ106、映像処理回路(調整手段)107、OSD(On-Screen Display)生成部108、LCD(Liquid Crystal Display)コントローラ(表示手段)109、LCD(表示部)110、音声セレクタ111、音声処理回路112、アンプ113、スピーカ114、外部入力部115、ROM116、RAM117、制御部118、赤外線受光部119、カメラ120、及び、無線通信部121を備えている。
図2においては、映像信号の経路を実線で、音声信号の経路を1点鎖線で、データや制御信号の経路(バス)を太線で示している。また、図2に示すように、テレビ10は、外部入力部115又は無線通信部121を介して携帯端末(外部機器)30と接続可能である。なお、図2に示すように、テレビ10は、リモートコントローラ(リモコン)20によって遠隔操作が可能に構成されている。
(外部入力端子)
外部入力端子101は、映像入力端子101aと音声入力端子101bとを含む。映像入力端子101aは、映像信号を入力するためのものであり、例えば、DVI端子である。音声入力端子101bは、音声信号を入力するためのものであり、例えば、S/PDIF端子である。ただし、外部入力端子101は、これに限定されず、映像入力端子101aと音声入力端子101bとが一体化されたHDMI端子などであってもよい。
(チューナ)
地上デジタル放送チューナ102は、地上デジタル放送により放送される放送番組を受信するためのチューナである。地上デジタル放送チューナ102は、例えば、受信信号からMPEG2ストリームを復調し、MPEG2ストリームから映像信号および音声信号を復号することができる。
地上デジタル放送チューナ102により復調されたMPEG2ストリームは、バスを介して録画再生部104に供給される。また、地上デジタル放送チューナ102により復号された映像信号および音声信号は、それぞれ、映像セレクタ106および音声セレクタ111に供給さる。なお、地上デジタル放送チューナ102が何れのチャンネルを復調対象として選択するかは、制御部118により制御される。
なお、地上デジタル放送チューナ102は、異なるチャンネルを介して放送される2つのMPEG2ストリームを同時に復調することが可能なダブルチューナであることが好ましい。もちろん、本発明に係る地上デジタル放送チューナ102は、ダブルチューナに限定されるものではなく、例えば、シングルチューナであってもよく、3つ以上のチューナを備える複数のチューナであってもよい。
衛星放送チューナ103は、衛星放送により放送される放送番組を受信するためのチューナである。衛星放送チューナ103は、放送衛星を用いて衛星放送されるBS放送番組を受信するBS放送用チューナ、及び、通信衛星を用いて衛星放送されるCS放送番組を受信するCS放送用チューナを備えている。また、衛星放送チューナ103は、例えば、受信信号MPEG2ストリームを復調し、MPEG2ストリームから映像信号を復号することができる。
衛星放送チューナ103により復調されたMPEG2ストリームは、録画再生部104に供給される。また、衛星放送チューナ103により復号された映像信号および音声信号は、それぞれ、映像セレクタ106および音声セレクタ111に供給さる。なお、衛星放送チューナ103が何れのチャンネルを介して伝送されるMPEG2データストリームを復調するかは、制御部118により選択される。
なお、本実施形態における衛星放送チューナ103が備えるBS放送用チューナ及びCS放送用チューナはそれぞれ、地上デジタル放送チューナ102と同様、異なるチャンネルを介して放送される2つの放送番組を同時に受信することが可能なダブルチューナであることが好ましい。
(録画再生部)
録画再生部104は、地上デジタル放送チューナ102および衛星放送チューナ103の何れかからMPEG2ストリームを取得し、取得したMPEG2ストリームを記録装置に書き込む。また、録画再生部104は、記録装置からMPEG2ストリームを読み出し、読み出したMPEG2ストリームから映像信号および音声信号を復号し、それぞれ、映像セレクタ106および音声セレクタ111に供給する。
なお、録画再生部104は、テレビ10に内蔵されたBDドライブ105、テレビ10に内蔵されたHDドライブ(不図示)、および、USB(Universal Serial Bus)インターフェース(不図示)に接続されたUSB−HDドライブ(不図示)などを、MPEG2ストリームを記録するための記録装置として利用することができる。
(映像セレクタ)
映像セレクタ106には、上述した4種類の映像信号が供給される。すなわち、(1)外部入力端子101(特に映像入力端子101a)から入力された映像信号、(2)地上デジタル放送チューナ102にて復号された映像信号、(3)衛星放送チューナ103にて復号された映像信号、および、(4)録画再生部104(特に再生部)にて復号された映像信号が入力される。映像セレクタ106は、上記(1)〜(4)の映像信号のうちの何れか1つを選択する。映像セレクタ106によって選択された映像信号は、映像処理回路107に供給される。なお、映像セレクタ106が何れの映像信号を選択するかは、制御部118によって制御される。
(映像処理回路)
映像処理回路107は、映像セレクタ106から供給された映像信号に画質調整処理を施す。また、映像処理回路107は、映像セレクタ106から供給された映像信号にスケーリング処理を施す。ここで、画質調整処理とは、例えば、映像信号を加工することによって、その映像信号が表す映像の輝度、シャープネス、および、コントラストの少なくとも何れかを変更することを指す。また、スケーリング処理とは、映像信号を加工することによって、その映像信号が表す映像のサイズを相似拡大または相似縮小することを指す。映像処理回路107によって加工された映像信号は、LCDコントローラ109に供給される。なお、映像処理回路107が画質およびサイズをどのように変更するかは、制御部118によって制御されればよい。
映像処理回路107は、さらに、制御部118から、後述する表示サイズ情報を取得する。映像処理回路107は、取得した表示サイズ情報に基づき、映像セレクタ106から供給された映像信号、及び、外部入力部115又は無線通信部121を介して携帯端末30から供給される画像を示す画像信号に対してスケーリング処理を施す。なお、表示サイズ情報、及び、スケーリング処理の詳細については、後述する。
以降では、映像セレクタ106から供給された映像信号(すなわち、LCD110に全画面表示される画像を示す映像信号)を、単に「メイン画像」(コンテンツ)とも記載する。また、携帯端末30から供給される画像を示す画像信号(すなわち、携帯端末30に表示されている画像(動画像であってもよく、静止画像であってもよい)を示す画像信号)を、単に「サブ画像」(入力画像)とも記載する。
(OSD生成部)
OSD生成部108は、制御部118から供給されたOSDデータからOSD画像を生成(レンダリング)する。OSD生成部108が生成するOSD画像としては、電子番組表などが挙げられる。OSDデータとしては、例えば、SVG(Scalable Vector Graphics)を用いることができる。OSD生成部108により生成されたOSD画像は、映像処理回路107から供給された映像信号に重畳され、LCDコントローラ109に供給される。
(LCDコントローラ、LCD)
LCDコントローラ109は、映像処理回路107から供給された映像信号に基づいて、その映像信号が表す映像を表示するようにLCD110を駆動する。また、OSD生成部108からOSD画像が供給されている場合、LCDコントローラ109は、映像処理回路107から供給された映像信号にOSD画像が重畳されたものに基づいて、その映像信号が表す映像を表示するようにLCD110を駆動する。
(音声セレクタ)
音声セレクタ111には、上述した4種類の音声信号が供給される。すなわち、(1)外部入力端子101(特に音声入力端子101b)から入力された音声信号、(2)地上デジタル放送チューナ102にて復号された音声信号、(3)衛星放送チューナ103にて復号された音声信号、および、(4)録画再生部104(特に再生部)にて復号された音声信号が入力される。音声セレクタ111は、上記(1)〜(4)の音声信号のうちの何れか1つを選択する。
音声セレクタ111によって選択された音声信号は、音声処理回路112に供給される。なお、音声セレクタ111が何れの音声信号を選択するかは、制御部118によって制御される。ただし、映像セレクタ106における映像の選択と、音声セレクタ111における音声の選択とは連動しており、例えば、映像セレクタ106が地上デジタル放送チューナ102から供給された映像信号を選択しているときには、音声セレクタ111も地上デジタル放送チューナ102から供給された音声信号を選択する。
(音声処理回路)
音声処理回路112は、音声セレクタ111から供給された音声信号に音量調整処理を施す。また、音声処理回路112は、音声セレクタ111から供給された音声信号に音質調整処理を施す。ここで、音量調整処理とは、音声信号を加工することによって、その音声信号が表す音声の音量を変更することを指す。また、音質調整処理とは、音声信号を加工することによって、その音声信号が表す音声の周波数特性を変更すること(例えば、低域の強調や高域の強調など)を指す。音声処理回路112によって加工された音声信号は、アンプ113に供給される。なお、音声処理回路112によって音量および音質をどのように変更するかは、制御部118によって制御される。
(アンプ、スピーカ)
アンプ113は、音声処理回路112から供給された音声信号に基づいて、その音声信号が表す音声を出力するようにスピーカ114を駆動する。
(制御部)
制御部118は、赤外線受光部119を介してリモコン20から受信したリモコン信号、及び、カメラ120が撮像した画像に応じて上記各部を制御する。赤外線受光部119を用いた制御としては、例えば、地上デジタル放送チューナ102および衛星放送チューナ103の受信チャンネルをリモコン信号に応じて切り替える制御や、映像セレクタ106および音声セレクタ111にて選択する映像信号および音声信号をリモコン信号に応じて切り替える制御などが挙げられる。また、カメラ120を用いた制御としては、例えば、映像処理回路107にて画質をどのように調整するかを、撮像した画像に基づいて特定した視聴者に応じて切り替える制御などが挙げられる。
さらに、制御部118は、各放送局から提供されるEPG(Electronic Program Guide)データから放送番組テーブルを作成する機能を有している。なお、各放送局から提供されるEPGデータは、例えば、地上デジタル放送チューナ102又は衛星放送チューナ103を用いて取得してもよいし、ネットワーク(例えば、インターネットなど)に接続されたサーバから取得してもよい。
(ROM、RAM)
ROM116は、制御部118によって実行されるプログラムなどの固定データが格納される、読み出し可能かつ書き込み不能なメモリである。一方、RAM117は、制御部118が演算のために参照するデータや、制御部118が演算によって生成したデータなどの可変データが格納される、読み出し可能かつ書き込み可能なメモリである。例えば、放送番組テーブルなどは、RAM117に格納される。
(外部入力部、無線通信部)
外部入力部115、及び、無線通信部121は、有線又は無線により、携帯端末30などの外部機器を接続するためのインターフェースである。
外部入力部115としては、例えば、インターネットに接続可能なイーサーネット(登録商標)インターフェースを挙げることができるが、これに限定されるものではない。外部入力部115は、例えば、USBインターフェース、ATA(Advanced Technology Attachment)、ATAPI(ATA Packet Interface)、IEEE1394、HDMI(登録商標)(High-Definition Multimedia Interface)、および、LANなどの有線接続用インターフェースであればよい。
また、無線通信部121としては、Bluetooth(登録商標)、Wi−Fi(登録商標)、及び、IEEE80211などの無線接続用インターフェースを挙げることができる。
〔制御部の構成〕
次に、本実施形態に係る制御部118の構成の詳細について、図1を参照して説明する。図1は、本実施形態に係るテレビ10の備える制御部118の構成を示すブロック図である。
図1に示すように、本実施形態に係る制御部118は、スイッチング部131、文字認識部(文字サイズ検出手段)132、距離検出部(距離検出手段)133、ユーザ設定抽出部(ユーザ特定手段)134、及び、表示サイズ算出部(調整手段)135を備えている。
(スイッチング部)
スイッチング部131は、外部入力部115又は無線通信部121において取得されたサブ画像(入力画像)を、文字認識部132及び表示サイズ算出部135に供給するか否かを切り替える。
スイッチング部131がサブ画像を文字認識部132及び表示サイズ算出部135に供給する場合には、後述する文字認識処理及び表示サイズ算出処理が実行され、映像処理回路107においてサブ画像のスケーリング処理が実行される。
一方、スイッチング部131がサブ画像を文字認識部132及び表示サイズ算出部135に供給しない場合には、文字認識処理及び表示サイズ算出処理は実行されない。この場合には、映像処理回路107は、LCD110に表示されるサブ画像(後述する、スケーリング後サブ画像)が所定の表示サイズとなるようサブ画像をスケーリング処理すればよい。
なお、所定の表示サイズは、ユーザによって予め定められていてもよいし、LCD100に表示されるサブ画像を参照して、例えばリモコン20を介してユーザが適宜調整可能であってもよい。また、映像処理回路107は、LCD110に表示されるサブ画像が携帯端末30において表示される際のサイズと同じサイズとなるようサブ画像にスケーリング処理を施す構成を採用することもできる。
換言すれば、スイッチング部131は、映像処理回路107における表示サイズ算出処理の結果に応じたサブ画像のスケーリング処理の実行と非実行とを切り替える。以降では、映像処理回路107において、表示サイズ算出処理の結果に応じたサブ画像のスケーリング処理を実行可能にする場合をON状態とも記載し、実行不可とする場合をOFF状態とも記載する。
(文字認識部)
文字認識部132は、スイッチング部131から供給されるサブ画像に含まれる文字を認識し、認識した文字の中から最も小さい文字(最小文字)のサイズ(以降、最小文字サイズとも記載する)を検出する(以降、文字認識処理とも記載する)。なお、文字認識処理の詳細については後述する。
(距離検出部)
距離検出部133は、テレビ10からユーザまでの距離を検出する。なお、距離検出部133におけるテレビ10からユーザまでの距離は、例えば、カメラ120によって撮像された、テレビ10を使用しているユーザの含まれる撮像画像から検出されればよい。なお、テレビ10からユーザまでの距離の検出は、周知の技術を用いることができるため、ここではその説明を省略する。
(ユーザ設定抽出部)
ユーザ設定抽出部134は、例えばRAM117などの記録媒体に格納されている、予めテレビ10を利用しているユーザによって設定されたユーザの好みの文字サイズ(基準文字サイズ)を抽出する。基準文字サイズは、例えば、テレビ10とユーザとの距離が1000mmである場合にLCD110に表示される文字サイズを基準として、リモコン20等を操作することによって予め入力可能であればよいが、特に限定されるものではない。
なお、ユーザ設定抽出部134は、基準文字サイズを抽出するに際し、テレビ10を利用しているユーザを特定する処理を実行する。テレビ10を使用しているユーザは、例えば、カメラ120によって撮像された撮像画像から、周知の技術を用いることによって特定することができるため、ここではその説明を省略する。
(表示サイズ算出部)
表示サイズ算出部135は、文字認識部132において検出された最小文字サイズと、サブ画像のサイズとから、サブ画像をLCD110に表示する際に、テレビ10を使用(視聴)しているユーザに最適な表示サイズを算出する表示サイズ算出処理を実行する。表示サイズ算出部135は、算出した表示サイズを示す表示サイズ情報を映像処理回路107へ供給する。換言すれば、本実施形態においては、表示サイズ算出部135と映像処理回路107とによって、調整手段を構成している。
より具体的には、表示サイズ算出部135は、(1)最小文字サイズ、(2)テレビ10からユーザまでの距離、及び、(3)テレビ10を使用しているユーザが予め設定している基準文字サイズに基づいて、表示サイズ算出処理を実行する。表示サイズ算出処理の算出の詳細については、後述する。
テレビ10は、上記(1)及び(2)により、サブ画像に含まれる文字を、テレビ10からユーザまでの距離に適した大きさで表示することができる。したがって、テレビ10は、テレビ10からユーザまでの距離によらず、サブ画像を、当該サブ画像に含まれる文字をユーザが認識可能なサイズで表示することができる。
また、テレビ10は、(3)により、テレビ10からユーザまでの距離によらず、サブ画像に含まれる文字がユーザの好みのサイズにより合致したサイズとなるよう調整された表示サイズで、サブ画像を表示することができる。
なお、本実施形態では、表示サイズ算出部135は、(1)〜(3)に基づいて表示サイズ算出処理を実行する構成を例に挙げて説明するが、本発明はこれに限定されるものではない。例えば、表示サイズ算出部135は、(1)及び(2)に基づいて表示サイズ算出処理を実行してもよいし、(1)及び(3)に基づいて表示サイズ算出処理を実行してもよい。
〔制御部における処理の概要〕
次に、本実施形態に係るテレビ10の備える制御部118において実行される処理の概要について、図3を参照して説明する。図3は、本実施形態に係るテレビ10の備える制御部118において実行される処理の一例を示すフローチャートである。
外部入力部115又は無線通信部121においてサブ画像を取得すると(ステップS101)、制御部118は、スイッチング部131がON状態であるか否かを判定する(ステップS102)。スイッチング部131がOFF状態である場合(ステップS102においてNO)、制御部118は、サブ画像がそのままLCD110に表示されるよう、映像処理回路107を制御する(ステップS103)。
スイッチング部131がON状態である場合(ステップS102においてYES)、文字認識部132は、スイッチング部131を介して供給されるサブ画像に対して文字認識処理を実行する(ステップS104)。
次に、距離検出部133は、カメラ120によって撮像された撮像画像から、テレビ10を使用しているユーザと、当該テレビ10との距離を検出する(ステップS105)。また、ユーザ設定抽出部134は、カメラ120によって撮像された撮像画像から、テレビ10を使用しているユーザを特定し、特定されたユーザによって予め設定されている基準文字サイズをRAM117から抽出する(ステップS106)。
表示サイズ算出部135は、(1)文字認識部132によって検出された最小文字サイズ、(2)距離検出部133によって検出されたテレビ10からユーザまでの距離、及び、(3)ユーザ設定抽出部134によって抽出された基準文字サイズに基づいて、表示サイズ算出処理を実行する(ステップS107)。表示サイズ算出部135は、算出した表示サイズを、表示サイズ情報として映像処理回路107に供給する(ステップS108)。
制御部118は、サブ画像をLCD110に表示させる場合には、上述したステップS101〜S108の処理を繰り返し実行すればよい。
〔表示サイズ算出処理〕
次に、本実施形態に係るテレビ10の備える制御部118の表示サイズ算出部135におけるサブ画像の表示サイズ算出処理について、図4から図21を参照して説明する。
〔サブ画像をメイン画像に重畳表示する場合〕
まず、サブ画像のみの表示サイズを算出する場合(すなわち、サブ画像をメイン画像に重畳して表示する場合)の表示サイズ算出処理について、図4から図7を参照して説明する。この場合には、LCD110には、図4に示すように、映像処理回路107においてスケーリング処理の施されたサブ画像3b(以降では、スケーリング後サブ画像とも記載する)が、メイン画像1aに重畳された状態で表示されることになる。
図4は、本実施形態に係る携帯端末30の表示部(不図示)、及び、テレビ10の備えるLCD110に表示される表示画面の一例を示す図である。図4(a)は、携帯端末30の表示部に表示されるサブ画像3aの一例を示し、(b)は、テレビ10のLCD110に表示されるメイン画像1a及びスケーリング後サブ画像3bの一例を示している。なお、以降では、サブ画像、メイン画像、スケーリング後サブ画像、及び、後述するスケーリング後メイン画像の、図4におけるx軸方向の長さを「横幅」とも記載し、y軸方向の長さを「縦幅」とも記載する。
ここで、図4(a)に示すように、サブ画像3aの横幅をXs1(mm)、縦幅をYs1(mm)とする。また、サブ画像3aに含まれる最小文字(図4(a)においては、「A」)の最小文字サイズの横幅をXs2(mm)、縦幅をYs2(mm)とする。なお、本実施形態では、Xs2=Ys2である場合を例に挙げて説明するが、これに限定されるものではない。
また、図4(b)に示すように、メイン画像1aの横幅をXt1(mm)、縦幅をYt1(mm)とし、スケーリング後サブ画像3bの横幅をXds1(mm)、縦幅をYds1(mm)とする。スケーリング後サブ画像3bに含まれる最小文字サイズの横幅をXds2(mm)、縦幅をYds2(mm)とする。
また、距離検出部133によって検出されるテレビ10とユーザとの距離をD(mm)とし、D=1000(mm)であるときを基準として予め設定されている基準文字サイズ(以降、サブ画像用基準文字サイズとも記載する)をSs(mm)とする。
なお、本実施形態では、表示サイズ算出部135において、サブ画像3aのアスペクト比(Ys1/Xs1)と、スケーリング後サブ画像3bのアスペクト比(Yds1/Xds1)とが一定となるように、スケーリング後サブ画像3bの表示サイズを算出する場合を例に挙げて説明する。
また、サブ画像3aのアスペクト比と、スケーリング後サブ画像3bのアスペクト比が一定であることから、Xs2:Xs1=Xds2:Xds1、Ys2:Ys1=Yds2:Yds1を満たす。これらの条件のもと、表示サイズ算出部135は、以下のようにスケーリング後サブ画像3bの表示サイズ(横幅Xds1及び縦幅Yds1)を算出する。
まず、スケーリング後サブ画像3bの横幅Xds1及び縦幅Yds1は、それぞれ、
Xds1=(Xds2/Xs2)*Xs1 ・・・(1)
Yds1=(Yds2/Ys2)*Ys1 ・・・(2)
と表される。
また、スケーリング後サブ画像3bに含まれる最小文字サイズ(本実施形態では、Xds2=Yds2)は、テレビ10からユーザまでの距離Dに正比例する。これにより、スケーリング後サブ画像3bに含まれる最小文字サイズを、ユーザが文字を認識できる最低限のサイズ以上に保つことができる。具体的には、スケーリング後サブ画像3bに含まれる最小文字サイズは、テレビ10とユーザとの距離DがD=1000(mm)であるときのサブ画像用基準文字サイズがSsであることから、
Xds2=Yds2=(Ss*D)/1000 ・・・(3)
となる。
式(1)〜(3)より、スケーリング後サブ画像3bの表示サイズ(横幅Xds1、及び、縦幅Yds1)は、それぞれ、
Xds1=Ss*D*(Xs1/1000Xs2) ・・・(4)
Yds1=Ss*D*(Ys1/1000Ys2) ・・・(5)
となる。
ただし、式(4)及び(5)の計算の結果、Xds1>Xt1、あるいは、Yds1>Yt1となった場合には、スケーリング後サブ画像3bの全体をLCD110に表示することができない。本実施形態では、表示サイズ算出部135は、このような場合に、Xds1≦Xt1、及び、Yds1≦Yt1となるように縮小することにより、スケーリング後サブ画像3bの全体をLCD110に表示する。
なお、本発明はこれに限定されるものではなく、例えば、表示サイズ算出部135は、スケーリング後サブ画像3bを縮小することなく、スケーリング後サブ画像3bのうちの表示可能な範囲(スケーリング後サブ画像3bの一部)をLCD110に表示してもよい。
上述のことから、表示サイズ算出部135において算出されるスケーリング後サブ画像3bの表示サイズは、次のケースA〜Cに分けられる。
(ケースA)
式(4)及び(5)の計算の結果が、Xds1≦Xt1、及び、Yds1≦Yt1である場合を、ケースAとする。ケースAの場合には、表示サイズ算出部135において算出されるスケーリング後サブ画像3bの表示サイズは、式(4)及び(5)の計算結果と等しくなる。
(ケースB)
式(4)及び(5)の計算の結果が、(i)Xds1≦Xt1、かつ、Yds1>Yt1、又は、(ii)Xds1>Xt1、かつ、Yds1>Yt1、かつ、(Yds1/Xds1)≧(Yt1/Xt1)である場合を、ケースBとする。換言すれば、ケースBでは、図5において点線で示すように、スケーリング後サブ画像3bの縦幅Yds1が、LCD110の縦幅Yt1よりも大きい。
図5は、ケースBである場合に、LCD110に表示されるスケーリング後サブ画像の一例を示す図である。
表示サイズ算出部135は、ケースBの場合、図5に示すように、Yds1の値を最大でもYt1までとしてスケーリング後サブ画像3b’の表示サイズを算出する。これにより、表示サイズ算出部135において算出されるスケーリング後サブ画像3b’の表示サイズは、
Xds1=(Xs1/Ys1)*Yt1 ・・・(6)
Yds1=Yt1 ・・・(7)
となる。
なお、式(6)におけるXs1/Ys1の値は、(Xs1/Xs2)及び(Ys1/Ys2)の値から、表示サイズ算出部135において、
(Xs1/Xs2)/(Ys1/Ys2)=Xs1/Ys1
により算出することができる。
(ケースC)
式(4)及び(5)の計算の結果が、(i)Xds1>Xt1、かつ、Yds1≦Yt1、又は、(ii)Xds1>Xt1、かつ、Yds1>Yt1、かつ、(Yds1/Xds1)<(Yt1/Xt1)である場合を、ケースCとする。換言すれば、ケースCでは、図6において点線で示すように、スケーリング後サブ画像3bの横幅Xds1が、LCD110の横幅Xt1よりも大きい。
図6は、ケースCである場合に、LCD110に表示されるスケーリング後サブ画像の一例を示す図である。
表示サイズ算出部135は、ケースCの場合には、図6に示すように、Xds1の値を最大でもXt1までとしてスケーリング後サブ画像3b”の表示サイズを算出する。これにより、表示サイズ算出部135において算出されるスケーリング後サブ画像3b”の表示サイズは、
Xds1=Xt1 ・・・(8)
Yds1=(Ys1/Xs1)*Xt1 ・・・(9)
となる。
なお、ケースB、Cにおいては、LCD110に表示されるスケーリング後サブ画像3b”に含まれる最小文字のサイズが、ユーザに最適な大きさ(式(4)及び(5)の計算結果)よりも小さくなっている。このため、ケースB、Cの場合には、テレビ10は、スケーリング後サブ画像3b”に含まれる最小文字のサイズがユーザに最適なサイズよりも小さいことを示すコーションを表示してもよい。このコーションは、例えば、OSD生成部108によって生成されればよい。また、テレビ10は、スケーリング後サブ画像3b”に含まれる最小文字と比較可能なように、ユーザに最適なサイズの文字を表示してもよい。
なお、上述では、算出した最小文字サイズに基づいてサブ画像にスケーリング処理を施す構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、サブ画像のサイズに対する、最小文字サイズの比(最小文字サイズ比)を算出し、算出した最小文字サイズ比に基づいてサブ画像にスケーリング処理を施す構成を採用することもできる。
(最小文字サイズ比が変化する場合)
ここで、サブ画像3aのサイズに対する、サブ画像3aに含まれる最小文字サイズの比(最小文字サイズ比)が変化した場合のスケーリング後サブ画像3bの表示サイズの変化について、図7を参照して説明する。
なお、最小文字サイズ比については、例えば、Xs2/Xs1、及び、Ys2/Ys1により、算出することができる。ここでは、D=2000mm、S=4mm、Xt1=240mm、Yt1=360mmである場合を例に挙げて説明する。
図7は、サブ画像3aにおける最小文字サイズ比が変化した場合の、LCD110の表示画面の画面遷移図である。図7(a)は、最小文字サイズ比が変化する前の表示画面の一例を示し、(b)は、最小文字サイズ比が変化した後の表示画面の一例を示している。
まず、変化する前の最小文字サイズ比がXs2/Xs1=1/30、Ys2/Ys1=1/45である場合、表示サイズ算出部135における表示サイズ算出処理により、スケーリング後サブ画像3bの表示サイズが、式(4)及び(5)から、
Xds1=(4*2000*30)/1000=240mm
Yds1=(4*2000*45)/1000=360mm
と、算出される。この表示サイズに基づいて映像処理回路107においてサブ画像3aにスケーリング処理が施され、LCD110には、図7(a)に示すように、スケーリング後サブ画像3bが表示される。
その後、最小文字サイズ比がXs2/Xs1=1/20、Ys2/Ys1=1/30に変化した場合には、表示サイズ算出部135における表示サイズ算出処理により、スケーリング後サブ画像3cの表示サイズが、式(4)及び(5)から、
Xds1=(4*2000*20)/1000=160mm
Yds1=(4*2000*30)/1000=240mm
と、算出される。この表示サイズに基づいて映像処理回路107においてサブ画像3aにスケーリング処理が施され、LCD110には、図7(b)に示すように、変化後の表示サイズのスケーリング後サブ画像3cが表示される。
このようにして、テレビ10は、サブ画像における最小文字サイズ比が変化した場合にも、ユーザに最適なスケーリング処理の施されたサブ画像を、メイン画像に重畳してLCD110に表示することができる。
〔サブ画像及びメイン画像を2画面表示する場合〕
なお、本実施形態では、サブ画像をスケーリングすると共に、スケーリング後サブ画像をメイン画像に重畳して表示する場合を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、スケーリング後サブ画像と重ならないようにメイン画像をスケーリングし、スケーリング後サブ画像とスケーリング後のメイン画像(スケーリング後メイン画像)とを、LCD110の異なる領域に表示する構成を採用することもできる。
これによって、テレビ10は、サブ画像を表示した場合にサブ画像がメイン画像に重畳されることによって、メイン画像の一部をユーザが見ることができなくなってしまうことを防ぐことができる。
なお、以降では、スケーリング後のサブ画像及びメイン画像をLCD110の異なる領域に表示することを、「2画面表示」とも記載する。
さらに、表示サイズ算出部135は、メイン画像に文字が含まれている場合、上述したスケーリング後サブ画像の表示サイズの算出と同様にして、スケーリング後メイン画像の表示サイズを算出してもよい。以降、メイン画像及びサブ画像の双方をスケーリングして2画面表示する場合について、図8から図21を参照して説明する。
図8は、本実施形態に係る携帯端末30及びテレビ10に表示される表示画面の一例を示す図である。図8(a)は、携帯端末30の表示部に表示されるサブ画像3aの一例を示し、(b)は、LCD110に表示されるメイン画像1aの一例を示し、(c)は、LCD110に表示されるスケーリング後のメイン画像1dおよびサブ画像3dの一例を示している。
なお、2画面表示を行う場合には、表示サイズ算出部135は、各パラメータを例えば以下のように設定して、スケーリング後サブ画像3bの表示サイズの算出と同様に、スケーリング後のメイン画像1d及びサブ画像3dの表示サイズを算出すればよい。
メイン画像1aに含まれる最小文字サイズの横幅をXt2(mm)、縦幅をYt2(mm)(本実施形態では、Xt2=Yt2)とする。スケーリング後メイン画像1dの横幅をXdt1(mm)、縦幅をYdt1(mm)とし、スケーリング後メイン画像1dに含まれる最小文字サイズの横幅をXdt2(mm)、縦幅をYdt2(mm)とする。また、D=1000(mm)であるときを基準として予め設定されている基準文字サイズ(メイン画像用基準文字サイズ)をSt(mm)とする。
このとき、表示サイズ算出部135は、スケーリング後メイン画像1dの表示サイズ(横幅Xdt1、及び、縦幅Ydt1)を、それぞれ、スケーリング後サブ画像3bの表示サイズの算出と同様に、
Xdt1=St*D*(Xt1/1000Xt2) ・・・(10)
Ydt1=St*D*(Yt1/1000Yt2) ・・・(11)
によって算出することができる。
この場合には、表示サイズ算出部135は、スケーリング後サブ画像3dの表示サイズと共に、スケーリング後メイン画像1dの表示サイズを表示サイズ情報として映像処理回路107に供給すればよい。また、映像処理回路107は、表示サイズ算出部135から取得した表示サイズ情報に基づき、サブ画像3aおよびメイン画像1aの双方にスケーリング処理を施せばよい。
これにより、スケーリング後メイン画像1dおよびスケーリング後サブ画像3dは、例えば、図8に示すように、LCD110に2画面表示される。
一方で、サブ画像3a及びメイン画像1aを共にスケーリング処理して2画面表示を行う場合には、スケーリング後の各画像の表示領域に隙間ができたり、重なったり、一方又は双方の表示サイズがLCD110のサイズを超えてしまう場合がある。
スケーリング後のサブ画像3d及びメイン画像1dの表示領域が離れてしまう場合には、各画像に含まれる文字はユーザに適したサイズに保たれるものの、画像全体としての視認性が低下してしまう。また、スケーリング後のサブ画像3d及びメイン画像1dの表示領域が重なったり、表示サイズがLCD110のサイズを超えてしまう場合には、少なくとも一方の画像が途中で途切れてしまうため、画像全体としての視認性が低下してしまう。
このような場合には、表示サイズ算出部135は、以下に示すケースD〜Fの各々において、最適な各画面のサイズを計算することが好ましい。さらに、テレビ10は、ユーザにより、ケースD〜Fの各々において、例えば(1)スケーリング後メイン画像1dの表示を優先する場合、(2)スケーリング後サブ画像3dの表示を優先する場合、及び、(3)何れも優先しない場合などの設定が可能であることが好ましい。
(ケースD)
表示サイズ算出部135における式(4)及び(10)の計算の結果、スケーリング後メイン画像1dとスケーリングサブ画像3dとの間に隙間が生じる場合、すなわち、Xds1+Xdt1<Xt1となる場合を、ケースDとする。ケースDの場合、例えば、図9に示すように、スケーリング後メイン画像1d、及び、スケーリング後サブ画像3dは、各々離間してLCD110に表示されることになる。
図9は、ケースDである場合にLCD110に表示される表示画面の一例を示す図である。
表示サイズ算出部135は、このような場合には、スケーリング後メイン画像1d及びスケーリング後サブ画像3dの表示サイズを適切に調整するための調整値(表示サイズ調整値とも記載する)を算出する。
ケースD1
ケースDの場合であって、テレビ10に、予めスケーリング後メイン画像1dの優先度がスケーリング後サブ画像3dの優先度よりも高く設定されている(すなわち、スケーリング後メイン画像1dの表示を優先する設定がされている)場合を、ケースD1とする。ケースD1の場合には、表示サイズ算出部135は、図10に示すように、LCD110に、スケーリング後メイン画像1dのみのサイズが調整(拡大)されて、スケーリング後メイン画像1d’として表示されるように、表示サイズ調整値を算出する。
図10は、ケースD1である場合にLCD110に表示される表示画面の一例を示す図である。
具体的には、表示サイズ算出部135は、スケーリング後メイン画像1d’の表示サイズが、スケーリング後サブ画像3dの一端をLCD110の長手方向の一端に接する状態で表示させた場合に、スケーリング後メイン画像1d’の一端をLCD110の長手方向の他の一端に接するように表示させた状態で当該スケーリング後メイン画像1d’の他の一端がスケーリング後サブ画像3dの他の一端に接する表示サイズに調整されるよう、表示サイズ調整値を算出する。
ケースD2
ケースDの場合であって、テレビ10に、予めスケーリング後サブ画像3dの優先度がスケーリング後メイン画像1dの優先度よりも高く設定されている場合を、ケースD2とする。ケースD2の場合には、表示サイズ算出部135は、図11に示すように、スケーリング後サブ画像3dのみが調整されて、スケーリング後サブ画像3d’としてLCD110に表示されるように、表示サイズ調整値を算出する。
図11は、ケースD2である場合にLCD110に表示される表示画面の一例を示す図である。
ケースD3
ケースDの場合であって、テレビ10に、予めスケーリング後のメイン画像1d及びサブ画像3dに等しい優先度が設定がされている場合を、ケースD3とする。ケースD3の場合には、表示サイズ算出部135は、図12に示すように、スケーリング後のメイン画像1d及びサブ画像3dの表示サイズの双方が調整されて、スケーリング後のメイン画像1d’及びサブ画像3d’としてLCD110に表示されるように、表示サイズ調整値を算出する。
図12は、ケースD3である場合にLCD110に表示される表示画面の一例を示す図である。
なお、表示サイズ算出部135は、スケーリング後のメイン画像及びサブ画像に優先度が設定されていない場合にも、ケースD3と同様にスケーリング後のメイン画像及びサブ画像の表示サイズが調整されて表示されるように、表示サイズ調整値を算出してもよい。
(ケースE)
表示サイズ算出部135における式(4)及び(10)の計算の結果、スケーリング後メイン画像1dとスケーリング後サブ画像3dとが重なる場合、すなわち、Xds1+Xdt1>Xt1となる場合を、ケースEとする。ケースEの場合、スケーリング後メイン画像1d、及び、スケーリング後サブ画像3dは、例えば、図13に示すように、一方の画像の一部が他方の画像の一部に重畳してLCD110に表示されることになる。
図13は、ケースEである場合にLCD110に表示される表示画面の一例を示す図である。
ケースE1
ケースEの場合であって、テレビ10に予めスケーリング後メイン画像1dの表示を優先する設定がされている場合を、ケースE1とする。ケースE1の場合には、表示サイズ算出部135は、図14に示すように、LCD110に、スケーリング後サブ画像3dのみが調整(縮小)されて、スケーリング後サブ画像3d’として表示されるように、表示サイズ調整値を算出する。
図14は、ケースE1である場合にLCD110に表示される表示画面の一例を示す図である。
具体的には、表示サイズ算出部135は、スケーリング後サブ画像3d’の表示サイズが、スケーリング後メイン画像1dの一端をLCD110の長手方向の一端に接する状態で表示させた場合に、スケーリング後サブ画像3d’の一端をLCD110の長手方向の他の一端に接するように表示させた状態で当該スケーリング後サブ画像3d’の他の一端がスケーリング後メイン画像1dの他の一端に接する表示サイズとなるように、表示サイズ調整値を算出する。
ケースE2
ケースEの場合であって、テレビ10に予めスケーリング後サブ画像3dの表示を優先する設定がされている場合を、ケースE2とする。ケースE2の場合には、表示サイズ算出部135は、図15に示すように、LCD110に、スケーリング後メイン画像1dのみが調整されて、スケーリング後メイン画像1d’として表示されるように、表示サイズ調整値を算出する。
図15は、ケースE2である場合にLCD110に表示される表示画面の一例を示す図である。
ケースE3
ケースEの場合であって、テレビ10に、予めスケーリング後のメイン画像1d及びサブ画像3dに等しい優先度が設定がされている場合を、ケースE3とする。ケースE3の場合には、表示サイズ算出部135は、図16に示すように、スケーリング後のメイン画像1d及びサブ画像3dの表示サイズが共に調整され、スケーリング後のメイン画像1d’及びサブ画像3d’としてLCD110に表示されるように、表示サイズ調整値を算出する。
図16は、ケースE3である場合にLCD110に表示される表示画面の一例を示す図である。
(ケースF)
表示サイズ算出部135における式(5)及び(11)の計算の結果、スケーリング後メイン画像またはスケーリングサブ画像の縦幅がLCD110の縦幅を超える場合、すなわち、Yds1>Yt1、または、Ydt1>Yt1となる場合を、ケースFとする。ケースFの場合、スケーリング後メイン画像1dおよびスケーリング後サブ画像3dの少なくとも一方は、例えば、図17(a)及び(b)に示すように、LCD110にその全体が表示できなくなる。
図17は、ケースFである場合にLCD110に表示される表示画面の一例を示す図である。図17(a)は、スケーリング後サブ画像3dの縦幅がLCD110の縦幅を超える場合の表示画面の一例を示し、(b)は、スケーリング後メイン画像1dの縦幅がLCD110の縦幅を超える場合の表示画面の一例を示している。
ケースF1
ケースFの場合であって、テレビ10に、予めスケーリング後メイン画像1dの優先度が高く設定されている場合を、ケースF1とする。ケースF1の場合には、表示サイズ算出部135は、図18に示すように、スケーリング後メイン画像1dが優先されてLCD110に表示されるように、表示サイズ調整値を算出する。
図18は、ケースF1である場合にLCD110に表示される表示画面の一例を示す図である。図18(a)は、スケーリング後メイン画像1dの表示サイズを保ちつつスケーリング後サブ画像3dが調整された場合の表示画面の一例を示し、(b)は、スケーリング後メイン画像1dの縦幅がLCD110の縦幅に合わせて調整された場合の表示画面の一例を示している。
まず、スケーリング後のメイン画像1d及びサブ画像3dの表示サイズが図18(a)に示すような場合であるときに、表示サイズ算出部135において算出される表示サイズについて説明する。表示サイズ算出部135は、スケーリング後サブ画像3d’の表示サイズが、スケーリング後メイン画像1dの一端をLCD110の長手方向の一端に接する状態で表示させた場合に、スケーリング後サブ画像3d’の一端をLCD110の長手方向の他の一端に接するように表示させた状態で当該スケーリング後サブ画像’の他の一端がスケーリング後メイン画像1dの他の一端に接する表示サイズとなるように、表示サイズ調整値を算出する。
一方、スケーリング後のメイン画像1d及びサブ画像3dの表示サイズが図18(b)に示すような場合、表示サイズ算出部135は、スケーリング後メイン画像1d’の縦幅とLCD110の縦幅とが一致するように、スケーリング後メイン画像2d’の表示サイズ調整値を算出する。
なお、本実施形態では、メイン画像1aとスケーリング後メイン画像1d’とのアスペクト比が一定に保たれているため、表示サイズ調整値によって調整されたスケーリング後メイン画像1d’の表示サイズは、LCD110のサイズと一致する。このため、図18(b)に示すように、LCD110には、スケーリング後メイン画像1d’のみが表示されることになる。
ケースF2
ケースFの場合であって、テレビ10に、予めスケーリング後サブ画像3dの優先度が高く設定されている場合を、ケースF2とする。ケースF2の場合には、表示サイズ算出部135は、図19に示すように、スケーリング後サブ画像3dが優先されてLCD110に表示されるように、表示サイズ調整値を算出する。
図19は、ケースF2である場合にLCD110に表示される表示画面の一例を示す図である。図19(a)は、スケーリング後サブ画像3d’の縦幅がLCD110の縦幅に合わせて表示された場合の表示画面の一例を示し、(b)は、スケーリング後サブ画像3dの表示サイズを保ちつつスケーリング後メイン画像1d’が調整された場合の表示画面の一例を示している。
ケースF3
ケースFの場合であって、テレビ10に、予めスケーリング後のメイン画像1d及びサブ画像3dに等しい優先度が設定されている場合を、ケースF3とする。ケースF3の場合には、表示サイズ算出部135は、図20に示すように、スケーリング後のメイン画像1d及びサブ画像3dの表示サイズが共に調整されて、スケーリング後のメイン画像1d’及びサブ画像3d’としてLCD110に表示されるように、表示サイズ調整値を算出する。
図20は、ケースF3である場合にLCD110に表示される表示画面の一例を示す図である。図20(a)は、スケーリング後のメイン画像1d及びサブ画像3dを均等な縮小率で縮小して調整した場合の表示画面の一例を示し、(b)は、スケーリング後のメイン画像1d及びサブ画像3dを均等な縮小率で縮小して調整した場合の表示画面の他の一例を示している。
表示サイズ算出部135は、ケースD〜Fの場合に、上述のようにして、予め設定された優先度に応じて、スケーリング後のメイン画像及びサブ画像の表示サイズ調整値を算出する。表示サイズ算出部135は、算出した表示サイズ調整値を、スケーリング後のメイン画像及びサブ画像の表示サイズと共に表示サイズ情報として映像処理回路107に供給する。映像処理回路107は、表示サイズ算出部135から供給される表示サイズ情報(すなわち、表示サイズ、及び、表示サイズ調整値)に基づいて、メイン画像及びサブ画像に対してスケーリング処理を施す。
これにより、テレビ10は、ケースD〜Fの場合であっても、LCD110に表示されるスケーリング後メイン画像およびスケーリング後サブ画像を、上述のように、互いに接するように表示することができる。
これによって、テレビ10は、ケースDの場合には、スケーリング後メイン画像とスケーリング後サブ画像とを、各画像の間に隙間を生じさせることなく表示することができる。また、テレビ10は、ケースEの場合には、スケーリング後メイン画像の一部とスケーリング後サブ画像の一部とを重畳させることなく表示することができる。さらに、テレビ10は、ケースFの場合には、スケーリング後メイン画像およびスケーリング後サブ画像の全体をLCD110に表示させることができる。
なお、本実施形態では、スケーリング後メイン画像1d及びスケーリング後サブ画像3dが共に、LCD110の長手方向の沿った1辺に接するように表示させる構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、図21に示すように、スケーリング後メイン画像1d及びスケーリング後サブ画像3dの縦幅の中心が、LCD110の短手方向に沿った1辺の中心に位置するように表示される構成を採用することもできる。
図21は、本実施形態に係るテレビ10のLCD110に表示される表示画面の他の一例を示す図である。
上述のように、テレビ10は、サブ画像と同様に(1)メイン画像における最小文字サイズ、(2)テレビ10からユーザまでの距離から、メイン画像に含まれる文字を、テレビ10からユーザまでの距離に適した大きさで表示することができる。またテレビ10は、(3)基準文字サイズに基づいて、テレビ10からユーザまでの距離によらず、メイン画像を、メイン画像に含まれる文字がユーザの好みのサイズにより合致したサイズとなるよう調整された表示サイズで表示することができる。
さらに、表示サイズ算出部135は、スケーリング後(表示サイズの調整後)のサブ画像及びメイン画像の少なくとも何れかの表示サイズを更に調整するための表示サイズ調整値を、各々の優先度に応じて算出する。また、映像処理回路107は、表示サイズ調整値に基づいてスケーリング後のサブ画像及びメイン画像の少なくとも何れかの表示サイズを更に調整する。
これによって、テレビ10は、上記入力画像及び上記コンテンツの優先度に応じて、より適切な表示サイズでサブ画像及びメイン画像を表示することができる。
また、テレビ10は、ケースE、Fにおいて、ケースB、Cと同様にスケーリング後のメイン画像及びサブ画像の少なくとも何れかに含まれる最小文字のサイズがユーザに最適なサイズよりも小さいことを示すコーションを表示してもよい。また、テレビ10は、スケーリング後サブ画像に含まれる最小文字と比較可能なように、ユーザに最適なサイズの文字を表示してもよい。
〔文字認識部の構成〕
次に、本実施形態のテレビ10の備える制御部118の文字認識部132における文字認識処理、及び、文字認識処理を実行するための文字認識部132の有する構成について、図22から図25を参照して説明する。図22は、本実施形態に係るテレビ10の備える制御部118の文字認識部132の構成を示すブロック図である。
図22に示すように、本実施形態に係る文字認識部132は、文字領域検出部(文字領域検出手段)141、最小文字領域検出部(文字サイズ検出手段)142、及び、最小文字サイズ検出部(文字サイズ検出手段)143を備えている。
(文字領域検出部)
文字領域検出部141は、携帯端末30から入力されるサブ画像から、文字の含まれる領域(文字領域)を検出する。また、文字領域検出部141は、複数行又は複数列からなる文字領域を、各行又は各列毎に1つの文字領域として検出する。なお、サブ画像から文字領域を検出する処理については、周知の技術を利用することができるため、ここではその説明を省略する。
(最小文字領域検出部)
最小文字領域検出部142は、文字領域検出部141において検出された文字領域から、最も小さい文字を含む文字領域(最小文字領域)を検出する。
最小文字領域検出部142は、文字領域検出部141において検出された各文字領域のサイズを算出する。各文字領域のサイズ(横幅(行方向の幅)Xi、縦幅(列方向の幅)Yi、ただし、iは文字領域を示し、1≦i)の算出は、次の座標計算
Xi=(文字領域iの右上隅のX座標)−(文字領域iの左上隅のX座標)
Yi=(文字領域iの左上隅のY座標)−(文字領域iの左下隅のY座標)
により、算出することができる。
最小文字領域検出部142は、算出した各文字領域のサイズに基づき、横幅Xi又は縦幅Yiのサイズの最も小さな領域を最小文字領域として検出する。
例えば、最小文字領域検出部142は、まず、文字領域検出部141において検出された各文字領域のうち、横幅Xiの最も小さい文字領域と、縦幅Yiの最も小さい文字領域とを検出する。次に、最小文字領域検出部142は、横幅Xiの最も小さい文字領域の横幅Xiの値と、縦幅Yiの最も小さい文字領域の縦幅Yiの値を比較し、より値の小さい文字領域を、最小文字領域として抽出する。最小文字領域検出部142は、このようにして最小文字領域を検出すればよいが、もちろん、本発明はこれに限定されるものでない。
(最小文字サイズ検出部)
最小文字サイズ検出部143は、最小文字領域検出部142において抽出された最小文字領域に含まれる最小文字のサイズ(最小文字サイズ)を検出する。
具体的には、最小文字サイズ検出部143は、最小文字領域検出部142において抽出された最小文字領域の横幅Xiが、縦幅Yiよりも小さい場合には、横幅Xiの値を最小文字サイズとして検出する。また、最小文字サイズ検出部143は、最小文字領域の縦幅Yiが、横幅Xiよりも小さい場合には、縦幅Yiの値を最小文字サイズとして検出する。
すなわち、最小文字サイズ検出部143は、最小文字領域検出部142によって検出された最小文字領域の横幅Xi及び縦幅Yiの何れか小さい幅の値を最小文字サイズとして検出する。
〔文字認識処理〕
次に、本実施形態に係る文字認識部132における文字認識処理について、図23から図25を参照して説明する。図23は、本実施形態に係る文字認識処理の流れを示すフローチャートである。
また、図24は、文字認識処理の概要を示す図である。図24(a)は、サブ画像の一例を示し、(b)は、文字領域検出部141によって検出される文字領域の一例を示し、(c)は、最小文字サイズ検出部143によって算出される文字領域のサイズの一例を示している。
図23に示すように、例えば、図24(a)に示すサブ画像を取得すると(ステップS201)、文字領域検出部141は、サブ画像から文字領域を検出する(ステップS202)。このとき、文字領域検出部141は、図24(b)に示すように、サブ画像から、文字領域a1〜a5を検出する。
文字領域検出部141によって文字領域が検出されると、最小文字領域検出部142は、各文字領域a1〜a5のうちから、最小文字領域を検出する(ステップS203)。このとき、最小文字領域検出部142は、図24(c)に示すように、各文字領域a1〜a5のサイズ(横幅X1〜X5、及び、縦幅Y1〜Y5)を算出する。そして、最小文字領域検出部142は、算出した横幅X1〜X5及び縦幅Y1〜Y5から最も値の小さい幅を有する文字領域を、最小文字領域として検出する。
最小文字領域検出部142によって最小文字領域が検出されると、最小文字サイズ検出部143は、最小文字領域から最小文字サイズを検出する(ステップS204)。
上記の構成によれば、最小文字サイズ検出部143は、サブ画像に含まれる全ての文字のサイズを検出しなくとも、最小文字領域検出部142によって検出される最小文字領域の横幅(行方向の幅)及び縦幅(列方向の幅)、最も短い幅の値を、サブ画像に含まれる最小文字サイズとして検出することができる。
このため、テレビ10は、最小文字サイズを検出するために、サブ画像に含まれる全ての文字を検出し、更に検出した各文字のサイズを検出するという、処理量の大きな処理を行う必要がない。したがって、テレビ10は、最小文字サイズの検出に関する処理時間を低減することができる。
なお、図25に示すように、サブ画像には、1行(又は1列)の文字領域に複数のサイズの文字が含まれている場合もある。図25は、本実施形態に係る文字認識処理の他の一例を示す図である。図25(a)は、最小文字サイズ検出部143によって算出される文字領域のサイズの一例を示し、(b)は、最小文字サイズ検出部143によって算出される文字領域のサイズの他の一例を示している。
このような場合には、図25(a)に示すように、文字領域検出部141において1つの文字領域a6として検出し、最小文字領域検出部142において1つの文字領域a6としてのサイズ(縦幅Y6)を算出してもよい。また、図25(b)に示すように、文字領域検出部141において異なるサイズの文字毎に異なる文字領域a7、a8として検出し、最小文字領域検出部142において文字領域a7、a8のサイズ(縦幅Y7、Y8)を各々検出してもよい。
さらに、図26に示すように、サブ画像に、フォント及びフォントサイズが同一な文字を含む文字領域であって、縦長の文字を含む文字領域a9と、縦長の文字を含まない文字領域a10、a11とが含まれている場合もある。図26は、本実施形態に係る文字認識処理のさらに他の一例を示す図である。
このような場合であっても、図26に示すように、文字領域検出部141において文字領域a9〜a11を各々異なる文字領域として検出し、最小文字領域検出部142において文字領域a9〜a11の各々のサイズ(縦幅Y9〜Y11)を検出すればよい。このとき、Y9>Y10=Y11であるから、最小文字領域検出部142は、縦長の文字を含まない文字領域a10及び11のうちの任意の1つの文字領域を最小文字領域として検出してもよいし、文字領域a10及びa11の双方を最小文字領域として検出してもよい。
(その他の構成)
なお、本実施形態に係る制御部(判定手段)118は、サブ画像が動画像であるか静止画像であるかを判定してもよい。この場合には、文字認識部132(より具体的には、文字領域検出部141)は、制御部118においてサブ画像が動画像であると判定された場合には文字認識処理を継続的又は離散的に複数回実行し、サブ画像が静止画像であると判定された場合には文字認識処理をサブ画像を取得した時点で1度だけ実行してもよい。
これにより、本実施形態に係る文字認識部132は、サブ画像が静止画像である場合には、文字認識処理を1度実行した後は文字認識処理を停止することができるため、文字認識処理に関する消費電力を削減することができる。
さらに、本実施形態に係るテレビ10は、文字領域検出部141における文字領域の検出処理と、最小文字サイズ検出部143における最小文字サイズの検出処理とを、例えば所定の期間毎に、交互に実行する構成を採用してもよい。例えば、テレビ10は、サブ画像が供給され始めてから0秒〜2秒の間は、文字領域検出部141における文字領域の検出処理のみを実行し、2秒〜4秒の間は、最小文字サイズ検出部143における最小文字サイズの検出処理のみを実行し、以降これらの処理を2秒毎に交互に繰り返せばよい(交互処理実行時の最小文字サイズ検出方法1)。
また、テレビ10は、文字領域の検出処理と最小文字サイズの検出処理とを所定の期間毎に交互に実行する場合、文字領域の検出処理と、最小文字サイズの検出処理とを、サブ画像を構成する異なるフレームに対して実行する構成を採用することもできる(交互処理実行時の最小文字サイズ検出方法2)。
例えば、文字領域検出部141は、サブ画像が供給され始めてから0秒〜2秒の間、文字領域の検出処理のみを、サブ画像が供給され始めた時点(つまり、0秒の時点)で供給されたフレーム(文字領域検出対象フレーム)に対して実行する。次に、最小文字サイズ検出部143は、サブ画像が供給され始めてから2秒〜4秒の間、最小文字サイズの検出処理のみを、サブ画像が供給され始めてから2秒が経過した時点で供給されたフレーム(文字サイズ検出対象フレーム)に対して実行する。
このとき、最小文字サイズ検出部143は、文字サイズ検出対象フレームのうち、文字領域検出部141において文字領域検出対象フレームから検出された文字領域に対応する領域に対してのみ、最小文字サイズの検出処理を実行する。テレビ10は、以降、これら2つの処理を2秒毎に交互に繰り返せばよい。
このように、文字領域の検出処理と最小文字サイズの検出処理とを所定の期間毎に交互に実行する際に、文字領域の検出処理と最小文字サイズの検出処理とを、サブ画像を構成する異なるフレームに対して実行することにより、テレビ10は、サブ画像における最小文字サイズ比が変化した場合にも、変化後の最小文字サイズを検出し、最小文字サイズの変化を反映したスケーリング後サブ画像としてLCD110に表示するまでの時間を短縮することができる。
さらに、文字領域検出部141よって文字領域検出対象フレームから検出された文字領域又は当該文字領域に含まれる文字サイズが、文字サイズ検出対象フレームにおいて変化する場合には、テレビ10は、以下のケースG、Hに応じて上記交互処理実行時の最小文字サイズ検出方法1と2とを切り替えることが好ましい。
(ケースG)
文字領域検出対象フレームから検出された文字領域に対応する、文字サイズ検出対象フレームにおける領域に最小文字が含まれている場合を、ケースGとする。ケースGの場合には、テレビ10は、上記交互処理実行時の最小文字サイズ検出方法2を実行すればよい。
これにより、テレビ10は、文字領域検出部141よって文字領域検出対象フレームから検出された文字領域における最小文字サイズの変化を、スケーリング後サブ画像の表示サイズにより早く反映することができる。
(ケースH)
文字領域検出対象フレームから検出された文字領域に対応する文字サイズ検出対象フレームにおける領域に、最小文字が含まれていない場合を、ケースHとする。ケースHの場合には、テレビ10は、上記交互処理実行時の最小文字サイズ検出方法1を実行すればよい。
これにより、テレビ10は、文字領域検出対象フレームから検出された文字領域に最小文字が含まれていないにも係らず、文字領域検出対象フレームから検出された文字領域に対して文字サイズの検出処理が実行され、誤った最小文字サイズが検出されてしまうことを防ぐことができる。
なお、ケースHの場合には、例えば、以下のケースH1、ケースH2などの場合を例に挙げることができる。ケースH1は、文字サイズ検出対象フレームにおける、文字領域検出対象フレームから検出された文字領域と対応する領域に最小文字が含まれなくなり(最小文字が消え)、他の領域に最小文字が含まれるようになる場合である。また、ケースH2は、文字サイズ検出対象フレームにおける、文字領域検出対象フレームから検出された文字領域と対応する領域に含まれる文字が最小文字でなくなり、他の領域に最小文字が含まれるようになる場合である。
また、テレビ10におけるケースGとケースHとの判定方法としては、例えば、制御部118が、文字領域検出対象フレームの直前に供給された複数のフレームの中で、自フレームの直前のフレームに対して文字領域が変化しているフレームの数が所定の数以上である場合にケースHと判定する方法を挙げることができる。なお、所定の数としては、例えば、文字領域検出対象フレームの直前に供給された複数のフレームの半数であってもよいし、全ての数であってもよいし、特に限定されるものではない。
また、上述のように、最小文字サイズ検出部143は、サブ画像から最小文字サイズを検出することができる。このため、テレビ10は、携帯端末30からサブ画像と共にサブ画像に含まれる文字のサイズを示す情報が供給されるか否かによらず、サブ画像から最小文字サイズを検出することができる。これによって、テレビ10は、携帯端末30からサブ画像と共にサブ画像に含まれる文字のサイズを示す情報が供給されない場合であっても、検出された最小文字サイズに応じて算出された表示サイズとなるようサブ画像にスケーリング処理を施すことができる。
なお、テレビ10は、上述の構成により、携帯端末30のタイプによらずに最小文字のサイズを検出することができる。携帯端末30のタイプとしては、例えば、携帯電話、スマートフォンおよびタブレット端末など種々の端末を挙げることができるが、これに限定されず、種々の端末の異なる機種も含まれる。
さらに、本変形例に係る文字認識部132は、文字認識処理を、サブ画像全体ではなく、例えば、サブ画像の中心部など、サブ画像の特定の領域のみに対して実行してもよい。これにより、文字認識部132における文字認識処理の範囲を小さくすることができるため、文字認識処理の処理速度を向上させることができる。
また、本変形例に係る文字認識部132は、各文字領域に含まれる文字の全てのサイズを検出しなくともよい。例えば、文字認識部132は、各文字領域に含まれる文字のうち、先頭の文字の文字サイズのみを検出し、検出した、各文字領域に含まれる先頭の文字の文字サイズから、最小文字サイズを検出してもよい。
また、本変形例に係る文字認識部132は、サブ画像が動画像である場合、サブ画像として供給されるフレーム毎に文字認識処理を実行しなくともよい。例えば、所定の期間(例えば、1秒など)毎に文字認識処理を実行してもよいし、所定のフレーム数(例えば、50フレーム)毎に文字認識処理を実行してもよい。
さらに、本変形例に係る文字認識部132は、連続する2フレーム間の差分からサブ画像の変化量を判定し、変化量が所定の値以上である場合にのみ文字認識処理を実行してもよい。
また、本実施形態に係る文字認識部132における文字認識処理の頻度を、ユーザがリモコン20などを操作することによって、任意に設定可能であってもよい。
なお、本実施形態において、サブ画像に文字が含まれていない場合には、表示サイズ算出部135は、最小文字サイズに応じた表示サイズを算出することができない。このような場合には、映像処理回路107は、スイッチング部131がOFF状態である場合と同様に、所定の表示サイズとなるようサブ画像をスケーリング処理すればよい。また、映像処理回路107は、スケーリング後サブ画像が携帯端末30において表示される際のサイズと同じサイズとなるようサブ画像にスケーリング処理を施す構成を採用することもできる。
また、本実施形態に係る文字認識部132における文字認識処理を、所定の文字を含む文字領域に対してのみ実行する構成を採用してもよい。所定の文字とは、サブ画像に対する文字サイズの比(又は、文字サイズそのもの)が予め定められている文字をあげることができる。例えば、所定の文字は、サブ画像がアプリケーションの実行画面、メニュー画面およびEPGを表示する画面などである場合に、各画面において予め利用されることが決まっている文字などであればよい。
このように、所定の文字の含まれる文字領域にのみ文字認識処理を実行することにより、サブ画像全体に対する文字認識処理が不要になるため、文字認識部132における文字認識処理に関する処理速度を高速化することができる。
さらに、所定の文字の含まれる文字領域にのみ文字認識処理を実行する処理を、例えば、サブ画像に含まれる文字領域が多い場合など文字領域認識処理及び表示サイズ算出処理に長時間を要してしまう場合にのみ、実行する構成とすることもできる。
<変形例>
なお、本実施形態では、最小文字領域検出部142において最小文字領域を検出し、最小文字サイズ検出部143において最小文字サイズを検出する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。
例えば、最小文字サイズ検出部143において、文字領域検出部141によって検出された各文字領域に含まれる各文字のサイズを検出し、検出した文字サイズの中から最も小さい文字のサイズを最小文字サイズとして検出する構成を採用してもよい。
この場合には、文字認識部132は、文字領域検出部141、及び、最小文字サイズ検出部143のみを備えていればよい。換言すれば、本変形例に係る文字領域検出部141は、サブ画像から文字領域を検出し、最小文字サイズ検出部143は、文字領域に含まれる文字のみから最小文字サイズを検出すればよい。
本変形例に係る文字領域検出部141及び最小文字サイズ検出部143における処理について、図27を参照して説明する。図27は、本変形例に係るサブ画像の一例を示す図である。図27(a)は、文字領域検出部141によって検出される文字領域の一例を示し、(b)は、最小文字サイズ検出部143によって検出される文字サイズの一例を示している。
文字領域検出部141は、図27(a)に示すように、サブ画像から文字領域a12〜a14を検出する。そして、最小文字サイズ検出部143は、文字領域a12〜a14に含まれる文字毎にサイズを検出する。
このとき、最小文字サイズ検出部143は、図27(b)に示すように、文字領域a14から文字サイズX12、Y12を検出し、文字領域a13から文字サイズX13、Y13を検出する。さらに、最小文字サイズ検出部143は、文字領域a14から、2つの異なる文字サイズX14a、Y14a及びX14b、Y14bを検出する。
最小文字サイズ検出部143は、検出した文字サイズのうち、最も小さい文字サイズ(図27(b)に示す例においては、文字サイズX14a、Y14b)を最小文字サイズとして検出する。
上記の構成によれば、本変形例に係るテレビ10は、制御部118の備える文字認識部132において、サブ画像に含まれる文字のサイズを検出することができる。これにより、テレビ10は、サブ画像を当該テレビ10に供給する携帯端末30に係らず、サブ画像に含まれる文字のサイズを検出することができる。
<実施形態2>
実施形態1では、携帯端末30から供給されるサブ画像に含まれる文字の最小文字サイズを、テレビ10の備える文字認識部132において検出する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。
本実施形態では、携帯端末30が、サブ画像(表示画像)と共に、最小文字サイズのサブ画像のサイズに対する比(最小文字サイズ比)を示すサイズ比データをテレビ(表示装置)10に供給する場合を例に挙げ、図28を参照して説明する。図28は、本実施形態に係る携帯端末30の要部構成を示すブロック図である。
なお、説明の便宜上、実施形態1に係るテレビ10と同様の機能を有する構成要素については同一の符号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
また、本実施形態では、サブ画像が複数フレームから構成される動画像である場合を例に挙げて説明する。
〔携帯端末の構成〕
携帯端末30は、図28に示すように、制御部301、再生部302、表示部303、記憶部304、及び、送信部(出力手段)305を備えている。
制御部301は、携帯端末30の各部を統括的に制御する。また、制御部301は、図28に示すように、再生制御部311、及び、サイズ比情報生成部312を備えている。再生制御部311は、表示部303にサブ画像を表示するよう、再生部302の駆動を制御する。
サイズ比情報生成部312は、記憶部304に格納されているテーブルを参照して、サブ画像及びサブ画像に含まれる文字から、最小文字サイズ比を示すサイズ比データを生成し、サブ画像と関連づけて送信部305に供給する。なお、サイズ比情報生成部312、及び、記憶部304に格納されているテーブルの詳細については、後述する。
再生部302は、制御部301の備える再生制御部311の制御に基づき、サブ画像を表示部303に表示する。なお、表示部303としては、例えば、LCDなどを例に挙げることができるが、特に限定されるものではない。
送信部305は、制御部301のサイズ比情報生成部312から供給される、サブ画像及び当該サブ画像に関連づけられたサイズ比データを、テレビ10に代表される表示装置に送信する。なお、送信部305におけるサブ画像及びサイズ比データの送信は、例えば、HDMIケーブル(不図示)などを用いた有線通信によって実現されてもよいし、Bluetooth(登録商標)などを用いた無線通信によって実現されてもよい。
〔サイズ比情報生成部の構成〕
次に、制御部301の備えるサイズ比情報生成部312、及び、記憶部304の詳細について、図28を参照して説明する。図28に示すように、サイズ比情報生成部312は、文字認識部(検出手段)321、最小文字サイズ比算出部(サイズ比算出手段)322、及び、サイズ比変化判定部(判定手段)323を備えている。また、記憶部304には、サイズ比テーブル341、及び、変化フラグテーブル342が格納されている。
(文字認識部)
文字認識部321は、表示部303に表示されるサブ画像に含まれる文字を認識し、認識した文字の中から最小文字サイズを検出する。なお、本実施形態に係る携帯端末30の備える文字認識部321における最小文字サイズの検出については、実施形態1に係るテレビ10の備える文字認識部132における文字認識処理と同様の処理によって実行することができるため、ここではその詳細な説明については省略する。
文字認識部321は、検出した最小文字サイズを、サブ画像と共に最小文字サイズ比算出部322に供給する。
(最小文字サイズ比算出部、サイズ比テーブル)
最小文字サイズ比算出部322は、文字認識部321から供給される最小文字サイズに基づき、サブ画像のサイズに対する最小文字サイズの比(最小文字サイズ比)を算出する。なお、本実施形態に係る携帯端末30の備える最小文字サイズ比算出部322における最小文字サイズ比(文字サイズ比)の算出は、実施形態1に係るテレビ10の備える表示サイズ算出部135における最小文字サイズ比の算出と同様にして行うことができるため、ここではその詳細な説明については省略する。
また、最小文字サイズ比算出部322は、算出した最小文字サイズ比を示すサイズ比データを、記憶部304に格納されている、図29に示すサイズ比テーブル341から読み出す。
図29は、本実施形態に係るサイズ比テーブル341の一例を示す図である。サイズ比テーブル341は、図29に示すように、横幅の最小文字サイズ比(Xs2/Xs1)、及び、縦幅の最小文字サイズ比(Ys2/Ys1)と、これらの最小文字サイズ比を示すサイズ比データ(8ビット信号)とを関連づけたテーブルである。
最小文字サイズ比算出部322は、算出した最小文字サイズ比、及び、当該最小文字サイズ比を示すサイズ比データを、サブ画像と共にサイズ比変化判定部323に供給する。
(サイズ比変化判定部、変化フラグテーブル)
サイズ比変化判定部323は、最小文字サイズ比算出部322から供給された最小文字サイズ比が、前回供給された1フレーム前のサブ画像における最小文字サイズ比から変化しているか否かを判定する。サイズ比変化判定部323は、1フレーム前のサブ画像における、横幅の最小文字サイズ比又は縦幅の最小文字サイズ比の少なくとも何れかが変化した場合に、最小文字サイズ比が変化したと判定すればよい。
また、サイズ比変化判定部323は、最小文字サイズ比が変化したか否かの判定結果を示すフラグを、記憶部304に格納されている、図30に示す変化フラグテーブル(フラグテーブル)342から読み出す。
図30は、本実施形態に係る変化フラグテーブル342の一例を示す図である。変化フラグテーブル342は、図30に示すように、最小文字サイズ比が変化したか否かと、最小文字サイズ比が変化したか否かを示す変化フラグ(1ビット信号)とを関連付けたテーブルである。図30に示すように、変化フラグは、1ビット信号「1」で最小文字サイズ比が変化したことを示し、1ビット信号「0」で最小文字サイズ比が変化していないことを示している。
携帯端末30は、上述のようにして、サブ画像を構成する各フレームに対応するサイズ比データ及び変化フラグを取得する。携帯端末30は、サブ画像を構成する各フレームと共に、各フレームに対応するサイズ比データ及び変化フラグを送信することによって、サブ画像と共にサイズ比データ及び変化フラグを送信する。
なお、テレビ10及び携帯端末30の各々には、共通のサイズ比テーブル及び変化フラグテーブルが格納されていることが好ましい。
〔携帯端末におけるサブ画像送信処理〕
次に、本実施形態に係る携帯端末30において、サブ画像と共にサイズ比データ及び変化フラグをテレビ10に送信する際の処理(サブ画像送信処理とも記載する)について、図31を参照して説明する。図31は、本実施形態に係る携帯端末30のサイズ比情報生成部312におけるサブ画像送信処理の流れを示すフローチャートである。
図31に示すように、サイズ比情報生成部312の文字認識部321は、サブ画像に対して文字認識処理を実行し(ステップS301)、検出した最小文字文サイズを最小文字サイズ比算出部322に供給する。
最小文字サイズ比算出部322は、供給された最小文字サイズ及びサブ画像のサイズから最小文字サイズ比を算出し(ステップS302)、算出した最小文字サイズ比に関連付けられたサイズ比データをサイズ比テーブル341から読み出す(ステップS303)。
サイズ比変化判定部323は、現在のフレームのサブ画像におけるサイズ比が、直前のフレームのサブ画像におけるサイズ比と比較して変化しているか否かを判定する(ステップS304)。サイズ比変化判定部323は、サイズ比が変化していないと判定した場合(ステップS304においてNO)、変化フラグテーブルから変化フラグ「0」を読み出す。また、サイズ比変化判定部323は、サイズ比が変化したと判定した場合(ステップS304においてYES)、変化フラグテーブルから変化フラグ「1」を読み出す。
制御部301は、ステップS301〜S306において取得した変化フラグ及びサイズ比データを、サブ画像と共に、送信部305を介してテレビ10に送信する(ステップS307)。
〔テレビにおける処理〕
次に、本実施形態に係るテレビ10において実行される処理について、図32を参照して説明する。図32は、本実施形態に係るテレビ10において実行される処理の流れを示すフローチャートである。
図32に示すように、外部入力部115又は無線通信部121を介して携帯端末30からサブ画像、変化フラグ及びサイズ比データを取得すると(ステップS401)、制御部118は、スイッチング部131がON状態であるか否かを判定する(ステップS402)。スイッチング部131がOFF状態である場合(ステップS402においてNO)、制御部118は、サブ画像がそのままLCD110に表示されるよう、映像処理回路107を制御する(ステップS403)。
スイッチング部131がON状態である場合(ステップS402においてYES)、文字認識部(文字サイズ検出手段)132は、変化フラグが「1」であるか否かを判定する(ステップS404)。
変化フラグが「0」である場合(ステップS404においてNO)、表示サイズ算出部135は、サブ画像を構成する現フレームの表示サイズの算出結果として、当該現フレームの直前フレームの表示サイズと同じ表示サイズを設定する(ステップS405)。
表示サイズ算出部135は、算出結果として設定した直前フレームの表示サイズを示す表示サイズ情報を映像処理回路107に供給する(ステップS410)。これにより、現フレームの示すサブ画像には、当該現フレームの直前フレームの示すサブ画像に施されるスケーリング処理と同じスケーリング処理が施されることになる。
また、変化フラグが「1」である場合(ステップS404においてYES)、文字認識部132は、サイズ比データから、サブ画像を構成する現フレームにおける最小文字サイズ比を取得する(ステップS406)。
次に、距離検出部133は、カメラ120によって撮像された撮像画像から、テレビ10を使用しているユーザと、当該テレビ10との距離を検出する(ステップS407)。また、ユーザ設定抽出部134は、カメラ120によって撮像された撮像画像から、テレビ10を使用しているユーザを特定し、特定されたユーザによって予め設定されている基準文字サイズをRAM117から抽出する(ステップS408)。
そして、表示サイズ算出部135は、(1)サイズ比データの示す最小文字サイズ比、(2)テレビ10からユーザまでの距離、及び、(3)ユーザの設定した基準文字サイズに基づいて、表示サイズ算出処理を実行する(ステップS409)。表示サイズ算出部135は、算出した表示サイズを、表示サイズ情報として映像処理回路107に供給する(ステップS410)。
(サイズ比データ、変化フラグ)
次に、本実施形態係る携帯端末30から送信されるサイズ比データ及び変化フラグと、テレビ10に表示されるスケーリング後サブ画像との関係について、図33及び図34を参照して説明する。
図33は、本実施形態に係る携帯端末30から送信されるサイズ比データ及び変化フラグと、テレビ10に表示されるスケーリング後サブ画像との関係の一例を示す図である。図33(a)は、携帯端末30から送信されるサイズ比データ、変化フラグ及びサブ画像を示すデータの一例を示し、(b)は、テレビ10のLCD110に表示される表示画面の一例を示す図である。
また、図34は、本実施形態に係る携帯端末30から送信されるサイズ比データ及び変化フラグと、テレビ10に表示されるスケーリング後サブ画像との関係の他の一例を示す図である。図34(a)は、携帯端末30から送信されるサイズ比データ、変化フラグ及びサブ画像を示すデータの他の一例を示し、(b)は、テレビ10のLCD110に表示される表示画面の他の一例を示す図である。
図33(a)に示すように、携帯端末30は、サイズ比データ及び変化フラグFを含むヘッダ部Hと、サブ画像を構成する1フレーム(現フレーム)を示すデータ部Dとからなるデータを送信する。
このとき、文字認識部132は、ヘッダ部Hから変化フラグFを抽出し、現フレームにおける最小文字サイズ比が、現フレームの直前フレームにおける最小文字サイズ比から変化しているか否かを判定する。図33(a)に示す例では、変化フラグFの値は「0」であることから、文字認識部132は、最小文字サイズ比は変化していないと判定する。
表示サイズ算出部135は、直前フレームにおけるサイズ比データの示す最小文字サイズ比に基づいて算出した表示サイズをそのまま映像処理回路107に供給する。なお、変化フラグF=0であることから、直前フレームにおける最小文字サイズ比は、現フレームにおけるサイズ比データの示す最小文字サイズ比(Xs2/Xs1=1/30、Ys2/Ys1=1/45)と同じである。
これにより、LCD110には、図33(b)に示すように、直前フレームにおけるサイズ比データに基づいて算出された表示サイズにスケーリングされたサブ画像が表示されることになる。
次に、文字認識部132は、図34(a)に示す、携帯端末30から送信されたデータのヘッダ部Hから変化フラグFを抽出し、現フレームにおける最小文字サイズ比が、現フレームの直前フレームにおける最小文字サイズ比から変化しているか否かを判定する。図34(a)に示す例では、変化フラグFの値は「1」であることから、文字認識部132は、最小文字サイズ比が変化していると判定する。
表示サイズ算出部135は、ヘッダ部Hからサイズ比データ(図34(a)における「01000001」、「00101000」)を抽出する。表示サイズ算出部135は、例えば、RAM117などに格納されているサイズ比テーブルを参照して、抽出したサイズ比データの示す最小文字サイズ比(Xs2/Xs1=1/20、Ys2/Ys1=1/30)を取得する。表示サイズ算出部135は、取得した最小文字サイズ比に基づいて、スケーリング後サブ画像の表示サイズを算出し、映像処理回路107に供給する。
これにより、LCD110には、図34(b)に示すように、図33(b)に示すスケーリング後サブ画像から表示サイズが変更された状態で、スケーリング後サブ画像が表示される。
上記の構成によれば、携帯端末30は、サブ画像と共に最小文字のサイズを示すデータを出力することにより、テレビ10に対して、サブ画像のサイズに係らず、上記表示画像と上記最小文字のサイズとを一律に提示することができる。
したがって、テレビ10は、文字サイズ比を用いて表示サイズ算出処理を実行する場合であっても、サブ画像から最小文字の検出、最小文字のサイズの検出、及び、最小文字のサイズ及び上記表示画像からの文字サイズ比の算出の何れも行う必要がない。これによって、携帯端末30は、テレビ10における処理量を低減することができる。
また、記憶部304にはサイズ比テーブル341及び変化フラグテーブル342が格納されていることから、携帯端末30は、サイズ比データ及び変化フラグとして、各テーブルにおいて関連付けられているデータを用いることができる。これにより、携帯端末30は、文字サイズ比からサイズ比データを生成する処理、及び、上記判定結果に基づいて変化フラグを示すデータを生成する処理を行う必要がない。
したがって、携帯端末30は、上記出力手段から上記サイズ比データ及び上記フラグデータを出力するまでに必要な処理を削減することができる。つまり、上記携帯端末は、当該携帯端末30におけるサイズ比データ及び変化フラグの出力に関する処理量を低減することができる。
なお、本実施形態では、携帯端末30が、サブ画像と共にサイズ比データを送信する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、サイズ比データに代えて、最小文字サイズを示すデータをサブ画像と共に送信する構成を採用することもできるし、さらに他のデータを送信することもできる。
これによれば、携帯端末30からサブ画像の入力を受け付けるテレビ10は、上記表示画像から最小文字を検出する必要も、最小文字のサイズを検出する必要もないため、テレビ10における処理量を低減することができる。
<実施形態3>
実施形態1では、スケーリング後メイン画像及びスケーリングサブ画像を、LCD110の長手方向(図4におけるx軸方向)に並べて2画面表示する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。
例えば、スケーリング後メイン画像及びスケーリングサブ画像を、LCD110の短手方向に並べて2画面表示する構成を採用してもよい。また、スケーリング後メイン画像及びスケーリングサブ画像を、LCD110の長手方向に並べる2画面表示と、短手方向に並べる2画面表示とを適宜切り替える構成を採用することもできる。
本実施形態では、スケーリング後メイン画像及びスケーリングサブ画像を、LCD110の長手方向に並べる2画面表示(2画面横表示とも記載する)と、短手方向に並べる2画面表示(2画面縦表示とも記載する)とを適宜切り替える構成を例に挙げて説明する。
〔メイン画像およびサブ画像の最適な配置〕
本実施形態に係るテレビ(表示装置)10の備える制御部118の表示サイズ算出部(調整手段)135における処理について、図35から図36を参照して説明する。
図35は、本実施形態に係るテレビ10の備えるLCD110に表示される表示画面の一例を示す図である。図35(a)は、スケーリング後のメイン画像及びサブ画像を2画面横表示する場合の表示画面の一例を示し、(b)は、スケーリング後のメイン画像及びサブ画像を2画面縦表示する場合の表示画面の一例を示している。
本実施形態に係る表示サイズ算出部135は、式(4)、(5)、(10)及び(11)の計算結果に基づき、スケーリング後のメイン画像及びサブ画像を2画面横表示させるか、2画面縦表示させるかを判定する表示位置判定処理をさらに実行する。なお、表示位置判定処理の詳細については、後述する。
表示サイズ算出部135において表示位置判定処理が実行されると、制御部118は、表示位置判定処理の判定結果を、表示サイズ情報と共に映像処理回路(調整手段)107に供給する。
映像処理回路107は、制御部118から取得した表示サイズ情報に基づいて、メイン画像及びサブ画像にスケーリング処理を施し、スケーリング後メイン画像およびスケーリング後サブ画像を生成する。また、映像処理回路107は、制御部118から取得した判定結果が2画面横表示を示す場合には、2画面横表示用のスケーリング後のメイン画像及びサブ画像を生成する。LCDコントローラ(表示手段)109は、スケーリング後のメイン画像及びサブ画像が2画面横表示されるよう、LCD(表示部)110を駆動する。
さらに、映像処理回路107は、制御部118から取得した判定結果が2画面縦表示を示す場合には、2画面縦表示用のスケーリング後のメイン画像及びサブ画像を生成する。LCDコントローラ109は、スケーリング後のメイン画像及びサブ画像が2画面縦表示されるよう、LCD110を駆動する。
(表示位置判定処理)
次に、表示サイズ算出部135における表示位置判定処理について、説明する。ここで、LCD110のx軸方向の長さをLCD110の横幅Xd1とし、y軸方向の長さをLCD110の縦幅Yd1とする。
表示サイズ算出部135は、まず、LCD110の表示領域のアスペクト比(Yd1/Xd1)(すなわち、メイン画像のアスペクト比(Yt1/Xt1))と、サブ画像のアスペクト比(Ys1/Xs1)とを比較する。そして、表示サイズ算出部135は、(i)Ys1/Xs1≧Yd1/Xd1(サブ画像のアスペクト比≧メイン画像のアスペクト比)であるか、(ii)Ys1/Xs1<Yd1/Xd1(サブ画像のアスペクト比<メイン画像のアスペクト比)であるかを判定する。
表示サイズ算出部135は、Ys1/Xs1≧Yd1/Xd1であると判定した場合には、スケーリング後メイン画像およびスケーリング後サブ画像を2画面横表示させる旨を示す指示(横表示指示)を、表示サイズ情報と共に映像処理回路107に供給する。
一方、表示サイズ算出部135は、Ys1/Xs1<Yd1/Xd1であると判定した場合には、スケーリング後メイン画像およびスケーリング後サブ画像を2画面縦表示させる旨を示す指示(縦表示指示)を、表示サイズ情報と共に映像処理回路107に供給する。
(表示位置判定処理の判定式について)
ここで、表示サイズ算出部135における表示位置判定処理の判定式(Ys1/Xs1≧Yd1/Xd1、及び、Ys1/Xs1<Yd1/Xd1)について、図36を参照して説明する。図36は、本実施形態に係るテレビ10に表示される表示画面の一例を示す図である。
図36に示すように、2画面縦表示する場合のスケーリング後サブ画像3eの横幅をXds1A、縦幅をYds1Aとし、2画面横表示する場合のスケーリング後サブ画像3e’の横幅をXds1B、縦幅をYds1Bとする。
LCD110と、スケーリング後メイン画像1eとは、相似形であることから、
k=Xdt1/Xd1=Ydt1/Yd1 ・・・(12)
が得られる。ここで、k(ただし、0<k<1)は、スケーリング後メイン画像のメイン画像に対するスケーリングの程度(縮小率)を示している。
また、スケーリング後サブ画像3eとスケーリング後サブ画像3e’とは、相似形であることから、
m=Yds1A/Xds1A=Yds1B/Xds1B ・・・(13)
が得られる。ここで、m(ただし、0<m)は、スケーリング後サブ画像3e及び3e’のアスペクト比を示している。
さらに、図36に示すように、スケーリング後メイン画像1eとスケーリング後サブ画像3eとの関係から、
Yd1=Ydt1+Yds1A ・・・(14)
であり、スケーリング後メイン画像1eとスケーリング後サブ画像3e’との関係から、
Xd1=Xdt1+Xds1B ・・・(15)
である。
ここで、2画面縦表示した場合のスケーリング後サブ画像3eの表示面積Saは、
Sa=Xds1A*Yds1A ・・・(16)
であり、2画面横表示した場合のスケーリング後サブ画像3e’の表示面積Sbは、
Sb=Xds1B*Yds1B ・・・(17)
である。
式(12)〜(14)、(16)から、スケーリング後サブ画像3eの表示面積Saは、
Sa=Xds1A*(1−k)Yd1
={(1−k)^2}*(Yd1^2)/m ・・・(18)
となる。また、式(12)、(13)、(15)、(17)から、スケーリング後サブ画像3e’の表示面積Sbは、
Sb=(1−k)Xd1*Yds1B
={(1−k)^2}*(Xd1^2)*m ・・・(19)
となる。
ここで、Sa>Sb、すなわち、スケーリング後サブ画像3eの表示面積Saが、スケーリング後サブ画像3e’の表示面積Sbよりも大きくなるとき、式(18)及び(19)から、
Sa/Sb=(Yd1^2)/{(m^2)*(Xd1^2)}>1 ・・・(20)
となる。
また、式(20)から、
m^2<(Yd1/Xd1)^2 ・・・(21)
が得られる。さらに、式(21)から、
Yds1A/Xds1A<Yd1/Xd1 ・・・(22)
が得られる。
なお、サブ画像と、スケーリング後サブ画像3eとは、相似形であることから、
Yds1A/Xds1A=Ys1/Xs1 ・・・(23)
である。したがって、式(22)及び(23)より、
Ys1/Xs1<Yd1/Xd1 ・・・(24)
となる。
以上のことから、式(24)が成立する場合には、スケーリング後サブ画像3eの表示面積Saが、スケーリング後サブ画像3e’の表示面積Sbよりも大きくなる。
同様に、Sa<Sb、すなわち、スケーリング後サブ画像3e’の表示面積Sbが、スケーリング後サブ画像3eの表示面積Saよりも大きくなるとき、
Ys1/Xs1≧Yd1/Xd1
が成立する。
従って、表示サイズ算出部135は、Ys1/Xs1≧Yd1/Xd1であると判定した場合に横表示指示を表示サイズ情報と共に映像処理回路107に供給することにより、LCD110にスケーリング後のメイン画像及びサブ画像を2画面横表示させる。また、表示サイズ算出部135は、Ys1/Xs1<Yd1/Xd1であると判定した場合には、縦表示指示を表示サイズ情報と共に映像処理回路107に供給することにより、LCD110にスケーリング後のメイン画像及びサブ画像を2画面縦表示させる。
これによって、テレビ10は、スケーリング後サブ画像の表示面積をより大きくすることができる。なお、以降では、Ys1/Xs1≧Yd1/Xd1である場合を「サブ画像が縦長」とも記載し、Ys1/Xs1<Yd1/Xd1である場合を「サブ画像が横長」とも記載する。
(表示画面の遷移)
次に、携帯端末(外部機器)30におけるサブ画像の表示が縦表示(サブ画像の長手方向が図37におけるy軸方向となる表示)から横表示(サブ画像の長手方向がx軸方向となる表示)に遷移した場合における、LCD110に表示される表示画面の遷移の一例を、図37を参照して説明する。
図37は、本実施形態に係るテレビ10のLCD110に表示される表示画面の遷移の一例を示す遷移図である。図37(a)は、サブ画像の表示が縦表示である場合のLCD110の表示画面の一例を示し、(b)は、サブ画像の表示が横表示に遷移した場合のLCD110の表示画面の一例を示している。
携帯端末30に表示されるサブ画像が縦表示であって、表示サイズ算出部135においてサブ画像が縦長であると判定された場合、図37(a)に示すように、LCD110には、スケーリング後のメイン画像及びサブ画像が2画面横表示される。
次に、携帯端末30に表示されるサブ画像が、図37(a)に示す縦表示から、図37(b)に示す横表示に遷移すると、表示サイズ算出部135は、表示位置判定処理を実行する。表示サイズ算出部135においてサブ画像が横長であると判定された場合、LCD110には、図37(b)に示すように、スケーリング後のメイン画像及びサブ画像が、2画面縦表示される。
このように、携帯端末30におけるサブ画像の表示が縦表示から横表示に遷移(例えば、携帯端末30の表示画面が90度回転)すると、LCD110に表示される表示画面は、図37(a)に示す2画面横表示から、図37(b)に示す2画面縦表示に遷移する。なお、本実施形態では、携帯端末30におけるサブ画像の表示が縦表示から横表示に遷移する場合を例に挙げて説明したが、サブ画像の表示が横表示から縦表示に遷移する場合も同様である。
上記の構成によれば、表示サイズ算出部135は、スケーリング後メイン画像及びスケーリング後サブ画像のLCD110における表示位置を、メイン画像及びサブ画像のアスペクト比に基づいて調整する。これによって、テレビ10は、スケーリング後メイン画像及びスケーリング後サブ画像をLCD110上の適した表示位置に表示することができる。
より具体的には、サブ画像のアスペクト比がメイン画像のアスペクト比以上(つまり、サブ画像の形状がメイン画像の形状よりも縦長)である場合、スケーリング後のメイン画像及びサブ画像をLCD110の長手方向に並べて表示することになる。また、サブ画像のアスペクト比がメイン画像のアスペクト比よりも小さい(つまり、サブ画像の形状がメイン画像の形状よりも横長)である場合、スケーリング後のメイン画像及びサブ画像をLCD110の短手方向に並べて表示することになる。
したがって、テレビ10は、スケーリング後のメイン画像及びサブ画像を共に最適な表示サイズで、すなわち、スケーリング後のメイン画像及びサブ画像の表示面積がより大きくなるよう表示することができる。
<変形例>
本実施形態では、表示サイズ算出部135における表示位置判定処理の判定結果が変わった場合に、LCD110におけるスケーリング後サブ画像の表示位置を変更する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、表示サイズ算出部135における表示位置判定処理の判定結果が変わった場合であっても、所定の場合には、LCD110におけるスケーリング後サブ画像の表示位置を変更しない構成を採用することもできる。
本変形例では、スケーリング後サブ画像の表示位置を変更した場合の表示面積の、変更しない場合の表示面積に対する増加率が所定の閾値以下である場合には、スケーリング後サブ画像の表示位置を変更しない構成を例に挙げて説明する。
本変形例に係るテレビ10におけるLCD110の表示画面の一例について、図38を参照して説明する。図38は、本変形例に係るテレビ10のLCD110に表示される表示画面の一例を示す図である。図38(a)は、サブ画像の表示が縦表示である場合のLCD110の表示画面の他の一例を示し、(b)は、サブ画像の表示が横表示に遷移した場合のLCD110の表示画面の他の一例を示している。
図38(a)に示すように、携帯端末30においてサブ画像3fが縦表示されており、表示サイズ算出部135においてサブ画像が縦長であると判定された場合、スケーリング後のメイン画像1f’及びサブ画像3f’は、LCD110に2画面横表示される。次に、図38(a)に示す状態から、(b)に示すようにサブ画像3gが横表示される状態に遷移した場合、表示サイズ算出部135は、サブ画像が横長であると判定する。
このとき、表示サイズ算出部135は、(i)スケーリング後サブ画像の表示位置を2画面縦表示する際の表示位置に変更した場合のスケーリング後サブ画像3g’の表示面積Saと、(ii)スケーリング後サブ画像の表示位置を現在(図38(a)に示す位置)の位置のままとした場合のスケーリング後サブ画像3g”の表示面積Sbとから、表示面積の増加率(Sa/Sb)を算出する。
表示サイズ算出部135は、算出した増加率Sa/Sbと、所定の閾値とを比較する。表示サイズ算出部135は、算出した増加率が所定の閾値より大きい場合には、2画面縦表示に変更する(つまり、スケーリング後サブ画像の表示位置を変更する)旨の指示を示す表示位置変更指示を、表示サイズ情報と共に映像処理回路107に供給する。
一方、表示サイズ算出部135は、算出した増加率が所定の閾値以下である場合には、2画面横表示を維持する(つまり、スケーリング後サブ画像の表示位置を現在のまま維持する)旨の指示を示す表示位置維持指示を、表示サイズ情報と共に映像処理回路107に供給する。
(増加率Sa/Sbの算出)
ここで、表示サイズ算出部135における、スケーリング後サブ画像の表示面積の増加率Sa/Sbの算出、及び、算出した増加率Sa/Sbと所定の閾値との比較について説明する。なお、本変形例では、所定の閾値として増加率1.1(すなわち、増加率が10%)が設定されている場合を例に挙げて説明するが、所定の閾値は任意に設定可能であればよく、特に限定されるものではない。
表示面積の増加率Sa/Sbは、式(13)より、
m=Yds1A/Xds1A=Yds1B/Xds1B
=Ys1/Xs1 ・・・(25)
であるから、式(18)、(19)及び(25)から、
Sa/Sb=(Yd1)^2/{(m^2)*Xd1^2}
={(Yd1/Xd1)^2}/{(Ys1/Xs1)^2}・・(26)
となる。
以上より、表示サイズ算出部135は、式(26)を計算することにより、表示面積の増加率Sa/Sbを算出すればよい。
本変形例では、所定の閾値として増加率1.1が設定されていることから、表示サイズ算出部135は、式(26)によって算出される増加率Sa/Sbと、所定の閾値1.1とを比較して、
{(Yd1/Xd1)^2}/{(Ys1/Xs1)^2}≦1.1 ・・・(27)
を満たす場合には、スケーリング後サブ画像の表示位置を現在のまま維持する表示位置維持指示を映像処理回路107に通知すればよい。また、式(27)を満たさない場合に、スケーリング後サブ画像の表示位置を変更する表示位置変更指示を映像処理回路107に通知すればよい。
本変形例では、携帯端末30に表示されるサブ画像が、縦表示から横表示に遷移した場合を例に挙げて説明したが、横表示から縦表示に遷移する場合も同様に、
{(Ys1/Xs1)^2}/{(Yd1/Xd1)^2}≦1.1 ・・・(28)
を満たす場合には、スケーリング後サブ画像の表示位置を現在のまま維持させればよい。また、式(28)を満たさない場合に、スケーリング後サブ画像の表示位置を変更させればよい。
上記の構成によれば、表示サイズ算出部135は、表示位置判定処理の判定結果が変わった場合であっても、更に、表示面積の増加率に基づいてスケーリング後サブ画像の表示位置を変更するか否かを決定することができる。これにより、テレビ10は、携帯端末30におけるサブ画像の表示が遷移した場合に、表示面積の増加率が低いにも係らず表示位置が変更されてしまうことにより、ユーザの視認性が低下してしまうことを防ぐことができる。
なお、本変形例の他の一例として、表示位置判定処理の判定結果が変わった場合であっても、所定の期間が経過する前に元の判定結果に戻った場合には、スケーリング後サブ画像の表示位置を変更しない構成などを採用することもできる。
また、最小文字サイズ、及び、テレビ10とユーザとの距離などは、頻繁に変化することもあるが、これらが変化する度にスケーリング後サブ画像の表示サイズが変更されると、ユーザが煩わしさを感じてしまう場合がある。
このような場合、例えば、サブ画像に含まれる最小文字サイズが変化した場合であっても、最小文字サイズの変化率が所定の値よりも小さい場合には、スケーリング後サブ画像の表示サイズを変更しない構成を採用してもよい。さらに、テレビ10とユーザとの距離が変化した場合であっても、距離の変化が所定の値よりも小さい場合、又は、距離の変化が所定の時間以内である場合には、スケーリング後サブ画像の表示サイズを変更しない構成を採用してもよい。
上述の構成によれば、最小文字サイズ、及び、テレビ10とユーザとの距離などが変化する度にスケーリング後サブ画像の表示サイズが変更されることによって、ユーザの視認性が低下してしまうことを防ぐことができる。
<実施形態4>
実施形態1では、サブ画像とスケーリング後サブ画像とのアスペクト比、及び、メイン画像とスケーリング後メイン画像とのアスペクト比を一定に保ちつつ2画面表示する場合を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、サブ画像とスケーリング後サブ画像とのアスペクト比、及び、メイン画像とスケーリング後メイン画像とのアスペクト比の少なくとも何れかを一定に保つことなく2画面表示してもよい。
本実施形態の一例として、2画面表示においてサブ画像とスケーリング後サブ画像とのアスペクト比が一定に保たれない場合について、図39を参照して説明する。図39は、本実施形態に係るテレビ10の備えるLCD110に表示される表示画面の他の一例を示す図である。図39(a)は、サブ画像とスケーリング後サブ画像とのアスペクト比が一定に保たれている場合の表示画面の一例を示し、(b)は、サブ画像とスケーリング後サブ画像とのアスペクト比が一定に保たれていない場合の表示画面の一例を示している。
例えば、本実施形態では、図39(a)に示すように、サブ画像とスケーリング後サブ画像とのアスペクト比が一定に保たれた状態で2画面表示されている場合に、ユーザユーザがリモコン20などを操作することによって、スケーリング後サブ画像の形状を変形可能であってもよい。
表示サイズ算出部135は、ユーザによりスケーリング後サブ画像の縦幅Yds1の長さを長くする指示が入力されると、ユーザ指示に応じた縦幅Yds1’を算出し、表示サイズ情報として映像処理回路107に供給すればよい。映像処理回路107によってスケーリング処理の施されたスケーリング後サブ画像は、図39(b)に示すように、アスペクト比が変更された状態でLCD110に表示される。
これにより、テレビ10は、スケーリング後のメイン画像及びサブ画像の少なくとも何れかの大きさ及び形状などを、アスペクト比に係らず、ユーザ指示に応じて変更することができる。
〔ソフトウェアによる実現例〕
テレビ10の制御ブロック(特に、制御部118)、及び、携帯端末30の制御ブロック(特に、制御部301)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、テレビ10及び携帯端末30は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る表示装置(テレビ10)は、コンテンツ(メイン画像)と、外部機器(携帯端末30)から入力される入力画像(サブ画像)とを表示部(LCD110)の異なる領域に表示する表示手段(LCDコントローラ109)と、上記コンテンツ及び上記入力画像が上記表示部の異なる領域に表示されるよう、上記コンテンツの表示サイズ及び上記入力画像の表示サイズを調整する調整手段(表示サイズ算出部135、映像処理回路107)と、を備え、上記調整手段は、上記コンテンツの上記表示部上の表示位置、及び、上記入力画像の上記表示部上の表示位置を、上記コンテンツ及び入力画像のアスペクト比に基づいて調整する。
上記の構成によれば、上記調整手段は、上記コンテンツ及び上記入力画像の表示位置を、各々のアスペクト比(横幅に対する縦幅の比率)に基づいて調整する。
これによれば、上記表示装置は、上記コンテンツ及び上記入力画像のアスペクト比に基づいて、上記表示サイズの調整されたコンテンツ及び入力画像を上記表示部の適した表示位置に表示することができる。したがって、上記表示装置は、上記コンテンツ及び上記入力画像を共に最適な表示サイズで表示することができる。
本発明の態様2に係る表示装置において、上記態様1における上記調整手段は、上記入力画像のアスペクト比が上記コンテンツのアスペクト比以上である場合、上記入力画像及び上記コンテンツが、上記表示部の長手方向に並べて表示されるよう表示位置を調整し、上記入力画像のアスペクト比が上記コンテンツのアスペクト比よりも小さい場合、上記入力画像及び上記コンテンツが、上記表示部の短手方向に並べて表示されるよう表示位置を調整してもよい。
上記の構成によれば、上記表示手段は、上記入力画像のアスペクト比が上記コンテンツのアスペクト比以上である場合、つまり、上記入力画像の形状が上記コンテンツの形状よりも縦長である場合、これらを上記表示部の長手方向に並べて表示することになる。また、上記表示手段は、上記入力画像のアスペクト比が上記コンテンツのアスペクト比よりも小さい場合、つまり、上記入力画像の形状が上記コンテンツの形状よりも横長である場合には、これらを上記表示部の短手方向に並べて表示することになる。
これによって、上記表示装置は、上記入力画像のアスペクト比と上記コンテンツのアスペクト比とに応じて、上記表示装置及び上記コンテンツの表示面積がより大きくなるよう表示位置を調整することができる。
本発明の態様3に係る表示装置において、上記態様1又は2における上記調整手段は、上記調整手段は、上記入力画像のアスペクト比が変化した場合、上記アスペクト比が変化する前に表示位置を調整した上記入力画像の表示サイズと、上記アスペクト比が変化した後に表示位置を調整した場合の上記入力画像の表示サイズとを比較し、上記アスペクト比が変化する前の表示サイズに対する上記アスペクト比が変化した後の表示サイズの増加率が所定の閾値以上である場合にのみ、上記アスペクト比が変化した後の入力画像の表示位置を調整する。
上記の構成によれば、上記調整手段は、上記アスペクト比が変化した後の入力画像の表示位置を、上記アスペクト比が変化する前の表示サイズに対する上記アスペクト比が変化した後の表示サイズの増加率が所定の閾値よりも大きい場合にのみ調整する。
これによって、上記表示装置は、アスペクト比が変化した後の表示位置を調整した場合の入力画像の表示サイズの、アスペクト比が変化する前の入力画像の表示サイズに対する変化が小さいにも係らず、上記入力画像のアスペクト比が変化する度に表示位置が調整されてしまい、ユーザが煩わしさを感じてしまうことを低減することができる。
本発明の態様4に係る表示装置は、上記態様1から3において、当該表示装置からユーザまでの距離を検出する距離検出手段(距離検出部133)と、上記外部機器から入力される入力画像に含まれる文字のうち、最も小さい文字の大きさ(最小文字サイズ)を検出する文字サイズ検出手段(文字認識部132)と、を更に備え上記調整手段は、上記入力画像の表示サイズを、上記入力画像に含まれる最も小さい文字の大きさ、及び、上記距離に基づいて調整し、上記コンテンツの表示サイズを、上記入力画像の調整された表示サイズに基づいて調整してもよい。
上記の構成によれば、上記調整手段は、上記入力画像の表示サイズを、(1)上記入力画像に含まれるもっとも小さい文字の大きさ、及び、(2)上記表示装置から上記ユーザまでの距離の双方に基づいて調整する。また、上記調整手段は、上記コンテンツの表示サイズを、上述のようにして調整された上記表示画像の表示サイズに基づいて調整する。
これにより、上記表示装置は、上記入力画像を、当該表示装置から上記ユーザまでの距離に適した大きさで、かつ、上記コンテンツ及び上記入力画像のアスペクト比に基づいた上記表示部の適した表示位置に、表示することができる。
本発明の態様5に係る表示装置は、上記態様1から3において、当該表示装置からユーザまでの距離を検出する距離検出手段と、上記外部機器から入力される入力画像に含まれる文字のうち、最も小さい文字の大きさを検出する文字サイズ検出手段と、を更にそなえ、上記調整手段は、上記入力画像の表示サイズを、上記入力画像に含まれる最も小さい文字の大きさ、及び、上記距離に基づいて調整し、上記コンテンツの表示サイズを、上記コンテンツに含まれる最も小さい文字の大きさ、及び、上記距離に基づいて調整してもよい。
上記の構成によれば、上記調整手段は、上記入力画像及び上記コンテンツの表示サイズを、(1)上記入力画像又は上記コンテンツに含まれるもっとも小さい文字の大きさ、及び、(2)上記表示装置から上記ユーザまでの距離の双方に基づいて調整する。これにより、上記表示装置は、上記入力画像及び上記コンテンツを、当該表示装置から上記ユーザまでの距離に適した大きさで、かつ、上記コンテンツ及び上記入力画像のアスペクト比に基づいた上記表示部の適した表示位置に、表示することができる。
本発明の態様6に係る表示装置は、上記態様4又は5において、当該表示装置を利用する上記ユーザを特定するユーザ特定手段を備え、上記調整手段は、更に、上記入力画像の表示サイズを、上記ユーザ特定手段によって特定される上記ユーザによって予め設定されている基準文字サイズに基づいて調整してもよい。
上記の構成によれば、上記調整手段は、上記入力画像の表示サイズを、更に、(3)上記基準文字サイズに基づいて調整する。これにより、上記表示装置は、当該表示装置から上記ユーザまでの距離によらず、上記入力画像を、上記入力画像に含まれる文字が上記ユーザの好みのサイズにより合致したサイズとなるよう調整された表示サイズで表示することができる。
本発明の態様7に係るテレビジョン受像機は、上記態様1から6までの表示装置を備えている。
本発明の態様8に係る表示方法は、表示装置の表示方法であって、コンテンツと、外部から入力される入力画像とを表示部の異なる領域に表示する表示ステップと、上記コンテンツ及び上記入力画像が上記表示部の異なる領域に表示されるよう、上記コンテンツの表示サイズ及び上記入力画像の表示サイズを調整する調整ステップと、を含み、上記調整ステップにおいて、上記コンテンツの上記表示部上の表示位置、及び、上記入力画像の上記表示部上の表示位置を、上記コンテンツ及び入力画像のアスペクト比に基づいて調整する。
上記の構成によれば、上記態様1に係る表示装置と同様の効果を奏することができる。
本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置が備える各手段として動作させることにより上記表示装置をコンピュータにて実現させる表示装置のプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。