JP2007142542A - 映像表示装置 - Google Patents

Abstract

【課題】文字を表示する位置や文字サイズを変更することにより、映像に含まれる文字を読みやすく処理することが可能な映像表示装置を実現することである。
【解決手段】画像データを表示する表示手段と、前記表示手段におけるＭＴＦ特性を記憶する記憶手段と、前記画像データ入力する入力手段と、前記入力手段により入力された前記画像データから前記画像データに含まれる文字情報を取得する取得手段とを備え、前記取得手段により取得した前記情報と前記記憶手段に記憶されたＭＴＦ特性とに基づいて画像データの表示文字情報を制御する。
【選択図】図１

Description

本発明は、頭部装着型映像表示装置等に適用される映像表示装置に関する。

近年のテレビジョン放送では、映画の字幕、野球中継のスコア、ニュース番組で文字表示されるニュース内容、英会話番組で表示される英語等のように、文字を含む映像が提供されることが多くなってきている。これらの文字を含む映像において、例えば、比較的古い時代に作成された字幕映画では、字幕の文字の書体が古いために、読みにくいという問題があった。

そこで、これらの映像に含まれる文字を読みやすくする文字処理機能付き映像表示装置が開示されている（特許文献１、参照。）。この映像表示装置では、入力された映像信号に含まれる文字映像部分を抽出して認識し、認識した文字映像部分に対応した高品位の所定のフォントの文字映像信号を発生させる。そして、発生した文字映像信号と、入力された映像信号とを合成して表示させる。このことにより、出力される文字画像は、高品位の所定のフォントの文字画像であるため、映像に含まれる文字が読みやすくなる。
特願平９−１８７９８号公報

ところで、最近では、頭部に装着された表示装置の画面に映るビデオ映像やＰＣ（Personal Computer）からの映像を観るための頭部装着型映像表示装置（ＨＭＤ：Head Mounted Display）が開発されている。このＨＭＤは、周囲に影響を与えることなく自由な場所で、ビデオ映像などを鑑賞することが可能である。この頭部装着型映像表示装置の表示画面は、画面中央部分が高画質であり、両端部分になる程低画質であるという特性を持っている。従って、例えば、字幕により映画を鑑賞する場合、字幕が表示画面の両端部分に表示されると、文字の判読性が悪くなる場合があるという問題があった。特許文献１の映像表示装置では、映像に含まれる文字を読みやすく処理することは可能であるが、文字を表示する位置や文字サイズの変更は不可能であった。

本発明の課題は、文字を表示する位置や文字サイズを変更することにより、映像に含まれる文字を読みやすく処理することが可能な映像表示装置を実現することである。

上記課題を解決するために、請求項１に記載の発明は、画像データを表示する表示手段と、前記表示手段におけるＭＴＦ特性を記憶する記憶手段と、前記画像データを入力する入力手段と、前記入力手段により入力された前記画像データから当該画像データに含まれる文字情報を取得する取得手段と、前記取得手段により取得した文字情報と前記記憶手段に記憶されたＭＴＦ特性とに基づいて前記画像データの前記表示手段への表示を制御する表示制御手段とを備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の映像表示装置において、前記文字情報は表示位置情報及び文字形態情報であり、前記取得手段は、前記記憶手段に記憶されたＭＴＦ特性と取得した前記文字情報から、前記表示位置における臨界ＭＴＦ値を更に取得することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の映像表示装置において、前記取得手段により取得した前記ＭＴＦ特性と前記臨界ＭＴＦ値を比較することにより判定する判定手段を更に備え、前記判定手段の判定結果に基づいて、前記表示制御手段は表示文字情報を制御することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の映像表示装置において、前記表示文字情報は、前記画像データに含まれる文字の表示位置及び文字形態情報であることを特徴としている。

請求項５に記載の発明は、請求項２から４の何れか一項に記載の映像表示装置において、前記文字形態情報は、文字サイズ、文字フォント、文字色等を含むことを特徴としている。

請求項６に記載の発明は、請求項１から５の何れか一項に記載の映像表示装置において、前記判定手段により、前記画像データに含まれる文字の文字サイズが、当該文字の表示位置におけるＭＴＦ特性から取得した表示可能文字サイズより小さいと判定されると、前記表示制御手段は、当該文字のサイズを変更するか、当該文字の表示位置を変更することを特徴としている。

請求項１に記載の発明によれば、入力された画像データから当該画像データに含まれる文字情報の表示形態に関する情報を取得し、当該情報と予め記憶された映像表示装置の表示画面におけるＭＴＦ特性に基づいて表示を制御することにより、表示画面のＭＴＦ特性に適応した表示位置や文字サイズにて表示を行うことができるため、使用者の視認性を向上させることが可能となる。

請求項２、３及び４に記載の発明によれば、取得する当該画像データに含まれる文字情報の表示形態に関する情報は、入力される画像データの表示位置及び文字情報だけでなく、当該画像データに含まれる文字の表示位置における臨界ＭＴＦ値を含むため、当該表示位置で表示できる文字情報の限界値が明確であり、それらの情報を比較して表示可能値であるか否かを判定することにより、文字の表示位置を制御することが可能である。従って、不鮮明に表示されるデータに対して必要な処理を実行させることが可能となるとともに、使用者の視認性がより向上する。

請求項５に記載の発明によれば、文字情報は、文字サイズ、文字フォント、文字色等を含むことにより、不鮮明に表示される文字に対してサイズを変更するだけでなく、文字フォントや文字色を変更できるため、文字表示位置を変更しなくても、文字情報を変更させるのみで視認性を向上させることが可能となる。従って、文字表示位置を変更すると使用者は頻繁を目を動かす必要があるが、その目の動きを最低限に抑えることが可能となる。

請求項６に記載の発明によれば、映像表示装置の表示画面が持つＭＴＦ特性により、各表示位置における表示可能文字サイズを取得し、その文字サイズと入力された画像データの文字サイズを比較することにより、文字表示位置若しくは文字情報を変更させるため、例えば、映画などの閲覧中に文字が不鮮明なため読みづらいという問題を回避することが可能となる。

以下、図を参照して本発明の実施形態について詳細に説明する。なお、この発明はこの実施形態に限定されるものではない。また、この発明の実施形態は、発明の最も好ましい形態を示すものであり、この発明の用語はこれに限定されない。本実施形態では、映像表示装置として頭部装着型映像表示装置（ヘッドマウントディスプレイ；Head Mount Display；以下、ＨＭＤ１と称す。）１を例にとって説明するが、その適用可能な範囲は、図示例に限定されないものとする。

図１に、本実施形態に係るＨＭＤ１の斜視図の一例を示す。ＨＭＤ１は、図に示すように、左右対称に設けられたレンズ５Ｒ、５Ｌと、鼻当て２、側面フレーム３Ｒ、３Ｌ及び前フレーム４とを備えて構成される。

側面フレーム３Ｒ、３Ｌは、使用者の頭部にＨＭＤ１を支持するための支持部材である。使用者が、側面フレーム３Ｒ、３Ｌそれぞれを側頭部を介して左右の耳介にかけ、鼻当て２を鼻の付け根部分に載せるように装着すると、レンズ５Ｒ、５Ｌそれぞれが左右の眼の前に配置される。このレンズ５Ｒの上方には、ユーザの視線方向の映像を捕らえるＣＣＤカメラ７及び制御装置２０から送信される映像信号から映像を表示させる表示ユニット６が一体となって設置される。そして、この表示ユニット６及び制御装置２０は、ケーブル１０を介して通信可能に接続される。ケーブル１０は、各ユニット間を電気的に接続する通信媒体である。

また、側面フレーム３Ｒ、３Ｌのそれぞれの中間部にケーブル１０が支持されてイヤホン８Ｒ、８Ｌがユーザの耳に装着可能に設けられている。

なお、制御装置２０は、ケーブル１０を介してデータ通信を行う構成としたが、これに限定されない。制御装置２０及び表示ユニット６にそれぞれ無線通信機を設けることにより無線方式のデータ通信を行うとしてもよい。

次に、図２に、ＨＭＤ１の主要部構成を示す。図に示すように、ＨＭＤ１は、眼鏡ユニット３０及び制御装置２０により構成される。

そして、眼鏡ユニット３０は、表示部３２、音声出力部３３等により構成され、制御装置２０は、制御部２１、記憶部２２、通信部２３、映像入力部２４、画像処理部２５、操作入力部２６により構成される。

画像処理部２５は、ＤＳＰ（Digital Signal Processor）とグラフィックメモリとから構成される。映像入力部２４から送信された映像信号から文字列をパターンマッチングにより抽出する文字列等抽出処理を行い、この文字列等抽出処理により抽出されたデータ（以下、抽出文字データ）を記憶部２２へ送信する。文字列等抽出処理は、補正処理、特徴抽出処理、文字等認識処理等の段階を有する。

補正処理は、映像データのノイズ除去、平滑化、鮮鋭化、認識対象とする図形や文字の骨格線を抽出する細線化、最終段階での映像照合であるパターンマッチングをより正確に行うために映像を拡大、縮小、平行移動、回転及び濃度変換に関する正規化等であり、文字等認識処理の前処理として行われる。

特徴抽出処理は、エッジ検出処理を適用している。映像信号に含まれる色の濃度値から濃度の変換点を抽出し、映像の不連続部分をエッジとして抽出し、このエッジを境界線として映像をいくつかの連続領域に分割する処理である。

文字認識処理は、パターンマッチング法を用いる構成とする。パターンマッチング法は、記憶部２２に予め記憶された各種文字等のパターンデータと上述した特徴抽出処理によりエッジ強調された映像データとを電気的に重ね合わせ、最もよく類似したものを文字等とみなす手法である。

記憶部２２は、プログラムやデータ等が予め記憶されている記録媒体（図示省略）を有しており、この記録媒体は、磁気的、光学的記録媒体若しくは半導体メモリで構成されている。この記録媒体は、記憶部２２に固定的に設けられるもの若しくは着脱自在に装着するものであり、ＨＭＤ１での各種処理におけるデータを一時的又は恒常的に記憶する。本実施形態では、予めＨＭＤ１のＭＴＦ情報を測定し、測定したＭＴＦ情報を記憶部２２に記憶させる。また、映画などの画像データを文字表示位置、文字サイズ、文字フォント等の文字情報と共に記憶する。本実施形態に係るＨＭＤ１のＭＴＦ特性については、後述する。

制御部２１は、ＣＰＵ（Central Processing Unit）２１１、ＲＯＭ（Read Only Memory）２１３、ＲＡＭ（Random Access Memory）２１２、カウンタ２１４等により構成される。

ＣＰＵ２１１は、入力される指示に応じて、所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送を行う中央演算装置である。具体的にＣＰＵ１１は、操作入力部２６から入力される入力信号に応じて、ＲＯＭ２１３に格納されたプログラムを読み出し、当該プログラムに従った処理を実行する。そして、処理結果を表示するための表示データを表示部３２に出力して、当該表示データに従った表示画面を表示部３２に表示させる。

ＲＡＭ２１２は、ＣＰＵ２１１によって実行される各種プログラムをプログラム格納エリアに展開する。ＲＡＭ２１２は、各種プログラムの実行時に生じる処理結果等のデータをワークエリアに一時的に記憶する。

ＲＯＭ２１３は、ＨＭＤ１の動作に係る各種機能を実現するためのプログラムを記憶する。例えば、映画などの元画像に含まれる文字情報を取得し、予め記憶されるＨＭＤ１のＭＴＦ特性を取得し、それらの情報をＣＰＵ２１１に送信するプログラムを格納する。従って、これらのプログラムは、書き換える必要のないプログラムや、書き換えてはいけないプログラムである。

操作入力部２６は、電源キーやカーソルキー、決定スイッチ、モード設定スイッチ等により構成される。使用者は、これらの操作スイッチを押下することによりＨＭＤ１を操作し、ＨＭＤ１の動作モードの切り替えや映画の再生指示、撮影の開始指示等を行う。これらの指示は、制御部２１に送信される。

通信部２３は、ＧＰＳにより人工衛星から送信される座標データを受信して記憶部１５に予め記憶された地図上方からユーザの現在地を特定し、特定された現在地データを制御部１０に送信する。

映像入力部２４は、例えば、マルチメモリカードスロットであり、スマートメディア、ＳＤカード、メモリスティック等の着脱可能に構成された外部記録媒体を差し込むための差し込み口であり、映像を記録したこれらのカードを差し込むことにより、画像データを制御部２１へ出力する。さらに、ＵＳＢ接続端子などを備える構成としてもよく、ＵＳＢケーブルを接続し、他方に外部接続装置を接続することにより、画像データを取得するとしてもよい。

表示部３２は、表示ユニット６に対応するものであり、制御部２１で変換された文字表示位置を反映して、映像とともに表示する。

音声出力部３３は、例えば、映画鑑賞時には、音声を出力させる。また、ＧＰＳを搭載するＨＭＤ１においては、映像によるナビゲーションに合わせて音声案内が可能であるため、音声案内を出力させることにより、道案内を実行する。

次に、図３（ａ）に本実施形態に係るＨＭＤ１のＭＴＦ特性を示し、図３（ｂ）に従来の表示例、（ｃ）に文字位置変更処理後の表示例を示す。そして、これらの図を参照して、本実施形態におけるＨＭＤ１の制御部２１で実行される処理について説明する。

図に示すように、本実施形態に係るＨＭＤ１のＭＴＦ特性は、表示画面の中央部分が最も高画質であり、両端部に近付く程、低画質である。従って、例えば、映画の字幕スーパー等の文字を表示する場合に、中央部分であれば鮮明に表示可能であるが、両端部に表示した場合には、低画質なために不鮮明な表示となる。表示する文字サイズが、ある程度大きいものであれば、低画質であっても影響はなく、使用者は表示される文字を確認できる。そのため、文字サイズによって、表示位置を変更する必要がある。

まず、映像入力部２４から制御部２１に映像が入力されると、ＣＰＵ２１１は、ＲＯＭ２１３に記憶されたプログラムに従って、入力された映像の各画像における文字情報を取得する。文字情報は、予め映像と共に格納されているデータであり、当該文字情報の表示位置に関する情報や文字形態に関する情報等である。これらの情報を取得するとともに、ＣＰＵ２１１は、入力された映像の文字表示位置におけるＨＭＤ１のＭＴＦ特性を取得する。そして、取得したＭＴＦ特性と文字サイズとを照合し、予め設定された文字サイズの閾値との比較を行うことにより、文字表示位置を変更する必要があるか否かを判定する。文字サイズが予め設定された当該表示領域に表示可能な文字サイズの閾値よりも大きければ、文字表示位置を変更する必要はないため、元画像の表示位置のまま表示する（図３（ｂ））。文字サイズが予め設定された当該表示領域に表示可能な文字サイズの閾値よりも小さければ、当該文字サイズを表示可能な領域に表示位置を変更して表示する（図３（ｃ））。

また、文字サイズとＭＴＦ特性の照合の結果による変更処理は、文字の表示位置に限定されない。文字サイズを変更するとしてもよい。例えば、文字サイズとＭＴＦ特性を比較した結果、従来の文字表示位置に予め設定された文字サイズの閾値より、画像データの文字サイズが小さかった場合、当該閾値に達するサイズに文字サイズを変更する処理を実行する。従って、文字サイズを変更するが、文字表示位置は変更しない。

上述したように、文字サイズを変更するか、文字表示位置を変更するかは、ユーザにより設定可能であるとしてもよいし、ＲＯＭ２１３に予め記憶されたプログラムに従って実行されるとしてもよい。例えば、最も高画質である中央付近に重要な映像を表示するため、その部分に文字表示不可能である場合には、文字サイズを変更するなどである。

なお、文字サイズとＭＴＦ特性を照合することにより、文字表示位置の変更対象か否かを判定するとしたが、これに限定されない。文字フォントや文字色など、その他の文字情報を変更するとしてもよい。

次に、図４に、文字サイズと限界ＭＴＦの関係を示す図である。ここで、限界ＭＴＦとは、文字の判読が困難になるＭＴＦ値であり、その値は文字サイズが大きくなるに従って、小さくなる値である。また、図に示した２つの領域Ｂ及びＣにおいて、領域Ｂは文字表示位置又は／及び文字サイズを変更させる領域であり、領域Ｃは、文字表示位置及び文字サイズを変更する必要はなく、取得した画像データをそのまま表示させる領域である。

例えば、図に示すように、取得した画像データに含まれる文字の文字サイズがＡの値であった場合について説明する。文字サイズがＡ値である場合、この文字サイズを判読可能な限界ＭＴＦの値は、Ａ１である。しかしながら、文字サイズＡ値の表示位置のＭＴＦ値が必要最低限の値であるＡ１に達していないため、文字表示位置又は／及び文字サイズを変更する必要がある。従って、この場合は文字サイズをＡ３値よりも大きく変更するか、若しくは、ＭＦＴ値がＡ１値以上である領域に文字表示位置を変更させる処理を実行する。

図に示すような特性を含むテーブルは記憶部２２に記憶されているとし、このテーブルにもとづいて処理が実行される。従って、特性テーブルはＭＴＦと文字サイズの関係に限定されない。その他、文字色と限界ＭＴＦ特性、文字フォントと限界ＭＴＦ特性のテーブルを記憶させておくことで、複数の場合に対応でき、複数の文字表示を行えることにより、より使用者の視認性を向上させることが可能となる。

次に、図５のフローチャートを参照して、本実施形態に係るＨＭＤ１で実行される処理について説明する。

まず、映像入力部２４から画像データが入力されると、制御部２１は画像データを取得する。制御部２１は、画像データを取得すると、当該画像データが含むＨＭＤ１における文字表示位置情報を取得する（ステップＳ１）。ステップＳ１において、ＨＭＤ１における文字表示位置情報を取得すると、取得した当該画像データの文字表示位置に応じたＨＭＤ１のＭＴＦ情報を取得する。ＨＭＤ１のＭＴＦ情報は、予め記憶部２２に記憶されている（ステップＳ２）。

ステップＳ２において、制御部２１は、予め記憶部２２に記憶されている当該画像データの文字表示位置に応じたＭＴＦ情報を取得すると、そのＭＴＦ特性から臨界ＭＴＦ値を取得する（ステップＳ３）。

ステップＳ３において、臨界ＭＴＦ値を取得すると、ＲＯＭ２１３に格納されたプログラムに基づいて、取得した当該画像データの文字表示位置におけるＭＴＦ情報と、当該臨界ＭＴＦ値を比較し、取得したＭＴＦ値と臨界ＭＴＦが等しいもしくは取得したＭＴＦ値より臨界ＭＴＦの方が大きいか否かを判定する（ステップＳ４）。

ステップＳ４において、取得したＭＴＦ値と臨界ＭＴＦが等しいもしくは取得したＭＴＦ値より臨界ＭＴＦの方が大きいと判定すると（ステップＳ４；ＹＥＳ）、当該画像データの文字表示位置は変更せず、取得した当該画像データのまま表示する（ステップＳ５）。

ステップＳ４において、取得したＭＴＦ値より臨界ＭＴＦの方が小さいと判定すると（ステップＳ４；ＮＯ）、当該画像データの文字表示地位置に応じたＨＭＤ１のＭＴＦ情報から、その表示位置における限界フォントサイズと、当該画像データの文字サイズを取得する（ステップＳ６）。

ステップＳ６において、当該画像データの文字表示地位置に応じたＨＭＤ１のＭＴＦ情報から、その表示位置における限界フォントサイズと、当該画像データの文字サイズを取得すると、当該限界フォントサイズと当該画像データの文字サイズが等しい若しくは当該画像データの文字サイズが、当該限界フォントサイズより小さいか否かを判定する（ステップＳ７）。

ステップＳ７において、当該限界フォントサイズと当該画像データの文字サイズが等しい若しくは当該画像データの文字サイズが、当該限界フォントサイズより小さいと判定すると（ステップＳ７；ＹＥＳ）、当該画像データの文字サイズを変更する（ステップＳ８）。

ステップＳ８において、当該画像データの文字サイズを変更すると、ステップＳ４に戻り、再度、ステップＳ４〜Ｓ７の処理を繰り返す。

ステップＳ７において、当該画像データの文字サイズが、当該限界フォントサイズより小さいと判定すると（ステップＳ７；ＮＯ）、当該画像データの文字表示位置をＭＴＦ特性の高画質な位置へ変更して表示する（ステップＳ９）。

以上のように、予め映像表示装置の表示画面におけるＭＴＦ特性を記憶させておき、入力された画像データ中に表示される文字の表示位置のＭＴＦ情報と文字情報から表示可能な文字情報を取得することにより、文字を変更する必要があるか否かを明確に判定することが可能となる。従って、必要な場合にのみ変更処理を施すことが可能となり、文字情報や表示位置が頻繁に変化することを回避できる。

また、画像データから取得したＭＴＦ情報と、画像データが含む文字の表示位置における臨界ＭＴＦを比較することにより、当該表示位置における限界文字サイズを取得できる。このことにより、変更すべき文字サイズ及び変更後の文字サイズが明確であるとともに、表示位置の変更又は文字サイズの変更による対応可能である。さらに、表示すべき文字表示位置も明確となり、的確な処理により使用者の視認性を向上させることが可能となる。

さらに、文字表示位置、文字サイズの変更のみに限られず、その他の文字情報、例えば、文字フォント、文字色なども変更可能とすることにより、複数パターンの変更が可能であるため、視認性をさらに向上させることが可能となる。

本実施形態に係る映像表示装置の斜視図である。 本実施形態に係る映像表示装置の主要部構成を示す図である。 本実施形態に係る映像表示装置のＭＴＦ特性と表示例を示す図である。 文字サイズと限界ＭＴＦの関係を示す図である。 本実施形態に係る映像表示装置で実行される処理を示すフローチャートである。

符号の説明

１ 頭部装着型映像表示装置
２ 鼻当て
３Ｒ、３Ｌ 側面フレーム
４ 前フレーム
５Ｒ、５Ｌ レンズ
６ 表示ユニット
８Ｒ、８Ｌ イヤホン
９ 制御装置
１０ ケーブル
２０ 制御装置
２１ 制御部
２１１ ＣＰＵ
２１２ ＲＡＭ
２１３ ＲＯＭ
２１４ カウンタ
２２ 記憶部
２３ 通信部
２４ 映像入力部
２５ 画像処理部
２６ 操作入力部
３０ 眼鏡ユニット
３２ 表示部
３３ 音声出力部

Claims (6)

1. 画像データを表示する表示手段と、
   前記表示手段におけるＭＴＦ特性を記憶する記憶手段と、
   前記画像データを入力する入力手段と、
   前記入力手段により入力された前記画像データから当該画像データに含まれる文字情報を取得する取得手段と、
   前記取得手段により取得した文字情報と前記記憶手段に記憶されたＭＴＦ特性とに基づいて前記画像データの前記表示手段への表示を制御する表示制御手段と、
   を備えることを特徴とする映像表示装置。
2. 前記文字情報は表示位置情報及び文字形態情報であり、前記取得手段は、前記記憶手段に記憶されたＭＴＦ特性と取得した前記文字情報から、前記表示位置における臨界ＭＴＦ値を更に取得することを特徴とする請求項１に記載の映像表示装置。
3. 前記取得手段により取得した前記ＭＴＦ特性と前記臨界ＭＴＦ値を比較することにより判定する判定手段を更に備え、
   前記判定手段の判定結果に基づいて、前記表示制御手段は表示文字情報を制御することを特徴とする請求項１又は２に記載の映像表示装置。
4. 前記表示文字情報は、前記画像データに含まれる文字の表示位置及び文字形態情報であることを特徴とする請求項２又は３に記載の映像表示装置。
5. 前記文字形態情報は、文字サイズ、文字フォント、文字色等を含むことを特徴とする請求項２から４の何れか一項に記載の映像表示装置。
6. 前記判定手段により、前記画像データに含まれる文字の文字サイズが、当該文字の表示位置におけるＭＴＦ特性から取得した表示可能文字サイズより小さいと判定されると、前記表示制御手段は、当該文字のサイズを変更するか、当該文字の表示位置を変更することを特徴とする請求項１から５の何れか一項に記載の映像表示装置。

Images