JP2006323255A

JP2006323255A - 表示装置

Info

Publication number: JP2006323255A
Application number: JP2005147896A
Authority: JP
Inventors: Taro Maeda; 太郎前田; Hideyuki Ando; 英由樹安藤; Takehiro Moriya; 健弘守谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-05-20
Filing date: 2005-05-20
Publication date: 2006-11-30

Abstract

【課題】ユーザが携帯することにより発生する揺れによる位置の変化と、表示画面とユーザの視点の位置関係に基づいて、表示画面に表示される映像の位置を補正することでユーザに映像を視認させやすくすることを可能とする表示装置を提供する。
【解決手段】表示装置１０ａは、ユーザ１００によって携帯される。移動量算出部１５ａは、携帯されることにより発生する揺れに応じて変化するユーザの視線と表示画面とが交差する交差位置の移動量を算出する。表示位置補正部１２は、移動量算出部１５ａが算出した交差位置の移動量に基づいて、ユーザの視点と表示画面に表示される映像の相対位置が変化しないように表示画面に表示される映像２６の表示位置を移動させる。
【選択図】図１

Description

本発明は、ユーザに携帯されることで揺れが発生する携帯情報端末などであって、文字や画像等の映像を表示する表示画面を有する表示装置に関する。

従来、バーチャルリアリティ等で用いられるヘッドマウンティッドディスプレイにおいて、頭部運動を検出して表示する映像をユーザに視認させやすくさせるように安定化する技術が存在する（例えば、非特許文献１参照）。また、既存の携帯型の小型ビデオカメラやデジタルカメラにおける手ぶれ防止を行う機能は、手ぶれや対象物の揺れに対して記録する映像を安定化する技術も存在する（例えば、特許文献１参照）。
特開２００３−２７９８８２号公報木島竜吾、山田英治郎、小鹿丈夫、"- Reflex HMD - 前庭反射機能を備えたＨＭＤの開発"、日本バーチャネルリアリティ学会誌、Vol.6、No.2、2001

しかしながら、上記の従来の技術では、装置とユーザの頭部の位置関係はほぼ固定されているという前提にあり、ユーザの頭部から離れた位置でユーザに画面が参照される携帯情報端末において発生する揺れを考慮して、画面に表示される映像をユーザに視認させやすくするように安定化するといったことはできないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、ユーザが携帯することにより発生する揺れによる位置の変化と、表示画面とユーザの視点の位置関係に基づいて、表示画面に表示される映像の位置を補正することでユーザに映像を視認させやすくすることを可能とする表示装置を提供することにある。

上記問題を解決するために、本発明は、ユーザに携帯され、映像を表示する表示画面を備えた表示装置であって、携帯されることにより発生する揺れに応じて変化する前記ユーザの視線と前記表示画面とが交差する交差位置の移動量を算出する移動量算出手段と、前記移動量算出手段が算出した前記交差位置の移動量に基づいて、前記ユーザの視点と前記表示画面に表示される映像の相対位置が変化しないように前記表示画面に表示される映像の表示位置を移動させる表示位置補正手段と、を備えたことを特徴とする表示装置である。

本発明は、上記に記載の発明において、前記移動量算出手段は、前記揺れに応じて発生する加速度を計測する加速度センサと、前記加速度センサにより計測される加速度の値を２回積分した値を前記交差位置の移動量として出力する２回積分器と、を具備し、前記表示位置補正手段は、前記２回積分器が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面の表示位置に前記映像を表示することを特徴する。

本発明は、上記に記載の発明において、前記移動量算出手段は、傾きの角度を計測する計測手段を更に具備し、前記表示位置補正手段は、前記２回積分器が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面の表示位置に前記映像を表示するとともに、前記計測手段が計測した傾きの角度の値に基づいて、前記表示画面に表示させる映像の形状を変形させることを特徴する。

本発明は、上記に記載の発明において、前記移動量算出手段は、前記ユーザの頭部を時系列に撮影するカメラと、前記カメラによって時系列に撮影される前記ユーザの頭部の映像から前記ユーザの視点位置を時系列に検出し、検出した前記視点位置に基づいて、前記視点位置の移動量を算出し、算出した移動量を前記交差位置の移動量とする視点位置検出手段と、を具備し、前記表示位置補正手段は、前記視点位置検出手段が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面の表示位置に前記映像を表示することを特徴する。

本発明は、上記に記載の発明において、前記視点位置検出手段は、検出した前記視点位置から前記表示画面と前記ユーザの視線とが成す角度を算出し、前記表示位置補正手段は、前記視点位置検出手段が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面における表示位置に前記映像を表示するとともに、前記視点位置検出手段が算出した前記角度に基づいて、前記表示画面に表示させる映像の形状を変形することを特徴とする。

この発明によれば、表示装置は、携帯されることにより発生する揺れに応じて変化するユーザの視線と表示画面とが交差する交差位置の移動量を算出する。また、算出した交差位置の移動量に基づいて、ユーザの視線と表示画面に表示される映像の相対位置が変化しないように表示画面に表示される映像の表示位置を移動させる構成とした。これにより、ユーザの視線と表示画面とが交差する交差位置の移動量を算出することができ、算出した交差位置の移動量に基づいて、表示画面に表示される映像の位置を移動させることでユーザに映像を視認させやすくすることができる。

また、この発明によれば、表示装置は、揺れに応じて発生する加速度を計測する加速度センサと、加速度センサにより計測される加速度の値を２回積分した値を交差位置の移動量として出力する２回積分器と、を具備する構成とし、また、２回積分器が算出した交差位置の移動量とは逆の方向へ交差位置から移動させた表示画面の表示位置に映像を表示する構成とした。これにより、ユーザの視線と表示画面とが交差する交差位置の移動量を加速度センサ及び２回積分器により検出することができ、検出した移動量の方向とは逆の方向に映像を移動させて表示させることでユーザに映像を視認させやすくすることができる。

また、この発明によれば、表示装置は、傾きの角度とを計測する計測手段を備え、２回積分器が算出した交差位置の移動量とは逆の方向へ交差位置から移動させた表示画面における表示位置に映像を表示するとともに、計測手段が計測した傾きの角度の値に基づいて、表示画面に表示させる映像の形状を変形させる構成とした。これにより、検出した移動量の方向とは逆の方向に映像を移動させた表示するとともに、検出した傾きの角度から算出されるユーザの視線と表示画面の角度に応じて映像の形状を変形させることでユーザに映像を視認させやすくすることができる。

また、この発明によれば、表示装置は、ユーザの頭部を時系列に撮影するカメラと、カメラによって時系列に撮影されるユーザの頭部の映像からユーザの視点位置を時系列に検出し、検出した視点位置に基づいて、視点位置の移動量を算出し、算出した移動量を交差位置の移動量とする視点位置検出手段と、を具備する構成とした。そして、算出した交差位置の移動量とは逆の方向へ移動させた表示画面の表示位置に映像を表示する構成とした。これにより、ユーザの視線と表示画面とが交差する交差位置の移動量を、カメラによって撮影されたユーザの頭部の画像の視点の位置に基づいて検出することができ、検出した移動量の方向とは逆の方向に映像を移動させて表示させることでユーザに映像を視認させやすくすることができる。

また、この発明によれば、表示装置は、視点位置検出手段によって検出された視点位置から表示画面とユーザの視線とが成す角度を算出し、算出した交差位置の移動量とは逆の方向へ交差位置から移動させた表示画面の表示位置に映像を表示するとともに、視点位置検出手段が算出した角度に基づいて、表示画面に表示させる映像の形状を変形する構成とした。これにより、ユーザの視線と表示画面とが交差する交差位置の移動量及び表示画面とユーザの視線とが成す角度を、カメラによって撮影されたユーザの頭部の位置に基づいて検出することができる。そのため、検出した移動量の方向とは逆の方向に映像を移動させて表示させるとともに、検出した傾きの角度から算出されるユーザの視線と表示画面の角度に応じて映像の形状を変形させることでユーザに映像を視認させやすくすることができる。

以下、本発明の実施形態である表示装置を図面を参照して説明する。
（第１実施形態）
まず最初に、図１及び図２を参照して本発明の第１実施形態について説明する。
図１は、第１実施形態に係る表示装置の内部構成を示す概略ブロック図である。
第１実施形態に係る表示装置１０ａは、ユーザ１００に携帯される携帯情報端末などであり、ユーザの操作を受けて、内部に記憶する文字情報や画像情報などを映像として表示画面に出力する。

表示装置１０ａにおいて、入力部１７は、ユーザ１００の操作を受けて、文字情報などの情報を入力したり、ユーザ１００の操作による情報表示の指示を入力する。記憶部１６は、入力部１７が入力する情報を受けた制御部１１によって書き込まれる情報を記憶し、また、表示装置が外部の記録媒体に接続されることにより、外部の記録媒体から読み込まれる文字情報や画像情報などを記憶する。制御部１１は、入力部１７がユーザ１００の操作により入力する情報表示指示などを受けて、記憶部１６に記憶されている情報を映像２６として表示画面２５に表示する。また、制御部１１は、以下に説明する表示位置補正部１２から入力される移動量に基づいて、表示する映像２６の位置を移動させて表示する。

移動量算出部１５ａは、加速度センサ１４と２回積分器１３とを具備しており、表示装置１０ａの手ぶれやユーザ１００が電車などの振動を生じる乗物に乗車することによって発生する揺れによる位置の変化を検出することで表示装置１０ａの位置の移動量を検出する。このとき、ユーザ１００の視点の位置がほぼ静止していると仮定すると、検出される移動量は、表示画面２５とユーザ１００の視線の交差する交差位置の移動量を示すことになる。

移動量算出部１５ａにおいて、加速度センサ１４は、表示装置１０ａがユーザ１００に携帯されることにより発生する手ぶれによる揺れやユーザ１００が電車などの振動を発生する乗物に乗車することにより発生する揺れなどを検出し、当該揺れに基づく加速度情報を計測する。加速度センサ１４としては、例えば、２軸の加速度センサが適用され、縦方向と横方向の加速度情報を計測する。

２回積分器１３は、加速度センサ１４により計測される加速度情報を２回積分することで、表示装置１０ａの移動量、すなわち表示画面を含む２次元座標を想定した場合、揺れが発生する前の２次元座標上でのある点と、揺れが発生することにより当該点が２次元座標上で移動した距離を算出することができる。つまり、この移動量は、揺れが発生する前のユーザ１００の視線と表示画面２５とが交差する点の２次元座標上での位置を基準とした場合、揺れ発生する際に交差する点が当該２次元座標上で移動する距離に相当する。

表示位置補正部１２は、移動量算出部１５ａによって算出される移動量の移動方向とは逆の方向に表示画面２５に表示される映像２６を移動させるため、補正した移動量の正負の符号を逆にして制御部１１に入力する。

次に、図２のフローチャートを参照して、第１実施形態に係る表示装置１０ａによる表示補正処理について説明する。
当該処理の前提として、ユーザ１００の操作により入力部１７が情報表示指示を制御部１１に入力し、当該入力を受けた制御部１１が記憶部１６から情報を読み出し、表示画面２５に映像２６を表示しているものとする。

ユーザ１００によって表示装置１０ａが携帯され、歩行や電車に乗車することによって表示装置１０ａに揺れが発生すると加速度センサ１４が加速度情報を計測し、計測した加速度情報を２回積分器１３に入力する（ステップＳａ１）。次に、２回積分器１３は、加速度センサ１４から入力される加速度情報を２回積分して移動量を算出し、表示位置補正部１２に入力する（ステップＳａ２）。移動量が入力された表示位置補正部１２は、移動量の正負の符号を逆にして制御部１１に入力する（ステップＳａ３）。制御部１１は、表示位置補正部１２から入力される位置情報に基づいて映像２６の表示位置を移動させて表示画面２５に表示する（ステップＳａ４）。そして、ステップＳａ１に戻り、加速度情報が計測される間ステップＳａ１からステップＳａ４の処理が繰り返され、ユーザ１００の視点と映像２６の相対位置が維持され、ユーザ１００に映像２６を視認させやすくすることができる。

なお、上記の第１実施形態では、加速度センサ１４により縦方向と横方向の移動量を計測するようにしていたが、加速度センサの変わりに、縦方向、横方向、及び回転を計測可能な計測手段、例えばジャイロセンサなどを用いることで表示装置１０ａが傾いた角度の値を得ることが可能となる。このとき、傾きの角度の値に基づいてユーザ１００の視線と表示画面２５が成す角度の推定値を算出することができ、算出した角度に応じて映像２６の形状を変形させることで、表示画面２５を傾けてもユーザ１００に映像２６を視認させやすくすることも可能である。なお、傾きの角度に応じて映像の形状を変化させることは、３次元画像処理の技術などを適用することで実現することができる。

また、ユーザ１００が一定速度で動く場合には加速度は０となるが、通常一定速度で動くことはありえないため、移動量算出部１５ａの加速度センサ１４から得られる加速度情報が０の場合に静止したと判定して、映像２６を表示画面２５の原点に復帰させるようにしてもよい。

また、積分誤差によって表示画面２５に表示される映像２６が流れて表示されないように、２回積分器１３に閾値を設定し、閾値以上の加速度情報についてのみ積分処理を行って結果を出力させるようにしてもよい。

上記の第１の実施形態の構成により、ユーザ１００が携帯することにより表示装置１０ａに発生する揺れを表示装置１０ａの加速度センサ１４が加速度情報として検出し、検出した加速度情報を２回積分した値に基づいて、表示画面２５においてユーザ１００の視線と映像２６の相対位置を維持するように映像２６の表示位置を移動させることができる。これにより、歩行中あるいは電車に乗車中などの継続的に表示装置１０ａ揺れが発生する状態であっても、映像２６が一定の位置であたかも静止しているかのようにユーザ１００に見せることができ、視認性を高めることが可能となる。

（第２実施形態）
次に、図３及び図４を参照して本発明の第２実施形態について説明する。
図３は、第２実施形態に係る表示装置の内部構成を示す概略ブロック図である。
第２実施形態に係る表示装置１０ｂにおいて、第１実施形態に係る表示装置１０ａと異なる点は、移動量算出部１５ｂに、加速度センサ１４及び２回積分器１３の代わりにカメラ１９と視点位置検出部１８とを備えた点である。それ以外の機能構成については第１実施形態と同じであるため同じ符号を付し、以下構成の異なる移動量算出部１５ｂに備えられた視点位置検出部１８とカメラ１９について説明する。

カメラ１９は、例えば、動画像が撮影可能なデジタルビデオカメラであり、ユーザの頭部について時系列に画像を撮影する。視点位置検出部１８は、カメラ１９によって撮影された動画についてユーザの両眼の瞳の位置、すなわち視点を検出する。また、視点位置検出部１８は、ユーザの視点と表示画面２５の相対位置を算出する。また、視点位置検出部１８は、時系列の画像から検出される視点の位置について動きベクトルを抽出し、抽出した動きベクトルと、表示画面２５とユーザの視点の相対位置に基づいて、ユーザ１００の視線と表示画面２５とが交差する点が表示画面２５において移動すると推定される移動量を算出する。

なお、画像からの視点検出や、連続する画像から検出した視点の動きベクトルの抽出は、一般的な画像処理技術を適用することによって行うことができ、ユーザの視点と表示画面２５の相対位置は、一般的な三次元位置検出の手法によって行うことができる。

次に、図４のフローチャートを参照して、第２実施形態に係る表示装置１０ｂによる表示補正処理について説明する。

当該処理の前提として、ユーザ１００の操作により入力部１７が情報表示指示を制御部１１に入力し、当該入力を受けた制御部１１が記憶部１６から情報を読み出し、表示画面２５に映像２６を表示しているものとする。また、カメラ１９はユーザ１００の頭部を撮影できるように位置が設定されているものとする。

まず最初に、カメラ１９によってユーザの頭部が撮影され、撮影されたユーザ１００の頭部の画像を視点位置検出部１８に入力する（ステップＳｂ１）。視点位置検出部１８は、画像からユーザ１００の視点の位置を検出し、ユーザ１００の視点と表示画面２５の相対位置を算出する（ステップＳｂ２）。次に、視点位置検出部１８は、一時刻前の画像から検出した視点の位置と、現時刻で検出した視点の位置に基づいて視点の位置の動きベクトルを抽出する。そして、視点位置検出部１８は、抽出した動きベクトルと、表示画面２５とユーザの視点の相対位置に基づいて、ユーザ１００の視線と表示画面２５とが交差する点が表示画面２５において移動すると推定される移動量を算出し、表示位置補正部１２に入力する（ステップＳｂ３）。移動量が入力された表示位置補正部１２は、移動量の正負の符号を逆にして制御部１１に入力する（ステップＳｂ４）。制御部１１は、表示位置補正部１２から入力される位置情報に基づいて映像２６の表示位置を移動させて表示画面２５に表示する（ステップＳｂ５）。そして、ステップＳａ１に戻り、加速度情報が計測される間ステップＳａ１からステップＳａ４の処理が繰り返され、ユーザ１００の視点と映像２６の相対位置が維持され、ユーザ１００に映像２６を視認させやすくすることができる。

なお、第２実施形態において、視点位置検出部１８が検出した両眼の瞳の間の距離の大きさの変化から、ユーザ１００の頭部の傾きの角度を算出することができ、当該算出した角度とユーザ１００の視点と表示画面２５の相対位置とに基づいて、ユーザの視線と表示画面２５とが成す角度を算出することが可能である。このとき、算出されたユーザの視線と表示画面２５とが成す角度に応じて映像２６の形状を変形させることで、表示画面２５が傾いたり、回転したりしてもユーザ１００が映像２６を視認しやすくすることも可能である。なお、傾きに応じて映像の形状を変化させるような技術は、３次元画像処理の技術などを適用することで実現することができる。

上記の第２の実施形態の構成により、ユーザ１００が携帯することにより表示装置１０ａに発生する揺れを表示装置１０ｂのカメラ１９によって撮影されたユーザ１００の頭部の画像から視点を検出し、検出した視点の位置と表示画面２５の相対位置及び視点位置の移動量に基づいて、表示画面２５においてユーザ１００の視線と映像２６の相対位置を維持するように映像２６の表示位置を移動させることができる。これにより、歩行中あるいは電車に乗車中などの継続的に表示装置１０ｂ揺れが発生する状態であっても、映像２６が一定の位置であたかも静止しているかのようにユーザ１００に見せることができ、視認性を高めることが可能となる。

第１実施形態に係る表示装置を示すブロック図である。第１実施形態に係る表示補正処理を示したフローチャートである。第２実施形態に係る表示装置を示すブロック図である。第２実施形態に係る表示補正処理を示したフローチャートである。

符号の説明

１０ａ表示装置
１２表示位置補正部
１５ａ移動量算出部
２５表示画面
２６映像
１００ユーザ

Claims

ユーザに携帯され、映像を表示する表示画面を備えた表示装置であって、
携帯されることにより発生する揺れに応じて変化する前記ユーザの視線と前記表示画面とが交差する交差位置の移動量を算出する移動量算出手段と、
前記移動量算出手段が算出した前記交差位置の移動量に基づいて、前記ユーザの視点と前記表示画面に表示される映像の相対位置が変化しないように前記表示画面に表示される映像の表示位置を移動させる表示位置補正手段と、
を備えたことを特徴とする表示装置。
前記移動量算出手段は、
前記揺れに応じて発生する加速度を計測する加速度センサと、
前記加速度センサにより計測される加速度の値を２回積分した値を前記交差位置の移動量として出力する２回積分器と、
を具備し、
前記表示位置補正手段は、
前記２回積分器が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面の表示位置に前記映像を表示することを特徴する請求項１に記載の表示装置。
前記移動量算出手段は、
傾きの角度を計測する計測手段を更に具備し、
前記表示位置補正手段は、
前記２回積分器が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面の表示位置に前記映像を表示するとともに、前記計測手段が計測した傾きの角度の値に基づいて、前記表示画面に表示させる映像の形状を変形させること
を特徴する請求項２に記載の表示装置。
前記移動量算出手段は、
前記ユーザの頭部を時系列に撮影するカメラと、
前記カメラによって時系列に撮影される前記ユーザの頭部の映像から前記ユーザの視点位置を時系列に検出し、検出した前記視点位置に基づいて、前記視点位置の移動量を算出し、算出した移動量を前記交差位置の移動量とする視点位置検出手段と、を具備し、
前記表示位置補正手段は、
前記視点位置検出手段が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面の表示位置に前記映像を表示することを特徴する請求項１に記載の表示装置。
前記視点位置検出手段は、
検出した前記視点位置から前記表示画面と前記ユーザの視線とが成す角度を算出し、
前記表示位置補正手段は、
前記視点位置検出手段が算出した前記交差位置の移動量とは逆の方向へ前記交差位置から移動させた前記表示画面における表示位置に前記映像を表示するとともに、前記視点位置検出手段が算出した前記角度に基づいて、前記表示画面に表示させる映像の形状を変形することを特徴とする請求項４に記載の表示装置。