JP2006294032A - Display system, display control device, display apparatus, display method, and user interface device - Google Patents
Display system, display control device, display apparatus, display method, and user interface device Download PDFInfo
- Publication number
- JP2006294032A JP2006294032A JP2006104658A JP2006104658A JP2006294032A JP 2006294032 A JP2006294032 A JP 2006294032A JP 2006104658 A JP2006104658 A JP 2006104658A JP 2006104658 A JP2006104658 A JP 2006104658A JP 2006294032 A JP2006294032 A JP 2006294032A
- Authority
- JP
- Japan
- Prior art keywords
- display
- display device
- user
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、複数の表示装置に映像を表示する技術に関し、特に、高視野角映像をユーザの周囲に配された複数の表示装置に分割して表示する技術に関する。 The present invention relates to a technique for displaying an image on a plurality of display devices, and more particularly to a technology for dividing and displaying a high viewing angle image on a plurality of display devices arranged around a user.
近年、コンピュータグラフィクスや特殊映像効果など、映像を生成または加工する技術が飛躍的に向上し、さらに、映像を配信するインフラの整備、各種映像を再生するための装置やアプリケーションの普及などの要因が相まって、放送ないし映像配信の世界は、新たな時代を迎えようとしている。そうした状況下、次世代の映像コンテンツとして、３６０度カメラなどにより撮影された超パノラマ映像や、仮想的な三次元空間をコンピュータグラフィクスなどの技術により表現した仮想現実空間の映像などが注目を集めるようになっている。このような高視野角の映像は、既に電子商取引などの場面で取り入れられつつあり、たとえば、不動産物件の内部をウォークスルーすることが可能なコンテンツなどが提供されている。 In recent years, technologies for generating or processing images such as computer graphics and special image effects have dramatically improved. In addition, there are factors such as the development of infrastructure for distributing images and the spread of devices and applications for reproducing various images. Together, the world of broadcasting or video distribution is about to enter a new era. Under such circumstances, as next-generation video content, super panoramic video shot with a 360-degree camera or the like, and video in a virtual reality space that expresses a virtual three-dimensional space with technologies such as computer graphics will attract attention. It has become. Such high-viewing-angle images are already being taken in scenes such as electronic commerce, and for example, content that can walk through the interior of real estate properties is provided.
これらの高視野角映像は、本来、ユーザの正面のみならず、ユーザを取り囲むような映像情報を有しているから、それを表示する表示装置も、ユーザを取り囲むような大画面の表示装置ないし球形のスクリーンなどにすることで、より高い臨場感が得られる。しかしながら、このような表示装置は、装置自体が大きく高価であるから、設置条件が限られ、家庭などへの導入は難しい。 Since these high viewing angle videos originally have video information surrounding the user as well as the front of the user, the display device for displaying the video also has a large screen display device surrounding the user. By using a spherical screen, you can get a higher sense of realism. However, since such a display device is large and expensive, installation conditions are limited, and it is difficult to introduce it into a home.
本発明はこうした事情に鑑みてなされたものであり、その目的は、比較的簡便な構成で高視野角映像を効果的に表示する技術を提供することにある。また別の目的は、高視野角映像を楽しむためのシステムを導入する際の手間とコストを低減し、広く家庭等に普及させることのできる技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for effectively displaying a high viewing angle image with a relatively simple configuration. Another object is to provide a technique that can reduce the labor and cost of introducing a system for enjoying a high viewing angle video and can be widely spread to homes and the like.
このような課題を解決するために、本発明では、仮想現実（バーチャルリアリティ）などの三次元空間映像や、パノラマ映像など、ユーザを取り囲むような形式で表現された映像データを、ユーザの周囲に配された複数の表示装置に分割して表示するにあたって、それぞれの表示装置の位置を示す情報を適宜取得し、ユーザから見てその表示装置の方向に見えるべき映像を生成し、その表示装置に表示せしめる。 In order to solve such a problem, in the present invention, video data expressed in a form surrounding the user, such as a three-dimensional spatial image such as virtual reality or a panoramic image, is displayed around the user. When dividing and displaying on a plurality of arranged display devices, information indicating the position of each display device is appropriately acquired, and an image that should be seen in the direction of the display device when viewed from the user is generated. Display.
この表示技術は、複数の表示装置と、少なくとも一つの表示制御装置とを含む表示システムにより実現される。表示装置は、自己の位置を検知するための検知部と、検知部により検知された自己の位置を示す情報を表示制御装置に通知する通知部と、を含む。表示制御装置は、通知部から表示装置の位置を示す情報を取得する位置情報取得部と、前記位置情報取得部が取得した表示装置の位置を示す情報に基づいて、その表示装置に表示すべき映像を生成し、その表示装置に送信する映像生成部と、を含む。複数の表示装置は、それぞれ映像生成部から取得した映像を表示する。 This display technology is realized by a display system including a plurality of display devices and at least one display control device. The display device includes a detection unit for detecting its own position and a notification unit for notifying the display control device of information indicating its own position detected by the detection unit. The display control device should display on the display device based on the position information acquisition unit that acquires information indicating the position of the display device from the notification unit, and the information indicating the position of the display device acquired by the position information acquisition unit. A video generation unit that generates a video and transmits the generated video to the display device. The plurality of display devices each display the video acquired from the video generation unit.
本発明によれば、比較的簡便な構成で高視野角映像を効果的に表示する技術を提供することができる。また、高視野角映像を楽しむためのシステムを導入する際の手間とコストを低減し、広く家庭等に普及させることのできる技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which displays a high viewing angle image | video effectively with a comparatively simple structure can be provided. In addition, it is possible to provide a technique that can reduce labor and cost when introducing a system for enjoying a high viewing angle image and can be widely used in homes and the like.
（第１の実施の形態）
本実施の形態に係る表示システムは、複数の表示装置をユーザの周囲に配し、これらの表示装置が連動して一つの超パノラマ空間映像や三次元仮想現実空間映像を表示するものである。それぞれの表示装置の画面は、ユーザの周囲に展開される超パノラマ空間または三次元仮想現実空間を見るための「窓」の役割を果たす。ユーザは、これらの「窓」から、自身を取り囲む仮想空間の映像および音声を受け取ることにより、実際に自身が超パノラマ空間または三次元仮想現実空間の中に存在しているかのような高い臨場感と没入感を得ることができる。
(First embodiment)
In the display system according to the present embodiment, a plurality of display devices are arranged around a user, and these display devices work together to display one super panoramic space image or three-dimensional virtual reality space image. The screen of each display device serves as a “window” for viewing a super panoramic space or a three-dimensional virtual reality space developed around the user. By receiving video and audio of the virtual space that surrounds these “windows”, the user can feel as if they are actually in a hyper-panoramic space or a three-dimensional virtual reality space. I can get an immersive feeling.
図１は、第１の実施の形態に係る表示システム１０の全体構成を模式的に示す。表示システム１０は、ユーザ２０の周囲に配置された複数の表示装置３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅと、表示制御装置１００とを含む。これらの装置はネットワーク４０を介して接続されている。ネットワーク４０は、各装置を接続するケーブルであってもよいし、ＬＡＮ、ＷＡＮ、インターネット、電源線などを利用したホームネットワークなどであってもよい。また、図１では有線のネットワーク４０を利用した例を示しているが、もちろん無線のネットワークであってもよい。以下、表示システム１０により表示される超パノラマ空間映像、三次元仮想現実映像などをまとめて「高視野角映像」ともいう。表示システム１０は、ユーザ２０が所持するリモートコントローラ８０により操作される。
FIG. 1 schematically shows the overall configuration of a
表示装置３０は、それぞれ、その表示装置の位置を検知するための検知部の一例としての位置センサ３２、表示画面３４、およびスピーカ３６を含む。位置センサ３２により取得された表示装置３０の位置情報は、ネットワーク４０を介して表示制御装置１００に送られる。表示制御装置１００は、各表示装置３０の位置、方向、画面の大きさなどの情報に基づいて、高視野角映像のうちユーザ２０から見てその表示装置３０の表示画面３４に見えるはずの映像を生成し、それぞれの表示装置３０に送る。同様に、表示制御装置１００は、表示装置３０の方向から聞こえるはずの音声を生成し、それぞれの表示装置３０に送る。表示装置３０は、表示制御装置１００から送られた映像を表示画面３４に、音声をスピーカ３６に出力する。これにより、ユーザを取り囲むような映像および音声情報が、実際にユーザを取り囲むように配置された複数の表示装置３０により表現される。
The
従来、映像を表示装置３０に表示する際、一般的には、表示装置の画面の大きさにかかわらず同じ映像を表示していたが、本実施の形態の表示システム１０では、表示装置３０が置かれた位置、方向、画面の大きさ、ユーザ２０の位置、視線方向などに応じて、高視野角映像の一部を切り取って表示装置３０に表示する。高視野角映像の例として、３次元ＣＧを本表示システム１０により表示する場合、３次元ＣＧにおけるワールド座標を、実際に映像を鑑賞している実世界の座標に対応づけてもよい。このとき、複数の表示装置３０のそれぞれが、ＣＧの座標変換処理に用いられるビューフラスタム（四角錘台）に相当することになる。
Conventionally, when displaying an image on the
表示装置３０としては、テレビジョン表示装置のほか、パーソナルコンピュータ、ノート型、タブレット型、携帯型、テーブル型などの各種情報端末の表示装置、携帯電話の表示画面、プロジェクタ、ＨＭＤ（Head Mount Display）など、任意の表示装置を利用可能である。複数の表示装置に高視野角映像を分割して表示するため、必ずしも巨大な画面を有する表示装置を用意する必要がない。したがって、比較的安価にシステムを構築することが可能である。また、図２に示すように、画面の中央付近の領域２２を液晶表示装置などにより高精細に表示し、その周囲の領域２４をプロジェクタなどの大画面表示に適した表示装置により表示してもよい。この場合、プロジェクタによる投影映像が液晶表示装置に重ならないように、プロジェクタの画面中央付近を遮光してもよいし、意図的に映像を重ね合わせて表示してもよい。ここで、領域２２の位置は、必ずしも領域２４の中心付近でなくてもよい。表示制御装置１００は、領域２２の表示画面位置と領域２４の表示画面位置とを取得可能であるから、それらの位置に合わせて、上述したように、領域２４に表示する画像に領域２２に表示する画像をはめ込んだり、重ね合わせたりすることができる。
As the
それぞれの表示装置は、通常は個々の用途において使用し、高視野角映像を表示する際に本システムに接続してもよい。本システムのネットワーク４０による通信に対応した通信制御機能を有する専用の表示装置３０を利用してもよいし、既存の表示装置を本システムに接続して利用してもよい。後者の場合、たとえば、既存の表示装置に位置センサ３２を取り付け、位置情報を無線などにより表示制御装置１００に送り、表示制御装置１００からの映像を表示装置の映像入力端子に、音声を音声入力端子に供給する構成にしてもよい。このような構成によれば、特別な表示装置を必要としないため、導入が容易であり、費用対効果も高い。また、位置センサ３２を取り付ける代わりに、表示装置３０の位置情報の入力をユーザから受け付けてもよいし、ユーザに表示装置３０の位置を調整させてもよい。
Each display device is typically used in an individual application and may be connected to the system when displaying a high viewing angle image. A
図３は、表示装置３０内に設けられた制御部の内部構成を示す。制御部３１は、位置センサ３２、装置情報保持部３３、通知部３７、表示部３８、および音声出力部３９を含む。これらの構成は、ハードウエア的にはコンピュータのＣＰＵやメモリなどの構成で実現でき、ソフトウエア的にはプログラムなどによって実現できるが、本図ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できる。
FIG. 3 shows an internal configuration of a control unit provided in the
位置センサ３２は、表示装置３０の位置情報を検知する。位置センサ３２としては、磁気、赤外線、超音波、その他の原理による各種センサを利用可能である。たとえば、表示制御装置１００、ユーザ２０の所有するリモートコントローラ８０、主画面となる表示装置３０ａ、または本システムが設置された部屋の壁や天井などに磁気、光、音波などの信号の発信機を設け、各表示装置３０にその信号の受信機を設けてもよい。位置センサ３２として、磁場発生器からの磁気信号を受信する磁気センサを利用する場合、磁場発生器と磁気センサとの間で同期をとるための通信経路を設けてもよい。広い範囲で高精度の位置情報を検知するために、複数の磁気発生器を分散して配置し、それらの磁気発生器から各位置センサ３２が受信した信号を統合的に解析することにより、各表示装置３０の位置情報を算出してもよい。また、それぞれの位置センサ３２が発信機および受信機の機能を有し、相互の通信により相対位置を検知してもよい。たとえば、微弱電波による近距離無線通信システムを応用して、電波強度から互いの装置間の距離を推測してもよいし、ブルートゥースなどの技術を用いてもよい。この場合、たとえば表示制御装置１００が、それぞれの表示装置３０から装置間の距離情報を収集し、三角測量等の技術を用いて、それぞれの表示装置３０の位置を算出してもよい。
The
位置センサ３２は、その他、ＧＰＳ衛星からの信号を受信するセンサであってもよいし、測距機能を有する撮像装置であってもよい。ＧＰＳ受信機を位置センサ３２として利用する場合は、個々の表示装置３０が、自身の位置情報を取得することができる。また、測距機能を有する撮像装置を位置センサ３２として利用する場合は、個々の表示装置３０が、自身と、ユーザ２０または他の表示装置３０との間の相対位置を取得することができる。後述するように、表示制御装置１００ではなく、個々の表示装置３０が自身の表示画面に表示する映像をそれぞれ生成する場合は、このように表示装置３０自身が単独で位置情報を取得可能な技術を利用してもよい。
In addition, the
表示装置３０の三次元位置を取得する方法として、複数のカメラにより表示装置３０を撮像して視差により三次元位置を検知する方法を用いてもよいし、測距機能を有する撮像装置により表示装置３０を撮像して三次元位置を検知してもよい。これらの場合、各表示装置３０に位置センサ３２を設けなくてもよい。各表示装置３０に赤外線ＬＥＤを設けておき、所定位置、たとえば表示制御装置１００又は部屋の天井に設けられた単数または複数の赤外線カメラで赤外線ＬＥＤを撮影して、各表示装置３０の位置を取得してもよい。この場合、各表示装置３０の赤外線ＬＥＤの明滅パターンにより装置を識別してもよい。赤外線カメラの撮影速度が比較的遅い場合は、赤外線ＬＥＤと赤外線カメラとの間で同期をとり、赤外線ＬＥＤの明滅パターンを正確に識別できるようにしてもよい。
As a method of acquiring the three-dimensional position of the
プロジェクタによりスクリーンや壁に映像を投影する場合は、たとえば、赤外線などの不可視光を投影し、それをカメラなどで撮影して画像認識することにより、投影画面の位置情報を取得してもよい。このとき、投影面の形状をも考慮すべく、可視光または不可視光によるキャリブレーションパターンをプロジェクタから投影し、ステレオビデオカメラなどにより投影面の位置、方向、および形状を認識し、それに基づいて投影映像を歪ませるなどの処理を行ってもよい。 When projecting an image on a screen or a wall by a projector, for example, invisible light such as infrared rays may be projected, and the position information of the projection screen may be acquired by photographing the image with a camera or the like and recognizing the image. At this time, in order to take into account the shape of the projection surface, a calibration pattern by visible light or invisible light is projected from the projector, and the position, direction, and shape of the projection surface are recognized by a stereo video camera or the like, and the projection is performed based on this. Processing such as distorting the video may be performed.
各表示装置３０に表示すべき映像を生成するためには、その表示装置３０の三次元位置情報だけでなく、表示画面の向きも必要である。位置センサ３２がジャイロを有している場合は、そのジャイロの基準位置からの３軸の傾き角を検出することができるので、三次元空間中における表示画面３４の方向を算出することができる。また、位置及び角度の６自由度を検知可能なセンサを用いてもよい。これらの場合、各表示装置３０には１つの位置センサ３２を設ければよい。その他、表示画面３４の方向を検知する方法として、一つの表示装置３０に複数の位置センサ３２を設けておいてもよいし、重力を検知可能な加速度センサ、地磁気センサなど、表示画面３４の傾き角を検知可能なセンサを別途設けてもよい。また、外部に複数の撮像装置を設けて表示装置３０を撮影することにより各表示装置３０の位置を検知する場合は、撮影した画像から表示装置３０の表示画面３４の方向を取得してもよい。
In order to generate a video to be displayed on each
装置情報保持部３３は、表示装置３０の表示画面のサイズ、アスペクト比、画素数、γ値などの色特性、表示部３８などの処理能力、装置のＩＤ、メーカ名、型式などの識別情報等、表示装置３０に固有な特性情報を保持する。これらの情報は、表示制御装置１００に通知され、表示装置３０に表示する映像を生成するために利用される。別の例では、装置情報保持部３３は、ネットワークにより表示制御装置１００と接続された任意の装置に保持されてもよく、要は、表示制御装置１００が、本表示システム１０に参加している表示装置３０の特性情報を取得できるように構成されていればよい。たとえば、表示装置３０の製造主体により運営されるウェブサイトに表示装置３０の特性情報を掲載しておき、そのウェブサイトから表示装置３０の特性情報を取得してもよい。これによれば、情報の追加、変更、修正などのメンテナンスが容易であり、かつ、装置情報保持部３３が設けられていない表示装置３０であっても、本表示システム１０に参加させることが可能となるので、拡張性に優れている。
The device
通知部３７は、位置センサ３２により検知された表示装置３０の位置を示す情報と、装置情報保持部３３に保持された表示装置３０の特性情報を表示制御装置１００に通知する。表示装置３０の特性情報は、たとえば、表示装置３０がネットワークに接続されたとき、表示システム１０の起動時、初期化時、などに表示制御装置１００に通知されてもよい。表示画面のサイズ、画素数など、変更されない情報については、表示制御装置１００に一度通知されれば十分である。表示画面の輝度、彩度などの色特性やアスペクト比などの表示に関する特性情報や、スピーカの音量などの音声出力に関する特性情報が変更可能に構成されている場合は、変更を検知したときに、表示制御装置１００に変更された情報を通知してもよい。表示装置３０の位置を示す情報は、所定の時間間隔で通知されてもよいし、表示装置３０の位置、方向などが変更されたことを検知したときに通知されてもよい。
The
表示部３８は、表示制御装置１００により表示装置３０の位置に応じて生成された映像を取得して表示画面３４に表示するための処理を行う。音声出力部３９は、表示制御装置１００により生成された音声を取得してスピーカ３６に出力するための処理を行う。
The
通知部３７は、位置センサ３２が受信した信号を各表示装置３０内で処理し三次元位置情報を算出して表示制御装置１００に送信してもよいし、信号情報のみを表示制御装置１００に送り表示制御装置１００側で各表示装置３０の三次元位置情報を算出してもよい。前者の場合、表示装置３０は、図示しないセンサ位置情報算出部を有する。本実施の形態では、表示制御装置１００側で位置情報を算出するものとする。
The
図４は、表示制御装置１００の内部構成を示す。これらの機能ブロックも、ハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できる。
FIG. 4 shows an internal configuration of the
センサ位置情報取得部１１０は、各表示装置３０の通知部３７から、位置センサ３２が受信した信号情報を取得する。装置情報取得部１１２は、各表示装置３０の通知部３７から、装置情報保持部３３に保持された表示装置３０の特性情報を取得する。別の例では、表示装置３０の特性情報は、予め表示制御装置１００に登録されてもよい。また、ネットワーク４０を介して各表示装置３０の識別情報を取得し、表示装置３０の特性情報を掲載したウェブページなどにアクセスして、特性情報を入手してもよい。また、装置情報取得部１１２は、特性情報取得部の機能を有してもよく、この場合、表示装置３０の通知部３７から表示装置３０の表示又は音声出力に関する特性情報を取得する。画面位置情報算出部１２０は、センサ位置情報取得部１１０により取得された情報と、装置情報取得部１１２により取得された各表示装置３０における位置センサ３２の搭載位置、表示画面３４の幅および高さなどの情報をもとに、各表示装置３０の表示画面３４の位置および方向を算出する。
The sensor position
視点位置情報算出部１３０は、センサ位置情報取得部１１０により取得された情報をもとにユーザの視点位置を算出する。ユーザ２０が、携帯可能な表示装置、ＨＭＤ、リモートコントローラなどを所持している場合は、その位置を算出して視点位置としてもよいし、主画面となる表示装置から所定の距離の位置を視点位置としてもよいし、複数の表示装置３０の中心または重心位置としてもよいし、固定の視点位置を予め登録しておいてもよい。すなわち、ここで算出する視点位置は、必ずしも現実のユーザ２０の視点位置と一致していなくてもよいが、できる限り近いことが望ましい。視線方向については、カメラなどによりユーザを撮影して、画像処理によりユーザの顔の向きを検出して決定してもよいし、主画面を予め決めておき、視点位置から主画面を臨む方向を視線方向としてもよいし、予め固定的に決めておいてもよい。複数のユーザが視聴している場合は、ユーザの中から基準となるユーザを選択して、そのユーザの顔や目の位置または方向を検出してもよい。多眼視差映像表示機能を有し、裸眼立体視が可能な表示装置は、ユーザの位置に応じて異なる画像が見えるので、複数のユーザが視聴する場合に好適である。
The viewpoint position
視聴中に表示装置３０やユーザ２０が移動する場合を考慮して、センサ位置情報取得部１１０および視点位置情報算出部１３０は、表示システム１０の起動時または初期化時だけでなく、たとえば所定の時間間隔で表示装置３０やユーザ２０の位置を検知し、現在位置を的確に把握するのが好ましい。
In consideration of the case where the
透視変換マトリクス算出部１４０は、各表示画面３４の位置情報をもとに、視点位置からその表示画面３４を通して高視野角映像を見たときの映像を得るための透視変換マトリクスを算出する。座標変換マトリクス算出部１５０は、視点位置の移動情報や、高視野角映像の拡大縮小を行うスケーリング情報などを、透視変換マトリクスに作用させ、三次元空間データから画面座標データへの変換を行うための座標変換マトリクスを算出する。ユーザ２０が、リモートコントローラなどのユーザインタフェイスを介して、視点位置を移動させたり、映像を拡大縮小させたりすることが可能な構成としてもよい。その場合、ユーザから指示が入力されると、座標変換マトリクス算出部１５０が指示にしたがって座標変換マトリクスを更新する。映像生成部１６０は、高視野角映像を表現する三次元空間映像データに対して座標変換マトリクスを適応し、各表示装置３０に表示すべき映像を生成する。生成された映像は各表示装置３０に送られ、表示画面３４に表示される。透視変換マトリクスおよび座標変換マトリクスを算出し、映像データに作用させて映像を得る方法については、既知の計算原理による画像処理技術を利用可能である。
The perspective transformation
音声生成部１７０は、各表示装置３０の位置および視点位置をもとに、用意された音声データに三次元音場を生成するための音響処理を適応して、その表示装置に内蔵されたスピーカ３６に供給すべき音声を生成する。音響処理についても同様に既知の技術を利用可能である。スピーカ３６を表示装置３０とは別に設ける場合は、スピーカ３６にも位置センサ３２を設けるなどして、別途スピーカ３６の位置情報を取得してもよい。位置センサ付きのスピーカ４６を多数ユーザの周囲に配置し、それぞれに対して位置を考慮した最適な音声信号を配信することにより、大幅に臨場感を向上させることができる。一般的な、２つのスピーカからなるステレオスピーカでは、最適なユーザ視聴位置が限定されるが、複数のスピーカを用いることにより、最適なユーザ視聴位置を広げることができる。さらに、ユーザの位置を取得して音声信号に反映させることにより、常に最適な音声信号を生成することができる。
The
映像生成部１６０および音声生成部１７０における演算処理のもととなる映像データおよび音声データは、ネットワーク配信や放送波などから取得されてもよいし、ＣＤ、ＤＶＤ、ビデオテープなどの記録媒体から読み出されてもよい。映像生成部１６０により生成された映像、および音声生成部１７０により生成された音声は、ネットワーク４０を介して各表示装置３０に伝達されてもよいし、専用のケーブルを用いて、表示装置３０の映像入力端子および音声入力端子を介して伝達されてもよい。
The video data and audio data that are the basis of the arithmetic processing in the
特性情報決定部１９０は、表示システム１０に参加している複数の表示装置３０の表示又は音声出力の特性を統一すべく、特性情報取得部の一例である装置情報取得部１１２が取得した各表示装置３０の特性情報に基づいて、複数の表示装置３０の表示又は音声出力の特性を決定し、各表示装置３０に通知する。各表示装置３０は、特性情報決定部１９０から通知された特性に設定を変更する。たとえば、ユーザがある表示装置３０に対して個別に輝度、コントラスト、カラーバランスなど画質に影響を与える特性の調整を行ったとき、その調整値を他の表示装置３０にも反映させて、表示システム１０に参加している複数の表示装置３０の間で画質をそろえる処理を行ってもよい。これにより、ユーザに均一な視聴環境を提供することができる。
The characteristic
参加・退出処理部１８０は、表示装置３０の表示システム１０への参加、退出に関する処理を行う。参加・退出処理部１８０は、表示システム１０の初期化時、または起動時に、ネットワーク４０に接続されている表示装置３０を検知し、それらの表示装置３０の位置情報を取得するようセンサ位置情報取得部１１０に指示し、それらの表示装置３０の特性情報を取得するよう装置情報取得部１１２に指示する。表示装置３０の位置情報および特性情報を取得すると、参加・退出処理部１８０は、表示装置３０を表示システム１０に参加させるか否かを判断する。たとえば、表示装置３０が位置センサ３２を搭載していない場合は、表示システム１０に参加させないと判断してもよい。ただし、撮像装置により表示装置３０を撮影することにより表示装置３０の位置を検知する場合は、位置センサ３２を搭載していない表示装置３０を表示システム１０に参加させてもよい。前述したプロジェクタの投影面を検出する手法と同様の手法により、表示装置３０の表示画面の位置を検知することも可能である。
The participation /
参加・退出処理部１８０は、表示装置３０の表示画面の向きを取得し、表示画面の向きがユーザの視線方向から大きく外れている場合は、表示システム１０に参加させないと判断してもよい。たとえば、図５に示した例では、ネットワーク４０に接続された表示装置３０のうち、表示装置３０ｃは、画面３４ｃの向きがユーザ２０の視線方向から大きく外れており、高視野角映像の一部を表示装置３０ｃに表示したとしても、ユーザ２０は表示装置３０ｃの画面３４ｃをほとんど見ることができない。この場合、参加・退出処理部１８０は、表示装置３０ｃを表示システム１０に参加させないと判断してもよい。
The participation /
また、参加・退出処理部１８０は、ネットワーク４０に接続されている全ての表示装置３０の位置および画面の向きと、ユーザの位置とを把握し、表示装置３０をグループ化してもよい。たとえば、図６に示した例では、ユーザ２０ａの周囲には、表示装置３０ａ、３０ｂ、３０ｃ、３０ｄ、および３０ｅが配置されており、ユーザ２０ｂの周囲には、表示装置３０ｆ、３０ｇ、３０ｈ、３０ｉ、および３０ｊが配置されている。この場合、参加・退出処理部１８０は、表示装置３０ａ、３０ｂ、３０ｃ、３０ｄ、および３０ｅをグループ化し、表示装置３０ｆ、３０ｇ、３０ｈ、３０ｉ、および３０ｊをグループ化して、それぞれのグループごとに高視野角映像を提供する。このとき、視点位置情報算出部１３０は、表示装置３０ａ、３０ｂ、３０ｃ、３０ｄ、および３０ｅのグループのための視点位置を、ユーザ２０ａを基準にして設定し、表示装置３０ｆ、３０ｇ、３０ｈ、３０ｉ、および３０ｊのグループのための視点位置を、ユーザ２０ｂを基準にして設定する。この例は、ユーザ２０ａとユーザ２０ｂとがネットワーク４０を介して対戦ゲームを行うような場合に好適である。
Further, the participation /
参加・退出処理部１８０は、表示システム１０の起動中、所定の時間間隔でネットワーク４０に接続確認用の信号を送出し、その応答信号を表示装置３０から取得することにより、ネットワーク４０に接続中の表示装置３０を検知してもよい。ネットワーク４０に表示装置３０が新たに接続された場合は、参加・退出処理部１８０は、表示システム１０の起動時と同様の処理により、その表示装置３０を表示システム１０に参加させるか否かを判断し、参加させると判断した場合は、映像生成部１６０および音声生成部１７０に、その表示装置３０に送る映像情報および音声情報を生成させる。また、表示システム１０に参加していた表示装置３０がネットワーク４０から切断された場合、参加・退出処理部１８０は、その表示装置３０を表示システム１０から退出させ、以降、その表示装置３０のための映像情報および音声情報を生成させない。上述した例では、参加・退出処理部１８０は、ネットワーク４０を介して、表示装置３０の存在を確認したが、別の例では、撮像装置によりユーザの周囲を撮影して、表示装置３０の追加、撤去、移動などを検知してもよい。また、ブルートゥースその他の微弱電波による近距離無線を用いてもよい。
The participation /
このように、本実施の形態の表示システム１０では、参加・退出処理部１８０により、ネットワーク４０に接続した表示装置３０を自動的に検知するとともに、各表示装置３０の位置をセンサで検知することにより、高視野角映像のうち、その表示装置３０の位置に表示すべき映像を生成する。したがって、表示装置３０を新たに設置するときや、位置を変更するときに、画面の位置合わせなど煩雑な作業をユーザに強いることがなく、容易に本システムを構築することができる。ユーザは自身の生活環境に合わせて、それぞれ独立に表示画面を有する複数の表示装置を自由に配置することができるため、設置条件の自由度も高い。また、表示装置の追加も容易であるから、ユーザの予算に合わせて徐々に追加していくことも可能である。このように、本システムでは、従来の大画面ディスプレーを利用した表示システムに比べて、導入時のコストや手間が大幅に軽減されるので、家庭や、レストランなどの小規模店舗などへの普及の促進が期待できる。
As described above, in the
ＨＭＤや小型ディスプレーなど、移動可能な表示装置を使用している場合は、その位置をリアルタイムに検知し、表示装置の移動に合わせて表示される映像を移動させてもよい。とくに、ＨＭＤを使用する場合、ユーザの位置や頭の向きに応じて、その位置からその向きに見えるはずの映像をリアルタイムに表示することができるので、より臨場感の高い環境を提供することができる。 When a movable display device such as an HMD or a small display is used, the position may be detected in real time, and the displayed image may be moved in accordance with the movement of the display device. In particular, when an HMD is used, an image that should be visible in that direction from the position can be displayed in real time according to the position of the user and the direction of the head, thereby providing a more realistic environment. it can.
つづいて、表示システム１０にユーザ２０からの指示を入力するための構成について説明する。本実施の形態では、ユーザ２０の指示を入力するためのボタンや方向キーなどの構成を備えたリモートコントローラ８０により、表示システム１０に属する複数の表示装置３０および表示制御装置１００に対して、ユーザからの指示を伝達する。リモートコントローラ８０は、無線により信号を伝達してもよいし、有線のネットワークにより信号を伝達してもよい。表示装置３０の一つをリモートコントローラ８０として機能させてもよく、たとえば、ユーザが所持して操作可能な携帯ゲーム機、ＰＤＡ、携帯電話機などをリモートコントローラ８０として機能させてもよい。リモートコントローラ８０から送信される信号は、表示制御装置１００、ユーザ２０の正面に位置する主たる表示装置３０（たとえば図１における表示装置３０ａ）、または図示しないホームサーバなどが一括して受信し、一括受信した装置（以下、「受信装置」ともいう）から各表示装置３０に必要な指示を伝達してもよいし、各表示装置３０および表示制御装置１００が自身に向けて発信された信号を受信してもよい。前者の場合、リモートコントローラ８０からの信号を受信した受信装置は、ネットワーク４０を介して、各表示装置３０および表示制御装置１００に指示を伝達してもよいし、天井などに設けられた赤外線発生器などを介して指示を伝達してもよい。なお、リモートコントローラ８０は、表示装置３０や表示制御装置１００だけでなく、オーディオ機器、冷暖房機、照明、電動ブラインド、ドアホン等、他の家電製品に対してもユーザの指示を入力可能に構成されてもよい。
Next, a configuration for inputting an instruction from the
複数の操作対象機器の多様な機能に対する操作を実現するために、リモートコントローラ８０に操作用のプログラムを実行するためのＣＰＵなどの構成を設けてもよい。操作用プログラムは、予めＲＯＭなどのメモリに記録されていてもよいし、ユーザの操作に先立って操作対象機器などからダウンロードしてもよい。後者の場合、実際には使用しないプログラムを保持することを避けることができるので、メモリなどの構成を節減することができるとともに、多数の機器を操作する場合、または、多機能の操作を実現するために容量の大きいプログラムを実行させる場合であっても、リモートコントローラ８０に搭載されている有限のメモリを効率よく利用して操作を行うことができる。また、プログラムの追加、変更、改変などへの対応が容易となる。使用頻度の高いプログラムを、機器側またはリモートコントローラ８０側のメモリに保持しておき、操作時または所定の時間間隔ごとに、プログラムのバージョン番号などを利用して、機器のメーカのウェブサイトなどにプログラムのバージョンアップの有無を照会し、バージョンアップがあったときに、メーカのウェブサイトから最新のプログラムをダウンロードするようにしてもよい。受信装置は、たとえば前述の参加・退出処理部１８０により、本システムに参加して操作対象となりうる機器を把握可能であるから、それらの機器の操作用プログラムを予めリモートコントローラ８０に転送してもよい。
In order to realize operations for various functions of a plurality of operation target devices, the
リモートコントローラ８０には、ユーザにグラフィカル・ユーザ・インタフェイス（ＧＵＩ）を提供するための表示装置を設けてもよい。この表示装置に、タッチパネルなどの入力デバイスをさらに設けてもよい。または、ユーザの位置を検知するために表示システム１０がユーザを撮影する撮像装置を備える場合は、その撮像装置によりユーザの動作を検知してユーザからの指示を判別するゼスチュラルインタフェイスを採用してもよい。
The
別の例では、リモートコントローラ８０側にはＣＰＵやメモリなどの構成を設けず、十字キー、選択ボタン、取消ボタン、確定ボタンなど、ユーザの指示を入力するための構成を設けておき、操作プログラムは機器側または表示制御装置１００やホームサーバなどの受信装置側で実行するようにしてもよい。これにより、リモートコントローラ８０を小型で簡素な構成にすることができる。この場合、表示装置３０などに操作のためのＧＵＩを表示し、ユーザがリモートコントローラ８０のボタンなどによりＧＵＩを操作するように構成してもよい。ＧＵＩは、ユーザのレベルに応じて実現可能な機能を変更してもよいし、言語、年齢、性別、嗜好などに応じて画面をカスタマイズできるようにしてもよい。
In another example, the
ＧＵＩを表示する装置は、操作対象機器であってもよいし、操作対象機器が表示装置を有していない場合は、表示システム１０の表示装置３０のいずれかにＧＵＩを表示してもよい。後者の場合、操作プログラムは操作対象機器が実行し、表示データのみを表示装置３０に送ってＧＵＩを表示させてもよいし、表示のためのプログラムを表示装置３０側で実行してもよい。表示システム１０の表示装置３０にＧＵＩを表示する場合、ユーザの正面に存在する表示装置３０にＧＵＩを表示してもよいし、ユーザが見ている方向に存在する表示装置３０に表示してもよいし、リモートコントローラ８０が向いている方向に存在する表示装置３０に表示してもよい。また、電源が起動している表示装置３０を優先的に選択してＧＵＩを表示してもよい。逆に、コンテンツの視聴を妨げないように、電源がオフになっている表示装置３０を選択して、その表示装置３０の電源をオンにしてＧＵＩを表示してもよい。この場合、操作終了時、または所定時間以上操作が行われなかった時に、ＧＵＩを表示した表示装置３０の電源をオフに戻してもよい。電源がオンになっている表示装置３０であっても、たとえば環境映像などのユーザが注視する必要のない映像が表示されている場合は、その表示装置３０にＧＵＩを表示してもよい。また、映像を表示中の表示装置３０にＧＵＩを表示する場合は、視聴の妨げを最小限に抑えるために、アルファブレンディングなどの技術を用いて、ＧＵＩを半透明にして表示してもよい。部屋の天井などに首振り機構を備えたインテリジェントプロジェクタを設けておき、インテリジェントプロジェクタからユーザの手元などにＧＵＩを投影表示してもよい。なお、上述の技術は、ＧＵＩだけでなく、字幕やテロップなどを表示する場合にも適用可能である。
The device that displays the GUI may be an operation target device, or when the operation target device does not have a display device, the GUI may be displayed on any of the
操作対象機器を切り替える場合、リモートコントローラ８０が向いている方向に存在する機器を判別して操作対象機器としてもよいし、ユーザが操作対象機器を指定できるようにしてもよい。表示システム１０が、表示装置３０の位置や画面の向きを取得するための撮像装置を備えている場合は、その撮像装置によりリモートコントローラ８０を撮影し、リモートコントローラ８０の向きを検知して、操作対象機器を特定してもよい。または、リモートコントローラ８０に方向角センサを設け、リモートコントローラ８０が向いている方向を検知して、操作対象機器を特定してもよい。これらの場合、操作対象機器の特定は、表示制御装置１００などの受信装置が行ってもよい。また、リモコンコントローラ８０に撮像装置を搭載して、機器に設置したＬＥＤの点滅からのＩＤ認識その他の方法によりリモートコントローラ８０の向いている方向にある機器を識別してもよい。受信装置は、リモートコントローラ８０からの信号を受信すると、撮像装置からの画像などによりリモートコントローラ８０の向きを検知し、各機器に設けられた位置センサからの位置情報や、各機器の大きさや形状などの情報に基づいて、リモートコントローラ８０が指し示す半直線と交わる位置にある機器を特定する。このときの計算を容易にするために、機器の形状などを分類しておいてもよい。たとえば、パネル型、ボックス型、ポインタ型などに機器を分類し、いずれのタイプであるかを示す機器タイプＩＤを割り当てておき、その機器タイプＩＤに基づいて当たり判定を行ってもよい。
When switching the operation target device, a device existing in the direction in which the
上述したような方法により操作対象機器が特定されると、ＬＥＤの明滅や点灯、音声、画像の表示などにより、現在操作対象となっている機器をユーザに知らせてもよい。たとえば、操作対象となっている表示装置３０に、現在操作対象となっていることを示すアイコンやイラストを表示してもよいし、ＧＵＩ上に操作対象機器を示す画像を表示してもよい。アニメーションなどの動画を表示することにより、ユーザの注意を喚起してもよい。また、操作により機器の動作状態が変わった場合に、表示中の画像を変化させて、ユーザの誤操作を防ぐようにしてもよい。
When the operation target device is specified by the method as described above, the user may be notified of the device currently being operated by blinking or lighting the LED, displaying sound, displaying an image, or the like. For example, an icon or an illustration indicating that it is currently the operation target may be displayed on the
以上説明した構成による表示システム１０の操作系の動作について説明する。まず、表示システム１０が起動されると、表示装置３０や表示制御装置１００などの各機器は、メーカサイトなどにアクセスして、操作プログラムのバージョンをチェックし、必要であれば最新の操作プログラムをダウンロードしておく。メーカサイトとの間のネットワークが十分に高速である場合は、リモートコントローラ８０による操作対象機器となったときに、操作プログラムをダウンロードしてもよい。これにより、メモリなどの資源を節約することができる。
The operation of the operation system of the
つづいて、リモートコントローラ８０からの指示を受信する受信装置は、同一のネットワーク４０上に存在する機器の位置を把握する。ネットワーク４０に接続されていたとしても、ユーザのいる部屋に機器があるとは限らないので、ユーザのいる部屋にある機器の位置を予め把握しておく。これにより、操作対象機器を特定する際の計算を容易にすることができる。赤外線ＬＥＤの明滅や、適切な電波強度による通信などにより、近傍に存在する機器を把握してもよい。
Subsequently, the receiving device that receives the instruction from the
ユーザがリモートコントローラ８０を操作したい機器の方向に向け、操作対象機器を選択するための機器選択ボタンを押下すると、受信装置は、リモートコントローラ８０の向きを検知して、操作対象機器を特定する。操作対象機器が特定されると、ＬＥＤの明滅や点灯、確認音やメッセージの出力、画像表示などにより、操作対象機器をユーザに提示する。また、ＧＵＩに操作対象機器を示す画像などを表示する。この画像は、ＪＰＥＧ、ＭｏｔｉｏｎＪＰＥＧ、三次元ポリゴンデータ、三次元ポリゴンデータ用ＭＩＭｅデータなど、任意の形式の画像データであってよい。ユーザがリモートコントローラ８０の方向を変えたときに、その方向に存在する機器を操作対象候補とし、ユーザが確定ボタンなどを押下することにより、操作対象機器として確定してもよい。この場合、操作対象機器を提示する音声、画像などは、候補として選択されている段階と、確定された段階の、２種類を用意してもよい。また、複数の機器で類似した提示を行うと、かえってユーザの混乱を招くため、数種類を用意しておきユーザが選択可能としてもよいし、機器側で色などを変更可能としてもよい。ユーザが誤って操作対象機器を選択したときに、直前に選択されていた機器に操作対象を戻すための取消ボタンなどを用意してもよい。
When the user presses a device selection button for selecting an operation target device in the direction of the device on which the
リモートコントローラ８０側で操作プログラムを実行する場合は、操作対象機器が特定されると、操作対象機器からリモートコントローラ８０に操作プログラムをダウンロードする。このために、ＡＰＩを標準化してもよい。リモートコントローラ８０がＧＵＩを表示するための表示装置を有している場合は、リモートコントローラ８０側のＧＵＩ上で操作に関する処理を行い、最終的な指示のみを機器側に送信してもよい。また、機器側で操作プログラムを実行し、表示データや表示プログラムをリモートコントローラ８０に送信して表示させてもよい。機器とリモートコントローラ８０の構成に応じて、いずれで処理を行うかを選択し、適切に負荷を分散してもよい。リモートコントローラ８０が表示装置を有していない場合は、前述したように、表示装置３０にＧＵＩを表示してもよい。この場合も、たとえば、いずれの機器が操作対象となっているかなどの情報を提示するために、リモートコントローラ８０に簡易な表示装置を備えてもよい。
When the operation program is executed on the
ユーザが操作を終了するための終了ボタンを押下したとき、所定時間以上操作が行われなかったとき、またはユーザがリモートコントローラ８０から手を離したことを検知可能なセンサによりユーザの操作の終了を判定したときに、以下の終了処理を行う。表示装置を有するリモートコントローラ８０の場合は、表示用のバックライトを消灯するなど、省電力モードに移行させる。表示装置３０にＧＵＩを表示した場合は、ＧＵＩを消去して、もとの映像の表示状態に戻す。この場合、操作終了時に早急にもとの映像の表示状態に戻すために、リモートコントローラ８０に終了ボタンを設けておくのが好ましい。また、電源がオフであった表示装置３０にＧＵＩを表示した場合は、表示装置３０の電源をオフに戻す。なお、終了処理を行ったあと、再びリモートコントローラ８０による操作が行われたとき、操作対象機器を切り替えず、直前に操作された機器を操作対象機器としてもよい。また、タイマー機能などを利用して、所定の時間に自動的にある機器を操作対象とするように設定可能としてもよい。機器が所定の時間に自動的に起動するようにタイマー設定されている場合、リモートコントローラ８０による操作対象機器も、自動的にその機器に切り替わるようにしてもよい。
When the user presses the end button for ending the operation, when the operation is not performed for a predetermined time or when the user releases the
図７は、本表示システム１０により表示される映像データの例を模式的に示す。図７では、高視野角映像データの一例として、三次元ＣＧ画像の例を示している。三次元空間内に視点５０が設定され、その周囲に、仮想の表示画面３４ａ、３４ｃ、３４ｅが配置されている。ここで、それぞれの仮想の表示画面３４ａ、３４ｃ、３４ｅは、現実のユーザの視点位置と表示画面との間の相対位置関係を反映するように、視点５０の周囲に配置されている。表示画面３４ｃには、視点５０から見て表示画面３４ｃの方向に存在する「家」が表示される。表示画面３４ｅには、視点５０から見て表示画面３４ｅの方向に存在する「木」が表示される。
FIG. 7 schematically shows an example of video data displayed by the
図８は、視点５０の位置が移動する様子を示す。ユーザが移動したり、リモートコントローラ８０などにより視点を移動する指示を入力したとき、視点位置情報算出部１３０が新たな視点位置を設定し、透視変換マトリクス算出部１４０および座標変換マトリクス算出部１５０がそれぞれマトリクスを更新する。そして、映像生成部１６０が更新されたマトリクスに基づいてそれぞれの表示画面に表示すべき映像を生成する。すなわち、個々の表示装置３０ごとに映像を変更するのではなく、ユーザによる視点移動指示により、全ての表示装置３０の映像が連動して変更される。
FIG. 8 shows how the position of the
図９は、視点５０と表示画面３４ａ、３４ｃ、３４ｅが同時に移動する様子を示す。表示画面を、部屋の外部に展開される三次元空間を覗く窓とみなしたとき、図８に示した例は、部屋の内部をユーザが移動する場合に相当し、図９に示した例は、部屋全体が三次元空間中を移動する場合に相当する。ユーザの移動やリモートコントローラ８０による入力が発生したときに、上記いずれの方法で映像を更新するかを予め設定するための構成を設けてもよい。また、たとえば、コントローラ８０の操作により図９に示した視点及び表示画面位置の移動を実行しつつ、センサにより検出したユーザの視点位置の移動を反映して図８に示した視点位置の移動を実行するなど、両者を同時に行ってもよい。もちろん上記の動作は、コントローラなどによるユーザの自発的な操作により実行されるだけでなく、演出目的でゲームや映像コンテンツ制作者によって決められた再生型のものでもよい。
FIG. 9 shows how the
図１０は、表示装置３０ｃが移動したときの様子を示す。表示装置３０ｃが移動すると、センサ位置情報取得部１１０が新たな位置情報を取得し、画面位置情報算出部１２０が表示画面３４ｃの位置と向きを算出する。そして、移動した表示装置３０ｃについて、透視変換マトリクスおよび座標変換マトリクスが更新され、映像が生成される。
FIG. 10 shows a state when the
このように、高視野角映像として、３次元ＣＧ画像を表示する場合は、視点や視線方向の変更指示があったときに、計算により各表示装置３０に表示すべき映像を生成することができるが、パノラマ映像を表示システム１０により表示する場合は、話はそう単純ではない。ある一点を中心として放射方向に設置された複数の撮像装置を含むカメラシステムによりパノラマ映像を撮像する場合は、円筒形または半球形のパノラマ映像が得られ、３６０度全方位を一時に撮影可能なパノラマカメラによりパノラマ映像を撮像する場合は、球形のパノラマ映像が得られる。このとき、撮像装置が奥行き方向の情報を取得する機能を有していない場合は、パノラマ映像は二次元画像であり、ユーザ２０の位置と表示装置３０の位置に応じて、パノラマ映像の一部が切り取られて表示装置３０に表示されることになる。音声についても同様に、撮影位置の周囲の音声に対してユーザ２０の位置とスピーカ３６の位置に応じた処理が施される。
As described above, when a three-dimensional CG image is displayed as a high viewing angle image, an image to be displayed on each
１カ所のみで撮影された単一のパノラマ映像では、基本的には、ユーザに与えられる自由度は回転のみである。ユーザは、リモートコントローラ８０により、映像を回転させ、表示装置３０に表示される部分を変更することができるが、視点を移動させることはできない。しかし、たとえば、ある方向にユーザが視点を移動するよう指示したときに、その方向の映像を拡大表示し、その方向と逆方向の映像を縮小表示し、その方向と直交する方向の映像を横に移動させることで、簡便に視点移動を実現することができる。
In a single panoramic image taken at only one place, basically, the degree of freedom given to the user is only rotation. The user can rotate the video by using the
さらに精度のよい視点移動を可能とするために、図１１に示すように、複数点に設置された複数のカメラシステムによりパノラマ映像を撮影してもよい。この場合、カメラシステムの設置位置とは異なる位置に視点が移動されたときには、その周囲で撮影されたパノラマ映像をもとに、合成処理や補間処理により映像を生成してもよいし、アルファブレンディングやぼかしなどの画像処理技術を利用してもよい。また、上述した単一のパノラマ映像に対する視点移動の処理を併用してもよい。 In order to enable more accurate viewpoint movement, panoramic images may be taken by a plurality of camera systems installed at a plurality of points as shown in FIG. In this case, when the viewpoint is moved to a position different from the installation position of the camera system, the video may be generated by synthesis processing or interpolation processing based on the panoramic video shot around the camera system, or alpha blending. Or image processing techniques such as blurring may be used. Further, the viewpoint movement process for the single panoramic image described above may be used in combination.
視点移動を可能とするための他の例として、図１２に示すように、移動体にカメラシステムを搭載して、移動しながら複数の位置においてパノラマ映像を撮影してもよい。この場合、移動経路に沿って自由に視点を移動することができる。移動経路に沿わずに視点を移動させたい場合は、図１３に示すように、移動可能な範囲を網羅するようにジグザグにカメラシステムを移動させながらパノラマ映像を撮影してもよい。いずれの場合にしても、視点の移動に伴って撮影時刻も変化してしまうので、時間変化のない、または時間変化の少ない対象物を撮影して表示する場合に特に適している。 As another example for enabling viewpoint movement, as shown in FIG. 12, a camera system may be mounted on a moving body, and panoramic images may be taken at a plurality of positions while moving. In this case, the viewpoint can be freely moved along the movement route. When it is desired to move the viewpoint without following the movement route, as shown in FIG. 13, panoramic video may be taken while moving the camera system in a zigzag so as to cover the movable range. In any case, since the photographing time changes with the movement of the viewpoint, the present invention is particularly suitable for photographing and displaying an object having no time change or little time change.
なお、複数の表示装置３０により高視野角映像を表示しているときに、ズームインまたはズームアウトを行う場合、たとえば全ての表示装置３０の画面を連動して拡大すると、画面間で画像が重なったりして矛盾が生じる恐れがある。この場合、ある方向へのズームインは、その方向への視点移動として実現してもよい。すなわち、ある表示装置３０に表示中の映像を拡大したいときは、その方向の映像を拡大表示し、逆方向の映像を縮小表示し、その方向と直交する方向の映像を横に移動させる。または、ユーザが指定した表示装置３０の映像のみを局所的に拡大縮小してもよい。これは、望遠鏡や双眼鏡などでその方向を覗いたことに相当する。
In addition, when zooming in or zooming out while displaying a high viewing angle image by a plurality of
以下、本表示システム１０の応用例について説明する。以下に挙げた、表示システム１０をゲームに応用した例において、ゲームプログラムは表示制御装置１００により実行され、表示制御装置１００により生成された映像データおよび音声データが各表示装置３０に送られる。表示制御装置１００は、リモートコントローラ８０の位置、動き、ボタン操作などを取得して、それに応じたイベントを実行し、映像および音声に反映させる。なお、後述するように、表示装置３０が表示制御装置１００の機能を有し、映像データ及び音声データを生成する場合は、各表示装置３０がゲームプログラムを実行して映像データ及び音声データを生成してもよい。このとき、リモートコントローラ８０が表示画面を有している場合は、リモートコントローラ８０自身も表示装置３０の一形態としてゲームプログラムを実行し、自身の表示画面に表示する映像データを生成してもよい。
Hereinafter, application examples of the
１．格闘ゲーム
ユーザの周囲を取り囲むようなＣＧによる仮想世界を構築し、ユーザの周囲に敵を配して、ユーザがリモートコントローラ８０を剣や銃などとして用い、敵を倒していくゲームを提供する。たとえば、ユーザがリモートコントローラ８０のボタンを押下したときに、ゲーム内のキャラクタが銃を発射するイベントを実行してもよい。また、ユーザがリモートコントローラ８０を上から下へ振り下ろしたときに、ゲーム内のキャラクタが剣を振り下ろすイベントを実行してもよい。リモートコントローラ８０の位置や動きは、位置センサにより取得してもよいし、外部の撮像装置により撮影して取得してもよい。複数の表示装置３０を用いて、ユーザの周囲に構築された仮想世界を表示することにより、周囲から敵が迫るような臨場感を与えることができる。また、いずれの表示装置３０に表示された敵に向かってユーザが攻撃しているかは、リモートコントローラ８０の向きにより検知可能であるから、ユーザは特別な操作を必要とすることなく、周囲の敵を攻撃することができる。ユーザの位置を取得することにより、ユーザの動きを反映することもできる。たとえば、ユーザが表示装置３０に表示されたオブジェクトの物陰に隠れたり、敵に近づいたりすることができるようにしてもよい。ユーザの位置は、リモートコントローラ８０の位置で代用してもよい。
1. Fighting game A game in which a virtual world by CG surrounding the user's surroundings is constructed, enemies are arranged around the user, and the user uses the
２．球技ゲーム
ユーザが所持したリモートコントローラ８０をテニスのラケットや野球のバットなどに見立てて、テニス、エアホッケー、野球などの球技ゲームを提供する。ユーザは、表示装置３０に表示された玉を、仮想的な反射板として機能するリモートコントローラ８０を移動させて打つことにより、現実の球技に似た体感を得ることができる。また、周囲に配置された表示装置３０に、ゲーム世界における周囲の状況が表示されるので、より高い臨場感が得られる。表示画面を備えたリモートコントローラ８０を用いる場合、ユーザの手元のリモートコントローラ８０の表示画面を用いて、ラケットやバットにボールが当たる瞬間を表示してもよい。これにより、より臨場感が増す。リモートコントローラ８０または携帯ゲーム機の傾きや上下方向の移動を検知することにより、スピンやスライスなどの細かい操作を反映させることもできる。また、リモートコントローラ８０のボタン操作により、球種などを選択可能としてもよく、この場合、表示制御装置１００は、リモートコントローラ８０からボタン操作を受け付けて、その操作をゲームプログラムに反映させる。
2. Ball game game The
３．１対１対戦ゲーム
広いゲームフィールドのうち一部を表示画面を備えたリモートコントローラ８０の表示画面に表示し、ユーザの操作によりゲームフィールド中を移動可能とすることにより、リモートコントローラ８０を広いゲームフィールドの一部を覗く窓として機能させる。ユーザの位置を検知して反映させることにより、ユーザがゲームフィールドを実際に動き回りながらゲームを行うような臨場感を与えることができる。この場合、自陣と敵陣の境界が明確なテニスなどのゲームだけでなく、格闘ゲームなどにおいて、たとえば敵の背後に回り込むなど、ゲームフィールド内を自由に移動しながらゲームを楽しむことが可能となる。
3. One-on-one battle game A part of the wide game field is displayed on the display screen of the
４．多対多対戦ゲーム
各ユーザが、位置センサを搭載したリモートコントローラ８０を所持して自由に動き回り、その位置をゲームフィールド中のユーザのキャラクタ位置に反映させることにより、臨場感の高いゲームを提供する。ユーザは、自身の動きにより、会話したり連携したり攻撃したりする相手を選択したり、敵に対する位置の移動などを行うことができる。
4). Many-to-many multiplayer game Each user has a
５．カードゲーム
位置センサを搭載したリモートコントローラ８０を用いたカード交換ゲームを提供することにより、より自然な操作感を実現することができる。さらに、傾きセンサなどを利用することにより、たとえば、相手のリモートコントローラ８０の方向に自身のリモートコントローラ８０を傾けることで、カードを相手に渡したり、周囲の表示装置の画面にカードを置いたりするなど、自然で分かりやすい操作を実現することができる。
5. Card Game By providing a card exchange game using a
図１４は、本実施の形態の表示システムを複数機器間のユーザインタフェイスに応用した例を示す。表示装置の一例としての携帯端末３０ｆおよび３０ｇは、ネットワーク４０を介して表示制御装置１００に接続されている。携帯端末３０ｆのデスクトップに表示されたデータファイルを、携帯端末３０ｇに転送する場合を例にとって説明する。
FIG. 14 shows an example in which the display system of the present embodiment is applied to a user interface between a plurality of devices.
携帯端末３０ｆの表示画面３４ｆに、データファイルを表すアイコン６０が表示されており、マウス又はタッチパネルなどの入力デバイスによりドラッグ操作を行うことでファイルを転送できるものとする。転送元の携帯端末３０ｆと転送先の携帯端末３０ｇを並置し、携帯端末３０ｆ上でアイコン６０を携帯端末３０ｇの方向にドラッグする。ポインタ６２が画面端に達すると、表示制御装置１００は、携帯端末３０ｆから見てドラッグ方向に存在する表示装置、すなわち携帯端末３０ｇにポインタ６２を表示するよう指示する。ここで、ポインタ６２の制御は携帯端末３０ｇへ移り、携帯端末３０ｇの表示画面３４ｇにポインタ６２が出現する。そして、転送先の携帯端末３０ｇの表示画面３４ｇ上でアイコン６０をドロップすると、ファイルデータが転送される。
An
従来は、ネットワークに接続された機器はネットワークアドレスなどにより識別されていたため、ファイルを転送する場合は、転送先の機器のネットワークアドレスを指定する必要があった。しかし、本実施の形態では、各機器の相対位置関係が分かっているため、現実の位置関係により各機器を識別することができ、より自然な操作が可能なユーザインタフェイスを提供することができる。 Conventionally, a device connected to a network has been identified by a network address or the like. Therefore, when transferring a file, it is necessary to specify a network address of a transfer destination device. However, in this embodiment, since the relative positional relationship of each device is known, each device can be identified by the actual positional relationship, and a user interface capable of more natural operation can be provided. .
本実施の形態では、表示制御装置を表示装置とは別体に設けたが、いずれかの表示装置に表示制御装置の機能を含ませてもよい。表示制御装置の機能を、三次元の映像処理が可能なＰＣ、ビデオ録画装置、ゲーム機、ホームサーバなどに設けてもよい。表示制御装置の機能の一部または全部がＬＳＩにより実現されてもよい。表示制御装置の機能を有したＬＳＩを表示装置に搭載する場合、ＬＳＩの中に位置センサを設けてもよい。 In this embodiment, the display control device is provided separately from the display device. However, any display device may include the function of the display control device. The function of the display control device may be provided in a PC, a video recording device, a game machine, a home server, etc. capable of three-dimensional video processing. Part or all of the functions of the display control device may be realized by an LSI. When an LSI having a display control device function is mounted on a display device, a position sensor may be provided in the LSI.
（第２の実施の形態）
図１５は、第２の実施の形態に係る表示システム１０の全体構成を示す。本実施の形態の表示システム１０は、複数の表示装置３０ｆ、３０ｇ、３０ｈ、および３０ｉと、表示装置のそれぞれに対して設けられた複数の表示制御装置１００ｆ、１００ｇ、１００ｈ、および１００ｉとを備える。第１の実施の形態では、一つの表示制御装置がシステム全体を統括的に制御したが、本実施の形態では、複数の表示制御装置が連動して表示の制御を行う。表示装置３０の内部構成は図３に示した第１の実施の形態の表示装置と同様であり、表示制御装置１００の内部構成は図４に示したものと同様である。表示制御装置１００は、表示制御装置１００ｆおよび１００ｇのように、表示装置３０と一体的に設けられてもよいし、表示制御装置１００ｈおよび１００ｉのように、表示装置３０とは別に設けられてもよい。
(Second Embodiment)
FIG. 15 shows the overall configuration of the
図１５に示した表示システム１０において、各表示制御装置１００は、ネットワーク４０を介して映像データおよび音声データを取得し、自身に接続された表示装置３０の位置情報に合わせて、その表示装置３０の表示画面３４に表示すべき映像を生成し、スピーカに出力すべき音声を生成する。表示画面３４の位置情報を取得して表示映像を生成する手法は第１の実施の形態と同様である。視点および視線の情報については、いずれかの表示制御装置１００が取得して他の表示制御装置１００にブロードキャストしてもよいし、それぞれの表示制御装置１００に予め登録しておいてもよい。本実施の形態の表示システム１０によれば、表示制御装置１００における処理負荷が分散されるので、処理負荷の高い映像データであっても、高速に映像を生成して表示することができる。本実施の形態では、ネットワーク４０を介して映像データおよび音声データを各表示制御装置１００に供給したが、映像データおよび音声データを格納した記録媒体を各表示制御装置１００に接続することによりデータを供給してもよい。この場合、各表示制御装置１００は、同期信号をやり取りするなどして、表示のタイミングを同期させてもよい。また、表示システム１０によりゲームなどを提供する場合、各表示制御装置１００間で、ネットワーク４０を介して、ゲームにおいて使用されるパラメータなどの情報をやり取りして共有してもよい。
In the
各表示制御装置１００が、映像データを分散して保持してもよい。たとえば、仮想都市を表現した３次元仮想現実世界を表示システム１０により提供する場合、各表示制御装置１００が、都市の一部の映像データをそれぞれ保持し、全体として仮想都市が構築されてもよい。この場合、映像の再生を開始するときに、それぞれの表示制御装置１００が自身の保持する映像データを他の表示制御装置１００へ供給して、全ての表示制御装置１００が全体の映像データを取得するようにしてもよいし、ユーザの移動に連動して、表示すべき映像データを保持する表示制御装置１００が映像データを他の表示制御装置１００に供給するようにしてもよい。これにより、処理負荷を分散できるだけでなく、映像データを保持する記憶領域を分散させることができるので、個々の表示制御装置１００に搭載すべきメモリの量を低減することができる。
Each
（第３の実施の形態）
図１６は、第３の実施の形態に係る表示システム１０の全体構成を示す。本実施の形態の表示システム１０は、複数の表示制御装置と複数の表示装置を備え、表示装置３０ｊは表示制御装置１００ｊに、表示装置３０ｋは表示制御装置１００ｋに、表示装置３０ｌおよび表示装置３０ｍは表示制御装置１００ｌに、それぞれ接続されている。本実施の形態の表示システム１０では、第１の実施の形態に示した複数の表示装置３０を統括的に制御する表示制御装置１００ｌと、第２の実施の形態に示した１つの表示装置３０を個別に制御する表示制御装置１００ｊおよび１００ｋが混在している。表示装置３０の内部構成は図３に示した第１の実施の形態の表示装置と同様であり、表示制御装置１００の内部構成は図４に示したものと同様である。
(Third embodiment)
FIG. 16 shows the overall configuration of the
図１６に示した表示システム１０において、各表示制御装置１００は、ネットワーク４０を介して映像データおよび音声データを取得し、自身に接続された表示装置３０の位置情報に合わせて、その表示装置３０の表示画面３４に表示すべき映像を生成し、スピーカに出力すべき音声を生成する。具体的には、表示制御装置１００ｊは表示装置３０ｊの、表示制御装置１００ｋは表示装置３０ｋの、表示制御装置１００ｌは表示装置３０ｌおよび３０ｍの映像を生成する。表示画面３４の位置情報を取得して表示映像を生成する手法は第１の実施の形態と同様である。視点および視線の情報については、いずれかの表示制御装置１００が取得して他の表示制御装置１００にブロードキャストしてもよいし、それぞれの表示制御装置１００に予め登録しておいてもよい。本実施の形態の表示システム１０によれば、表示制御装置１００における処理負荷が分散されるとともに、ユーザの環境に合わせて柔軟にシステムを構成することが可能となる。
In the
（第４の実施の形態）
第１から第３の実施の形態は、より自然なユーザインタフェイスを提供する。それに合わせて、第４から第６の実施の形態では、より触感に優れたユーザインタフェイス装置を提供する技術について説明する。たとえば、第１から第３の実施の形態におけるリモートコントローラ８０として、以下に示す第４または第５の実施の形態に係るユーザインタフェイス装置を利用可能である。また、第１から第３の実施の形態における表示装置３０として、以下に示す第６の実施の形態におけるディスプレイ装置を利用可能である。
(Fourth embodiment)
The first to third embodiments provide a more natural user interface. Accordingly, in the fourth to sixth embodiments, techniques for providing a user interface device with a better tactile feeling will be described. For example, the user interface device according to the fourth or fifth embodiment described below can be used as the
第４から第６の実施の形態は、ユーザインタフェイス装置およびディスプレイ装置に関し、特に、手指などにより入力を行うことのできるユーザインタフェイス装置および汚れの付着しにくいディスプレイ装置に関する。 The fourth to sixth embodiments relate to a user interface device and a display device, and more particularly, to a user interface device that can be input with a finger or the like and a display device that is less likely to be soiled.
コンピュータの標準操作デバイスであるキーボードやマウスに加えて、近年、操作がより自然で容易な指による入力を実現するユーザインタフェイス装置が増えつつある。その代表として、現金自動預払機や携帯情報端末などに採用されている、タッチ入力式の装置がある。この装置では、液晶表示装置等の表示面上に透明なパネル状のタッチ入力装置が設けられ、ユーザは表示された画面を参照しながら項目を選択したり、所定領域を指でなぞることにより文字等を入力する。たとえば、以下の非特許文献が参考となる。
（非特許文献１）Jun Rekimoto、SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces、［online］、［平成１４年８月２８日検索］、インターネット＜URL: http://www.csl.sony.co.jp/person/rekimoto/papers/chi02.pdf＞
In addition to the keyboard and mouse, which are standard operation devices for computers, in recent years, user interface devices that realize finger input that is more natural and easy to operate are increasing. As a representative example, there is a touch input type device adopted in an automatic teller machine or a portable information terminal. In this device, a transparent panel-like touch input device is provided on a display surface such as a liquid crystal display device, and a user selects an item while referring to the displayed screen, or by tracing a predetermined area with a finger. Enter etc. For example, the following non-patent documents are helpful.
(Non-Patent Document 1) Jun Rekimoto, SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces, [online], [August 28, 2002 search], Internet <URL: http://www.csl.sony.co .jp / person / rekimoto / papers / chi02.pdf>
こうした装置を操作する場合、ユーザはタッチ入力装置の一部である透明板、またはその装置の保護フィルムに直接触れることにより入力を行う。しかし、こうした透明板や保護フィルムは通常ガラス製またはＰＥＴ（ポリエチレンテレフタレート）などの樹脂製であるため、指と過度に密着することがあり、指紋等の汚れが付着して表示の視認性に影響を及ぼすことがあった。視認性のみならず、そうした汚れにより、ユーザによっては不特定多数の人が利用する銀行のＡＴＭなどの利用をためらうことがあった。また、透明板などの表面を指でなでるドラッグ操作を行う場合、指が表面に引っ掛かりがちで、正確な操作が阻害されることがあった。さらに、指との過度の密着による触感は必ずしも好ましいものではなかった。また、入力機能を備えず表示機能のみを有するディスプレイ装置においても、指紋等の汚れにより視認性が低下することがあった。 When operating such a device, the user inputs by directly touching a transparent plate that is a part of the touch input device or a protective film of the device. However, since these transparent plates and protective films are usually made of glass or resin such as PET (polyethylene terephthalate), they may be in close contact with fingers, and dirt such as fingerprints may adhere to display visibility. It was sometimes affected. Not only the visibility but also such dirt, some users hesitate to use ATMs of banks used by an unspecified number of people. In addition, when performing a drag operation of stroking the surface of a transparent plate or the like with a finger, the finger tends to get caught on the surface, and the accurate operation may be hindered. Furthermore, tactile sensation due to excessive adhesion with the finger is not always preferable. Further, even in a display device that does not have an input function and has only a display function, visibility may be deteriorated due to dirt such as fingerprints.
第４から第６の実施の形態の目的は、良好な視認性と操作性を備え、優れた触感を伴ったタッチ入力が可能なユーザインタフェイス装置を提供することにある。また別の目的は、不特定多数の人が利用する場合でも、心理的な抵抗感を軽減できるユーザインタフェイス装置を提供することにある。さらに別の目的は、外見上の汚れを低減するユーザインタフェイス装置およびディスプレイ装置を提供することにある。 An object of the fourth to sixth embodiments is to provide a user interface device that has good visibility and operability and enables touch input with excellent tactile sensation. Another object is to provide a user interface device that can reduce psychological resistance even when used by an unspecified number of people. Yet another object is to provide a user interface device and a display device that reduce the appearance of dirt.
本実施の形態のある態様は、ユーザインタフェイス装置に関する。この装置は、表示ユニットと、その表示ユニットの前面に設けられ、ユーザが前記表示ユニットを透視しながら表面に触れることにより入力を行う入力装置と、を備え、前記入力装置の前面に、透明な粒子を固着せしめることにより微細な凹凸形状を表面に形成した透明な層を貼設したことを特徴としている。 An aspect of the present embodiment relates to a user interface device. The device includes a display unit, and an input device that is provided on a front surface of the display unit, and that allows a user to input by touching the surface while seeing through the display unit, and is transparent on the front surface of the input device. It is characterized by sticking a transparent layer having fine irregularities formed on the surface by fixing the particles.
本実施の形態の別の態様のユーザインタフェイス装置は、前記入力装置の前面に、多数の透明な極細繊維が植毛されてなる層を貼設したことを特徴としている。 The user interface device according to another aspect of the present embodiment is characterized in that a layer formed by flocking a large number of transparent ultrafine fibers is pasted on the front surface of the input device.
本実施の形態のさらに別の態様は、ディスプレイ装置に関する。このディスプレイ装置は、表示ユニットと、その表示ユニットの前面に設けられ、透明な粒子を固着せしめることにより微細な凹凸形状を表面に形成した透明な層とを含むことを特徴としている。 Yet another aspect of the present embodiment relates to a display device. This display device is characterized by including a display unit and a transparent layer provided on the front surface of the display unit and having fine irregularities formed on the surface by fixing transparent particles.
本実施の形態の別の態様のディスプレイ装置は、表示ユニットと、その表示ユニットの前面に設けられ、多数の透明な極細繊維が植毛されてなる層とを、含むことを特徴としている。 A display device according to another aspect of the present embodiment includes a display unit and a layer provided on the front surface of the display unit and in which a large number of transparent ultrafine fibers are implanted.
これらのユーザインタフェイス装置およびディスプレイ装置の表面には、微細な凹凸形状が形成され、あるいは多数の極細繊維が植毛されているため、表面と指との密着を低減できる。 Since the surface of these user interface devices and display devices is formed with fine irregularities or a large number of ultrafine fibers are implanted, adhesion between the surface and the finger can be reduced.
本実施の形態のユーザインタフェイス装置およびディスプレイ装置によれば次の効果が得られる。第一に、指紋等の汚れが表面に付着しにくくなるため、良好な視認性を確保でき、ユーザに与える不快感を低減できる。第二に、ユーザは表面にふれることにより心地よい触感を得ることができる。さらに、ユーザインタフェイス装置においては、心地よい触感を伴ったスムーズで正確な入力を行うことができる。 According to the user interface device and the display device of the present embodiment, the following effects can be obtained. First, since dirt such as fingerprints is less likely to adhere to the surface, good visibility can be secured, and discomfort given to the user can be reduced. Second, the user can obtain a pleasant tactile sensation by touching the surface. Furthermore, in the user interface device, smooth and accurate input with a pleasant tactile sensation can be performed.
図１７は、本実施の形態にかかるユーザインタフェイス装置２００の断面の模式図である。透明入力装置２１５の一方の面に表示ユニット２１０が、他方の面に凹凸層２１６が配されている。凹凸層２１６は、透明バインダー２１８により固定された透明粒子２１７を含み、表面に微細な凹凸形状を有している。透明入力装置２１５は、内側にそれぞれ透明導電性薄膜２１３ａ、２１３ｂが設けられた２枚の透明板２１２ａ、２１２ｂが対向配置されてなっている。２枚の透明板２１２ａ、２１２ｂは、図示しない箇所で絶縁スペーサを介して固定される。２枚の透明導電性薄膜２１３ａ、２１３ｂの間には微小間隙２１４が確保され、非接触状態が保たれている。なお、透明導電性薄膜２１３ａ、２１３ｂは、例えばスパッタリング法により設けたＩＴＯ薄膜とすることができる。
FIG. 17 is a schematic cross-sectional view of the
ユーザは、表示ユニット２１０の映像を透視しつつ、凹凸層２１６の表面を指で触れることによりユーザインタフェイス装置２００を操作する。ユーザーが凹凸層２１６を介して凹凸層２１６側の透明板２１２ｂの所定の箇所を押圧すると、特定箇所において２枚の透明導電性薄膜２１３ａ、２１３ｂが接触して導通し、信号が発生する。操作の際、凹凸層２１６の凹凸形状により、指と表面との密着が抑えられる。そのため、指紋等が付着しにくくなるなど、前述の目的を達する。
The user operates the
これらの効果を安定的に生じさせるために、透明粒子２１７の平均粒径は１〜５００μｍとすることが好ましい。また、より良好な触感を出すためには、平均粒径を５〜５０μｍとすることが好ましい。これにより、凹凸層２１６の表面にスウェード調の触感を出すことができ、操作の際に心地良い触感を伴うユニークな装置が実現する。
In order to produce these effects stably, the average particle diameter of the
透明粒子２１７としては樹脂製ビーズを用いることができる。ビーズの材質としては、ウレタン系樹脂、アクリル系樹脂、シリコーン系樹脂、メラミン系樹脂などが挙げられる。例えばウレタンビーズであるＵＢ２００（十条ケミカル社製）などを利用してもよい。これら樹脂製ビーズを選択することにより、凹凸層２１６の表面に良好な触感を生じさせることができる。
Resin beads can be used as the
凹凸層２１６は次の方法により形成することができる。ポリエステルウレタン系樹脂などの透明バインダー２１８を溶剤、例えば、トルエン：酢酸エチル：メチルエチルケトン＝２：１：１（重量比）中に溶解させ、この溶液に透明粒子２１７を分散させて塗布液を調製する。このとき、透明粒子２１７、透明バインダー２１８および溶剤の配合比は、例えば１５：２０：６５（重量比）とする。透明板２１２ｂとしてＰＥＴなど樹脂製のものを用いる場合は、例えばロールコート法、ナイフコート法、ダイコート法などの公知の方法により、上記の塗布液を直接透明板２１２ｂに塗布し乾燥して凹凸層２１６とする。塗布液の塗布量は、１５〜５０ｇ／ｍ２とすることが好ましい。これにより十分な凹凸を表面に有する凹凸層２１６を実現することができる。
The
凹凸層２１６側の透明板２１２ｂとしてガラス製のものを用いる場合や、透明板２１２ｂが既に透明入力装置２１５の一部として組み込まれている場合など、透明板２１２ｂに塗布液を直接塗布することが困難な場合は、次の方法を用いることができる。図１８のごとく、耐溶剤性を有するポリプロピレン製などの樹脂シート２１９の一方の面に、上記方法により凹凸層２１６を形成した後、他方の面と凹凸層２１６側の透明板２１２ｂとを接着層２２０を介して固定する。接着層２２０としては、例えばポリウレタン系接着剤などの透明な接着剤を用いる。
When the
図１７の表示ユニット２１０の種類は特に限定されず、例えばブラウン管ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機エレクトロルミネッセンスディスプレイ、レーザーによるディスプレイ、ＬＥＤによるディスプレイなど様々な表示装置を用いることができる。透明入力装置２１５として、２枚の透明板２１２ａ、２１２ｂの内側に、それぞれ透明導電性薄膜２１３ａ、２１３ｂを備えたものを例示したが、これに限定されるわけではなく、他のタイプの入力装置を用いてもよい。例えば、上記論文、「SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces」中に開示されているセンサーを入力装置として用いてもよい。このセンサーは、格子状に配置されたウレタン被覆銅線などからなる送受信用電極と信号処理回路から構成されている。このセンサーに手指を近づけると、帯電している静電気によって手指の位置を二次元的に検知できる。この情報を入力信号として利用することで、このセンサーを入力装置として利用できる。
The type of the
また、本実施の形態においては、透明な粒子として樹脂製の粒子を用いた例について説明したが、これに限られず、例えばガラス製の粒子などを使用することもできる。なお、図１７において、透明入力装置２１５を省き、凹凸層２１６を表示ユニット２１０上に直接設けることもできる。この場合、指紋等汚れが付着しにくいディスプレイ装置が実現する。
Moreover, in this Embodiment, although the example using the resin-made particle | grains as a transparent particle was demonstrated, it is not restricted to this, For example, glass-made particles etc. can also be used. In FIG. 17, the
表示ユニット２１０から放射される光が、できるだけ凹凸層２１６を透過ようにするために、透明粒子２１７は、低屈折率な素材により構成されるのが好ましく、透明バインダー２１８は、高屈折率な素材により構成されるのが好ましい。たとえば、透明粒子２１７は、屈折率が１．４３程度の光学用低屈折率ガラス（人工蛍石）などの素材により構成されてもよく、透明バインダー２１８は、屈折率が１．６３程度の光硬化樹脂などの素材により構成されてもよい。表面を凹凸処理するだけの場合は、凸部と凹部の混在により、多方向への光の散乱が発生して、映像がぼけるなどの弊害が起こる可能性があるが、本実施の形態のように、同程度の粒径の透明粒子２１７を散在させて凹凸層２１６を構成する場合、同様のレンズが敷き詰められた構造となるため、適切な屈折率に設定すれば散乱は起こりにくく、触感の良さと明瞭な表示を両立することができる。
In order for light emitted from the
本実施の形態の変形例として、透明粒子２１７を透明バインダー２１８により固定するのではなく、図１９に示すように、メッシュ状の保持部２３０により透明粒子２１７を回動自在に保持してもよい。これにより、ユーザがユーザインタフェイス装置２００の表面に手指で触れる際のすべりが良くなり、ドラッグ操作などをスムーズに行うことができる。
As a modification of the present embodiment, instead of fixing the
（第５の実施の形態）
本実施の形態のユーザインタフェイス装置は、上記透明な極細繊維として光ファイバーを用いることを特徴としている。
(Fifth embodiment)
The user interface device of the present embodiment is characterized in that an optical fiber is used as the transparent ultrafine fiber.
図２０は、本実施の形態にかかるユーザインタフェイス装置３００の断面の模式図である。透明入力装置３３５の一方の面に表示ユニット３３０が、他方の面に光ファイバー層３３６が配されている。光ファイバー３３７は接着層３３８に対して垂直に植え込まれ、光ファイバー層３３６の表面には、多数の光ファイバー３３７が立毛している。接着層３３８の上には、後述の理由により遮光層３３９が設けられている。透明入力装置３３５は、内側にそれぞれ透明導電性薄膜３３３ａ、３３３ｂが設けられた２枚の透明板３３２ａ、３３２ｂが対向配置されてなっている。２枚の透明板３３２ａ、３３２ｂは、図示しない箇所で絶縁スペーサを介して固定されている。２枚の透明導電性薄膜３３３ａ、３３３ｂの間には微小間隙３３４が確保され、非接触状態が保たれている。
FIG. 20 is a schematic diagram of a cross section of the
光ファイバー３３７は、表示ユニット３３０より照射された光を図中上方へ透過することにより表示画素として機能する。したがってユーザは、表示ユニット３３０の映像と同様の映像を光ファイバー層３３６の表面に見ることができる。ユーザは、映像を見ながら光ファイバー層３３６の表面を指で触れることにより操作を行う。ユーザーが光ファイバー層３３６を介して透明板３３２ｂの所定の箇所を押圧すると、特定箇所において、２枚の透明導電性薄膜３３３ａ、３３３ｂが接触して導通し、信号が発生する。操作の際、表面には多数の光ファイバー３３７が植毛されていることから、表面と指との間に過度な密着は生じない。したがって、指紋等が付着しにくくなるなど、前述の目的を達する。
The
これらの効果を安定的に得るためには、光ファイバー３３７の直径は１００〜１０００μｍとすることが好ましい。また、光ファイバー層３３６に良質な画像を表示させるという観点からは、１００〜５００μｍとすることが好ましい。こうした光ファイバーとして、エスカ（登録商標）ＣＫ−１０（三菱レイヨン社製）などを使用することができる。光ファイバー３３７の長さは特に制限されないが、例えば０．５〜５ｍｍとすることができる。
In order to stably obtain these effects, the diameter of the
光ファイバー層３３６において高解像度の映像を得るためには、光ファイバー３３７を十分に密集させて植毛する必要がある。これを実現する一法として、静電植毛機、例えば、ＣＰ−４０（栄進空調社製）を用いる。まず、酢酸ビニル樹脂エマルジョン接着剤などを透明板３３２ｂ上にコーティングして接着層３３８を形成する。接着層３３８が硬化する前に、光ファイバー３３７を静電植毛機により植毛する。この方法は、静電気を利用して接着層３３８の面全体に光ファイバー３３７を垂直に植え込む手法である。形成された光ファイバー層３３６の表面は、絨毯に触れたときのような心地よい触感をもたらす。
In order to obtain a high-resolution image in the
なお、図２０のように接着層３３８の上にさらに遮光層３３９を設けてもよい。これにより光ファイバー３３７間の隙間から漏れ出す光を遮断し、より鮮明な映像が得られる。遮光層３３９は、例えば遮光性塗料などを接着層３３８上に吹き付けて乾燥させることにより設けることができる。ただし、光ファイバー３３７の先端部にも遮光性塗料が付着するため、乾燥後に先端部を切り取る必要がある。
Note that a
光ファイバー層３３６は、必ずしも光ファイバー層３３６側の透明板３３２ｂ上に直接設ける必要はない。図２１に示されるように、例えばポリプロピレン製などの樹脂シート３４０の一方の面に光ファイバー層３３６を設けた後、他方の面と光ファイバー層３３６側の透明板３３２ｂとを接着層３４１を介して固定してもよい。
The
本実施の形態においては、透明な極細繊維として光ファイバーを用いたが、例えばＰＥＴなどのポリエステル系繊維を使用してもよい。また、例えば特開平２−６６４８号公報において教示されている方法などにより、極細繊維の先端を先割れ加工することにより触感を向上させることもできる。図２０中の表示ユニット３３０および透明入力装置３３５の種類は、第一の実施の形態と同様、特に限定されず、様々な装置を用いることができる。なお、図２０において、透明入力装置３３５を省き、光ファイバー層３３６を表示ユニット３３０上に直接設けることもできる。この場合、指紋等汚れが付着しにくいディスプレイ装置が実現する。
In the present embodiment, an optical fiber is used as the transparent ultrafine fiber. However, for example, a polyester fiber such as PET may be used. In addition, for example, the tactile sensation can be improved by subjecting the tip of the ultrafine fiber to a tip cracking process by the method taught in JP-A-2-6648. The types of the
本実施の形態の変形例として、光ファイバー層３３６に代えて、テレビ石（ウレックサイト）や、光ファイバーを用いた人工テレビ石などを設けてもよい。テレビ石や人工テレビ石を設けることにより、表示ユニット３３０の表面ではなく、テレビ石または人工テレビ石の表面に映像を浮き出して表示することができる。これを利用して、たとえば、立体的なボタンを画面に配置するなど、特殊な効果を得ることができる。テレビ石や人工テレビ石は、光ファイバー層３３６と異なり、表面が堅いので、ボタンなどとして設けるのに適している。
As a modification of the present embodiment, a television stone (Urecsite), an artificial television stone using an optical fiber, or the like may be provided instead of the
（第６の実施の形態）
本実施の形態のディスプレイ装置は、上記透明な極細繊維として光ファイバーを用い、その先端が、柔軟性を有するシート状部材に貫通した状態で固着されていることを特徴としている。
(Sixth embodiment)
The display device of the present embodiment is characterized in that an optical fiber is used as the transparent ultrafine fiber, and the tip is fixed in a state of penetrating through a flexible sheet-like member.
図２２および図２３は、それぞれ本実施の形態にかかるディスプレイ装置４００の斜視図および断面図である。表示ユニット４５０の上に接着層４５１を介して光ファイバー４５２の一端が固定されている。光ファイバー４５２の他端である光ファイバー先端部４５４は、柔軟性を有するシート状部材４５３を貫通している。光ファイバー４５２とシート状部材４５３とは、この状態で固定されている。
22 and 23 are a perspective view and a cross-sectional view, respectively, of the
光ファイバー４５２は、表示ユニット４５０より照射された光を図中上方へ透過することにより表示画素として機能する。したがってユーザは、表示ユニット４５０の映像と同様の映像をシート状部材４５３上に見ることができる。また、シート状部材４５３を変形させることにより、様々な形状の表示画面を有するディスプレイ装置を実現できる。例えば、図２４のようにシート状部材４５３を曲げて配置することにより、半球形の表示画面とすることができる。さらに、例えば図２５のように、半球形の形状を有する物の表面を覆うようにしてシート状部材４５３を配設することもできる。また、ぬいぐるみやクッションなどに適用すれば、手触りのよい、弾力性に富む立体的なディスプレイ装置を得ることができる。
The
図２２および図２３において、シート状部材４５３上には多数の光ファイバー先端部４５４が突出しているため、指などで触れても密着しない。したがって、指紋等が付着しにくくなるなど、前述の目的を達する。
22 and 23, since a large number of optical
表示ユニット４５０、接着層４５１、光ファイバー４５２としては、第５の実施の形態におけるものと同様のものを用いることができる。光ファイバー４５２の長さについては、特に制限されず、用途に応じて適宜選択できる。シート状部材４５３としては、例えばポリエチレンなどの樹脂フィルム、布などの柔軟性を有する材料を用いることができる。これらの材料には、像のコントラストを向上させるために、例えば塗料を塗布するなど遮光処理をすることが好ましい。
As the
光ファイバー４５２が比較的長い場合、第５の実施の形態で示した静電植毛を利用することは困難である。このような場合は、接着層４５１が硬化する前に、専用の治具などを用いて１本ずつ固着する。光ファイバー４５２の他端については、シート状部材４５３に貫通させ、光ファイバー先端部４５４が、例えば０．５〜５ｍｍ突出した状態とする。この状態で、光ファイバー４５２およびシート状部材４５３を接着剤等で固定する。もちろん、これらディスプレイ装置に前述のような入力機能を付加してユーザインタフェイス装置とすることもできる。
When the
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to each component and combination of each processing process, and such modifications are within the scope of the present invention.
１ 表示システム、 ３０ 表示装置、 ３２ 位置センサ、 ３３ 装置情報保持部、 ３４ 表示画面、 ３６ スピーカ、 ３７ 通知部、 ３８ 表示部、 ３９ 音声出力部、 ４０ ネットワーク、 １００ 表示制御装置、 １１０ センサ位置情報取得部、 １１２ 装置情報取得部、 １２０ 画面位置情報算出部、 １３０ 視点位置情報算出部、 １６０ 映像生成部、 １７０ 音声生成部、 １８０ 参加・退出処理部、 １９０ 特性情報決定部、 ２１０，３３０，４５０ 表示ユニット、 ２１２ａ，２１２ｂ，３３２ａ，３３２ｂ 透明板、 ２１３ａ，２１３ｂ，３３３ａ，３３３ｂ 透明導電性薄膜、 ２１４，３３４ 微小間隙、 ２１５，３３５ 透明入力装置、 ２１６ 凹凸層、 ２１７ 透明粒子、 ２１８ 透明バインダー、 ２１９ 樹脂シート、 ２２０，３３８，３４１，４５１ 接着層、 ３３６，４５２ 光ファイバー層、 ３３７ 光ファイバー、 ３３９ 遮光層、 ３４０ 樹脂シート、 ４５３ シート状部材、 ４５４ 光ファイバー先端部、 ２００，３００ ユーザインタフェイス装置、 ４００ ディスプレイ装置。
DESCRIPTION OF SYMBOLS 1 Display system, 30 Display apparatus, 32 Position sensor, 33 Apparatus information holding part, 34 Display screen, 36 Speaker, 37 Notification part, 38 Display part, 39 Audio | voice output part, 40 Network, 100 Display control apparatus, 110 Sensor position information Acquisition unit, 112 device information acquisition unit, 120 screen position information calculation unit, 130 viewpoint position information calculation unit, 160 video generation unit, 170 audio generation unit, 180 participation / exit processing unit, 190 characteristic information determination unit, 210, 330, 450 display unit, 212a, 212b, 332a, 332b transparent plate, 213a, 213b, 333a, 333b transparent conductive thin film, 214, 334 micro gap, 215, 335 transparent input device, 216 uneven layer, 217 transparent particle, 218
Claims (5)
前記入力装置の前面に、透明な粒子を固着せしめることにより微細な凹凸形状を表面に形成した透明な層を貼設したことを特徴とするユーザインタフェイス装置。 A display unit, and an input device that is provided on the front surface of the display unit and that allows a user to input by touching the surface while seeing through the display unit;
A user interface device, characterized in that a transparent layer having fine irregularities formed on the surface thereof is pasted on the front surface of the input device by fixing transparent particles.
前記入力装置の前面に、多数の透明な極細繊維が植毛されてなる層を貼設したことを特徴とするユーザインタフェイス装置。 A display unit, and an input device that is provided on the front surface of the display unit and that allows a user to input by touching the surface while seeing through the display unit;
A user interface device comprising a front surface of the input device and a layer in which a large number of transparent ultrafine fibers are implanted.
前記表示装置は、
当該表示装置の表示又は音声出力に関する特性情報を前記表示制御装置に通知する通知部を含み、
前記表示制御装置は、
前記通知部から前記特性情報を取得する特性情報取得部と、
前記複数の表示装置の表示又は音声出力の特性を統一すべく、前記特性情報取得部が取得した各表示装置の特性情報に基づいて、前記複数の表示装置の表示又は音声出力の特性を決定し、各表示装置に通知する特性情報決定部と、を含み、
前記複数の表示装置は、それぞれ前記特性情報決定部から通知された特性に設定を変更することを特徴とする表示システム。
A plurality of display devices, and at least one display control device,
The display device
Including a notification unit for notifying the display control device of characteristic information related to display or audio output of the display device;
The display control device includes:
A characteristic information acquisition unit for acquiring the characteristic information from the notification unit;
In order to unify the display or audio output characteristics of the plurality of display devices, the display or audio output characteristics of the plurality of display devices are determined based on the characteristic information of each display device acquired by the characteristic information acquisition unit. And a characteristic information determination unit for notifying each display device,
Each of the plurality of display devices changes a setting to a characteristic notified from the characteristic information determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006104658A JP2006294032A (en) | 2002-09-05 | 2006-04-05 | Display system, display control device, display apparatus, display method, and user interface device |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002259967 | 2002-09-05 | ||
| JP2002263413 | 2002-09-09 | ||
| JP2003299392 | 2003-08-22 | ||
| JP2006104658A JP2006294032A (en) | 2002-09-05 | 2006-04-05 | Display system, display control device, display apparatus, display method, and user interface device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003310780A Division JP3880561B2 (en) | 2002-09-05 | 2003-09-02 | Display system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006294032A true JP2006294032A (en) | 2006-10-26 |
Family
ID=37414473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006104658A Pending JP2006294032A (en) | 2002-09-05 | 2006-04-05 | Display system, display control device, display apparatus, display method, and user interface device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006294032A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2031479A2 (en) | 2007-08-30 | 2009-03-04 | Sony Corporation | Information presentation system, information presentation apparatus, information presentation method, program, and recording medium on which such program is recorded |
| JP2010147529A (en) * | 2008-12-16 | 2010-07-01 | Sony Corp | Information processing system and information processing method |
| JP2012068709A (en) * | 2010-09-21 | 2012-04-05 | Kddi Corp | Multiscreen system and display method |
| JP5659303B1 (en) * | 2013-05-22 | 2015-01-28 | 株式会社東芝 | DEVICE CONTROL METHOD, DEVICE CONTROL DEVICE, PROGRAM, AND ELECTRONIC DEVICE |
| JP2015507263A (en) * | 2011-12-19 | 2015-03-05 | マイクロソフト コーポレーション | Sensor fusion interface for multiple sensor inputs |
| JP2016095614A (en) * | 2014-11-13 | 2016-05-26 | ソフトバンク株式会社 | Display control device and program |
| JP2017004545A (en) * | 2016-08-03 | 2017-01-05 | 株式会社コロプラ | Screen operation system, program and method in conjunction with head-mounted display and controller |
| JP2017059196A (en) * | 2015-12-22 | 2017-03-23 | 株式会社コロプラ | Virtual reality space video display method and program |
| JP2019016111A (en) * | 2017-07-05 | 2019-01-31 | 株式会社デンソーテン | Input device and touch panel display |
| JP2020058724A (en) * | 2018-10-12 | 2020-04-16 | トヨタ自動車株式会社 | Entertainment system and program |
-
2006
- 2006-04-05 JP JP2006104658A patent/JP2006294032A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2031479A2 (en) | 2007-08-30 | 2009-03-04 | Sony Corporation | Information presentation system, information presentation apparatus, information presentation method, program, and recording medium on which such program is recorded |
| US8218856B2 (en) | 2007-08-30 | 2012-07-10 | Sony Corporation | Information presentation system, information presentation apparatus, information presentation method, program, and recording medium on which such program is recorded |
| JP2010147529A (en) * | 2008-12-16 | 2010-07-01 | Sony Corp | Information processing system and information processing method |
| US8644531B2 (en) | 2008-12-16 | 2014-02-04 | Sony Corporation | Information processing system and information processing method |
| JP2012068709A (en) * | 2010-09-21 | 2012-04-05 | Kddi Corp | Multiscreen system and display method |
| JP2015507263A (en) * | 2011-12-19 | 2015-03-05 | マイクロソフト コーポレーション | Sensor fusion interface for multiple sensor inputs |
| JP2017215970A (en) * | 2011-12-19 | 2017-12-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Sensor fusion interface for multiple sensor inputs |
| US10409836B2 (en) | 2011-12-19 | 2019-09-10 | Microsoft Technology Licensing, Llc | Sensor fusion interface for multiple sensor input |
| JP5659303B1 (en) * | 2013-05-22 | 2015-01-28 | 株式会社東芝 | DEVICE CONTROL METHOD, DEVICE CONTROL DEVICE, PROGRAM, AND ELECTRONIC DEVICE |
| JP2016095614A (en) * | 2014-11-13 | 2016-05-26 | ソフトバンク株式会社 | Display control device and program |
| JP2017059196A (en) * | 2015-12-22 | 2017-03-23 | 株式会社コロプラ | Virtual reality space video display method and program |
| JP2017004545A (en) * | 2016-08-03 | 2017-01-05 | 株式会社コロプラ | Screen operation system, program and method in conjunction with head-mounted display and controller |
| JP2019016111A (en) * | 2017-07-05 | 2019-01-31 | 株式会社デンソーテン | Input device and touch panel display |
| JP2020058724A (en) * | 2018-10-12 | 2020-04-16 | トヨタ自動車株式会社 | Entertainment system and program |
| JP7124624B2 (en) | 2018-10-12 | 2022-08-24 | トヨタ自動車株式会社 | entertainment systems and programs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3880561B2 (en) | Display system | |
| JP2006294032A (en) | Display system, display control device, display apparatus, display method, and user interface device | |
| EP3396511B1 (en) | Information processing device and operation reception method | |
| US10356398B2 (en) | Method for capturing virtual space and electronic device using the same | |
| JP7344974B2 (en) | Multi-virtual character control method, device, and computer program | |
| WO2019153750A1 (en) | Method, apparatus and device for view switching of virtual environment, and storage medium | |
| CN108710525B (en) | Map display method, device, equipment and storage medium in virtual scene | |
| CN109529319B (en) | Display method and device of interface control and storage medium | |
| CN109729411B (en) | Live broadcast interaction method and device | |
| CN109803154B (en) | Live broadcast method, equipment and storage medium for chess game | |
| JP7191210B2 (en) | Virtual environment observation method, device and storage medium | |
| CN111921197B (en) | Method, device, terminal and storage medium for displaying game playback picture | |
| CN109917910B (en) | Method, device and equipment for displaying linear skills and storage medium | |
| US11675488B2 (en) | Method and apparatus for constructing building in virtual environment, device, and storage medium | |
| CN112245912B (en) | Sound prompting method, device, equipment and storage medium in virtual scene | |
| CN111541928B (en) | Live broadcast display method, device, equipment and storage medium | |
| CN109474786A (en) | A kind of preview image generation method and terminal | |
| JP2022531599A (en) | Viewpoint rotation methods, devices, terminals and computer programs | |
| US20220291791A1 (en) | Method and apparatus for determining selected target, device, and storage medium | |
| CN117085322A (en) | Interactive observation method, device, equipment and medium based on virtual scene | |
| WO2022237076A1 (en) | Method and apparatus for controlling avatar, and device and computer-readable storage medium | |
| WO2023207174A1 (en) | Display method and apparatus, display device, head-mounted device, and storage medium | |
| CN113194329B (en) | Live interaction method, device, terminal and storage medium | |
| CN116962737A (en) | Live broadcast processing method, live broadcast processing device, computer equipment and computer readable storage medium | |
| CN116233513A (en) | Virtual gift special effect playing processing method, device and equipment in virtual reality live broadcasting room |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080703 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081125 |