JP2006293878A - Image display system, image display method, and image display program - Google Patents
Image display system, image display method, and image display program Download PDFInfo
- Publication number
- JP2006293878A JP2006293878A JP2005116447A JP2005116447A JP2006293878A JP 2006293878 A JP2006293878 A JP 2006293878A JP 2005116447 A JP2005116447 A JP 2005116447A JP 2005116447 A JP2005116447 A JP 2005116447A JP 2006293878 A JP2006293878 A JP 2006293878A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fingertip
- detection
- tip
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Lenses (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像表示システムおよび画像表示方法、ならびに画像表示プログラムに関し、特に、タッチパネルと3次元表示装置を組み合わせてなる画像表示システムに適用して有効な技術に関するものである。 The present invention relates to an image display system, an image display method, and an image display program, and more particularly, to a technique effective when applied to an image display system in which a touch panel and a three-dimensional display device are combined.
従来、表示装置に表示された画像(オブジェクト)の選択などの操作情報を入力する入力手段(マンマシン・インタフェース)として、タッチパネルと呼ばれる平面スイッチがある。前記タッチパネルと前記表示装置を組み合わせた画像表示システムでは、前記表示装置の画像表示面上に前記タッチパネルを重ねて配置している。そして、ユーザが指先あるいはスタイラス等の入力ペンで前記タッチパネルに触れると、前記指先あるいは前記入力ペンのペン先が触れた位置と対応する画像表示面上のオブジェクトを選択することができる。 Conventionally, there is a flat switch called a touch panel as input means (man machine interface) for inputting operation information such as selection of an image (object) displayed on a display device. In an image display system in which the touch panel and the display device are combined, the touch panel is arranged on the image display surface of the display device. When the user touches the touch panel with an input pen such as a fingertip or a stylus, an object on the image display surface corresponding to the position touched by the fingertip or the pen tip of the input pen can be selected.
このような画像表示システムは、たとえば、前記画像表示面上に表示されたオブジェクトに直接触れながら操作している感覚が得られる。そのため、前記画像表示システムは、たとえば、キーボード、マウス、機械式ボタン等を用いた操作に比べ、現実の世界に近い直感的な操作ができるシステムとして、さまざまな用途に適用されている。 Such an image display system can provide a feeling of operation while directly touching an object displayed on the image display surface, for example. Therefore, the image display system is applied to various uses as a system capable of intuitive operation close to the real world as compared with, for example, operation using a keyboard, mouse, mechanical buttons, and the like.
また、前記画像表示システムにおいて、さらに現実の世界に近い操作感を得るための方法として、たとえば、前記表示装置として3次元表示装置(立体表示装置)を用いたシステムが提案されている(たとえば、特許文献1を参照。)。 Further, in the image display system, as a method for obtaining an operation feeling closer to the real world, for example, a system using a three-dimensional display device (stereoscopic display device) as the display device has been proposed (for example, (See Patent Document 1).
前記3次元表示装置を用いた前記画像表示システムでは、たとえば、ボタン等のオブジェクトを立体的に表示したり、複数のオブジェクトをユーザからの距離が異なる奥行き位置に表示したりすることができる。つまり、前記3次元表示装置を用いれば、たとえば、同じ奥行き位置に表示されている複数個のオブジェクトの1つを選択したときに、選択したオブジェクトだけ奥行き位置を変えて表示するといったことが可能である。そのため、前記3次元表示装置を用いることで、現実の世界(3次元空間)により近い状態で画像(オブジェクト)を表示することができ、より直感的な操作感を得られる。 In the image display system using the three-dimensional display device, for example, an object such as a button can be displayed three-dimensionally, or a plurality of objects can be displayed at depth positions with different distances from the user. That is, by using the 3D display device, for example, when one of a plurality of objects displayed at the same depth position is selected, it is possible to display only the selected object while changing the depth position. is there. Therefore, by using the 3D display device, an image (object) can be displayed in a state closer to the real world (3D space), and a more intuitive operational feeling can be obtained.
前記3次元表示装置としては、たとえば、固定焦点レンズおよび屈折率可変物質を用いた立体表示装置(たとえば、特許文献2を参照。)や、DFDと呼ばれる3次元表示装置(たとえば、特許文献3を参照。)が知られている。 Examples of the three-dimensional display device include a stereoscopic display device using a fixed focus lens and a refractive index variable substance (see, for example, Patent Document 2), and a three-dimensional display device called DFD (for example, Patent Document 3). See.) Is known.
前記特許文献2に記載された立体表示装置は、表示手段に表示される2次元像を立体的に表示させる装置であり、第1の周波数の電圧を印加したときの誘電率の差が正の値となり、第2の周波数の電圧を印加したときの前記誘電率の差が負の値となる異なる2つ以上の誘電率を有する屈折率可変物質の層、所定の焦点距離を有する固定焦点レンズ、および、前記固定焦点レンズと前記屈折率可変物質とからなる層を挟持する少なくとも一対の透明電極からなり、前記表示手段に表示される前記2次元像の結像位置を移動させる結像位置移動手段と、前記表示手段に表示される2次元像の更新周期と前記結像位置移動手段の結像位置の移動周期とを同期させる同期手段と、前記同期手段に基づいて、異なる前記第1の周波数と前記第2の周波数とからなる駆動出力で前記結像位置移動手段を駆動する駆動手段とを具備する立体表示装置である。つまり、前記特許文献1に記載された立体表示装置は、前記屈折率可変物質の屈折率の変化を前記2次元像の切り替え周期と同期させることで、前記固定焦点レンズと前記屈折率可変物質とからなる層の焦点距離を変化させ、観察者から観て奥行き位置が異なる複数枚の浮遊画像を表示し、立体的な像を表示(提示)する装置である。そのため、前記立体的な像を表示するためには、画像の表示切り替え速度(応答速度)が高速な表示手段が必要であるとともに、前記屈折率可変物質の誘電率を画像の切り替えに同期させて変化させるための前記各手段が必要である。
The stereoscopic display device described in
また、前記特許文献1に記載された立体表示装置において、高速な表示素子を高解像度化することは、単に製造が困難であるだけでなく、駆動時にデバイスに供給すべき情報量が膨大となってしまい、現実的ではない。そのため、たとえば、文字情報のような精細度が要求される表示を行うタッチパネルを具備した表示装置への適用が困難であるという問題があった。
Further, in the stereoscopic display device described in
また、前記特許文献2などに記載された前記DFDは、観察者から見て異なった奥行き位置にある複数の表示面に対して、表示対象物体を前記観察者の視線方向から射影した二次元像を生成し、前記生成された二次元像を前記観察者から見て異なった奥行き位置にある複数の表示面にそれぞれ表示し、当該表示される二次元像の輝度を前記各表示面毎にそれぞれ独立に変化させて三次元立体像を生成する装置である。このような前記DFDは、前記観察者から見て手前の表示面(表示手段)に表示された画像の輝度と、前記観察者から見て奥の表示面に表示された画像の輝度の比率を変えることで、前記各表示面の間の、各画像の輝度の比率に応じた位置に前記画像が表示されているようにみせる表示装置である。つまり、前記DFDでは、生成される三次元立体像は、二次元像を表示する表示面の間に限られている。そのため、前記DFDと前記タッチパネルとを組み合わせた従来の画像表示システムの場合、前記DFDによって表示される画像(オブジェクト)は、ユーザから見て最前面の表示面(タッチパネル)よりも奥のみに表示される。このような画像表示システムにおいて、たとえば、同じ奥行き位置に表示されている複数個のオブジェクト(ボタン)の1つを選択したときに、選択したオブジェクトを押下したような表示をすると、選択されたオブジェクトがユーザから見て奥に向かう方向に移動する。そのため、ユーザからみると、触れている位置と、選択したオブジェクトの間の隔たりに違和感を覚え、オブジェクトの挙動が不自然に感じることがある。
本発明が解決しようとする問題点は、前記背景技術で説明したように、たとえば、前記特許文献1または特許文献3に記載されたような立体表示装置(3次元表示装置)と前記タッチパネルとを組み合わせた画像表示システムの場合、前記タッチパネルは、前記表示装置で表示される各表示面のうち、ユーザから見て最前面の表示面とほぼ同じ奥行き位置に存在するので、表示された画像(オブジェクト)に触れたときの挙動を不自然に感じやすいという点である。
The problem to be solved by the present invention is that, as described in the background art, for example, a stereoscopic display device (three-dimensional display device) as described in
また、他の問題点として、前記特許文献2に記載されたような立体表示装置と前記タッチパネルとを組み合わせた画像表示システムの場合、構成が複雑であり、システムが大型化するという点がある。また、このような画像システムの場合、前記立体的な像を表示するためには、画像の表示切り替え速度(応答速度)が高速な表示手段が必要であるとともに、前記屈折率可変物質の誘電率を画像の切り替えに同期させて変化させる必要があり、適用範囲が限られるという問題点もある。
As another problem, in the case of an image display system in which the stereoscopic display device and the touch panel described in
本発明の目的は、タッチパネルと3次元表示装置を組み合わせた画像表示システムにおいて、表示されている画像(オブジェクト)の挙動の違和感を低減し、操作性を向上させることが可能な技術を提供することにある。 An object of the present invention is to provide a technique capable of reducing discomfort in the behavior of a displayed image (object) and improving operability in an image display system combining a touch panel and a three-dimensional display device. It is in.
本発明の他の目的は、前記3次元表示装置の構成を簡素化し、装置を小型化することが可能な技術を提供することにある。 Another object of the present invention is to provide a technique capable of simplifying the configuration of the three-dimensional display device and reducing the size of the device.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面によって明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明の概略を説明すれば、以下の通りである。 The outline of the invention disclosed in the present application will be described as follows.
(1) 物体の3次元立体画像を表示可能な3次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段と、前記検出手段で検出された前記指先または前記操作手段の先端の位置に応じて前記3次元表示装置で表示される物体の表示画像の切り替え制御を行う制御手段とを備える画像表示システムであって、前記検出手段は、観察者から見て前記3次元表示装置よりも手前であり、かつ前記3次元表示装置と重なる領域(以下、検出領域という)内の前記指先または前記操作手段の先端の位置を検出する手段であり、前記3次元表示装置は、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む空間(以下、画像提示空間という)上に、複数個のオブジェクトが立体的に配置された3次元立体画像を表示する表示装置である。 (1) a three-dimensional display device capable of displaying a three-dimensional stereoscopic image of an object, a detection means for detecting the position of the tip of a fingertip or a rod-like operation means, and the fingertip or the operation means detected by the detection means An image display system including control means for performing switching control of a display image of an object displayed on the three-dimensional display device in accordance with a position of a tip, wherein the detection means is the three-dimensional display as viewed from an observer. A means for detecting the position of the fingertip or the tip of the operating means in a region that is in front of the device and overlaps the three-dimensional display device (hereinafter referred to as a detection region), and the three-dimensional display device A three-dimensional space in which a plurality of objects are arranged three-dimensionally in a space including a space in front of the detection area and a space behind the detection means (hereinafter referred to as an image presentation space). A display unit for displaying the image.
(2) 前記手段(1)の画像表示システムにおいて、前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記指先または前記操作手段の先端の位置と対応するオブジェクトを除く他のオブジェクトを前記観察者から見て手前に移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は、前記観察者から見て手前に移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、前記画像データ生成手段で生成した前記画像データを映像信号として前記3次元表示装置に送信する映像信号送信手段とを備える。 (2) In the image display system of the means (1), the control means includes a detection signal receiving means for receiving a detection signal from the detection means, and a detection signal received by the detection signal receiving means from the fingertip or When the tip of the operation means is detected, generate image data obtained by moving the other object except the object corresponding to the position of the tip of the fingertip or the operation means to the front when viewed from the observer, When the fingertip or the tip of the operating means is no longer detected, the image data generating means for generating image data in which the object moved forward as viewed from the observer is returned to the position before the movement, and the image data generating Video signal transmitting means for transmitting the image data generated by the means to the three-dimensional display device as a video signal.
(3) 前記手段(1)の画像表示システムにおいて、前記3次元表示装置、前記検出手段、前記制御手段に加え、前記指先または前記操作手段で前記検出手段を奥行き方向に押し込んだときに前記検出手段の押し込み量に応じた反発力を前記検出手段に与える反発手段を備え、前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、前記検出手段の押し込み量を示す押込量信号を受信する押込量信号受信手段と、前記押し込み量に応じた反発力を算出し反発制御信号として前記反発手段に送信する反発制御信号送信手段と、前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記検出手段の押し込み量に基づいて、前記指先または前記操作手段の先端の位置と対応するオブジェクトを前記検出手段との相対的な位置関係が変わらないように移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は前記移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、前記画像データ生成手段で生成した前記画像データを映像信号として前記3次元表示装置に送信する映像信号送信手段とを備える。 (3) In the image display system of the means (1), in addition to the three-dimensional display device, the detection means, and the control means, the detection is performed when the detection means is pushed in the depth direction by the fingertip or the operation means. Repulsion means for applying a repulsive force according to the pushing amount of the means to the detection means, the control means is a detection signal receiving means for receiving a detection signal from the detection means, and a push indicating the push amount of the detection means A push amount signal receiving means for receiving a quantity signal, a repulsion control signal transmitting means for calculating a repulsive force according to the push amount and sending it to the repulsion means as a repulsion control signal, and a detection signal received by the detection signal receiving means When the tip of the fingertip or the operating means is detected, the position of the tip of the fingertip or the operating means is determined based on the pushing amount of the detecting means. Image data is generated by moving the corresponding object so that the relative positional relationship with the detection means does not change, and when the tip of the fingertip or the operation means is no longer detected, the moved object is moved. Image data generating means for generating image data returned to the previous position, and video signal transmitting means for transmitting the image data generated by the image data generating means to the three-dimensional display device as a video signal.
(4) 前記手段(2)または手段(3)の画像表示システムにおいて、前記検出手段は、前記指先または前記操作手段の先端が触れることで前記指先または前記操作手段の先端の位置を検出する第1検出手段と、観察者から見て前記第1検出手段よりも手前にある検出空間内に前記指先または前記操作手段の先端が入ることで前記指先または前記操作手段の先端の位置を検出する第2検出手段とを備え、前記制御手段は、前記各手段に加えて、前記第2検出手段のみで前記指先または前記操作手段の先端の位置を検出した場合は、前記検出した位置と対応するオブジェクトが前記画像提示空間内のあらかじめ定められた奥行き位置にくるように前記各オブジェクトを奥行き方向に並進移動させた画像データを生成し、前記前記第2検出手段で前記指先または前記操作手段の先端の位置が検出されなくなった場合は、前記並進移動させた前記各オブジェクトをもとの奥行き位置に戻した画像データを生成する手段を備える。 (4) In the image display system of the means (2) or the means (3), the detection means detects the position of the fingertip or the tip of the operation means by touching the fingertip or the tip of the operation means. A first detecting means and a position of the tip of the fingertip or the operating means for detecting the position of the fingertip or the operating means when the tip of the operating means enters the detection space in front of the first detecting means as viewed from the observer; Two detection means, and the control means, in addition to the above means, when the position of the fingertip or the tip of the operation means is detected only by the second detection means, the object corresponding to the detected position Generating image data obtained by translating the respective objects in the depth direction so that the second detection means moves to a predetermined depth position in the image presentation space. If the position of the tip of the finger or the operating means is not detected comprises means for generating image data that returned said each object is translated to the original depth position.
(5) 前記手段(1)または手段(2)において、前記検出手段は、前記検出領域を撮影する複数個のカメラからなり、前記制御手段は、前記複数個のカメラの画像に基づいて、前記指先または前記操作手段の位置を求める手段を備える。 (5) In the means (1) or the means (2), the detection means includes a plurality of cameras for photographing the detection area, and the control means is configured based on the images of the plurality of cameras. Means for obtaining a position of a fingertip or the operation means.
(6) 前記手段(1)から手段(5)のいずれかの画像表示システムにおいて、前記3次元表示装置は、観察者から見て前記検出手段より奥の任意の空間に前記3次元立体画像を表示する表示手段と、前記表示手段で表示された前記3次元立体画像を前記画像提示空間内に等倍率で結像させる等倍結像光学系からなり、前記等倍結像光学系は、n枚(nは2以上の整数)の焦点距離が同一のレンズが等間隔で配置されており、前記各レンズの間隔dは、各レンズの焦点距離をf、k枚のレンズを通過した光の結像の倍率をMkとしたときに下記数式(1)乃至数式(4)で表される漸化式において、Mk=n=1または−1を満たし、かつ、L0に依存しない値とする光学系であることを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像表示システム。
(7) 前記手段(1)から手段(5)のいずれかの画像表示システムにおいて、前記3次元表示装置は、観察者から見て前記検出手段より奥の任意の空間に前記3次元立体画像を表示する表示手段と、前記表示手段で表示された前記3次元立体画像を前記画像提示空間に等倍率で結像させる等倍結像光学系からなり、前記等倍結像光学系は、n+1枚(nは1以上の整数)の焦点距離がf1のレンズとn枚の焦点距離がf2のレンズが交互に配置され、かつ、前記焦点距離がf1のレンズが等間隔で配置されており、前記焦点距離f1のレンズの間隔dは、k枚のレンズを通過した光の結像の倍率をMkとしたときに下記数式(5)乃至数式(8)で表される漸化式において、Mk=2n+1=1または−1を満たし、かつ、L0に依存しない値とする光学系である。
(8) 物体の3次元立体画像を表示可能な3次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段とを備え、前記検出手段が前記3次元表示装置上に重なっている画像表示システムを用いて、前記検出手段で検出された指先または棒状の操作手段の先端の位置に応じて前記3次元表示装置で表示される物体の表示画像の切り替え制御を行う画像表示方法であって、前記3次元表示装置により、観察者から見て前記検出手段で前記指先または前記操作手段の先端を検出する領域(検出領域)より手前の空間および前記検出領域より奥の空間を含む空間上に複数個のオブジェクトの画像を3次元的に表示しておくステップ1と、前記検出手段により前記指先または棒状の操作手段を検出し、かつ、前記指先または棒状の操作手段の先端の位置に対応する位置にオブジェクトが表示されている場合は、前記対応するオブジェクト以外のオブジェクトを観察者から見て手前の方向に移動させて表示するステップ2と、前記ステップ2の状態で、前記検出手段で前記指先または棒状の操作手段が検出されなくなった場合に、前記観察者から見て手前の方向に移動させて表示しているオブジェクトを移動前の位置に戻して表示するステップ3とを有する。
(8) A three-dimensional display device capable of displaying a three-dimensional stereoscopic image of an object and a detection means for detecting the position of the tip of a fingertip or a rod-like operation means, wherein the detection means overlaps the three-dimensional display device. Display method for controlling switching of the display image of the object displayed on the three-dimensional display device according to the position of the tip of the fingertip or the rod-like operation means detected by the detection means, using the image display system The three-dimensional display device includes a space in front of an area (detection area) where the detection means detects the tip of the fingertip or the operation means as viewed from the observer, and a space behind the detection area.
(9) 物体の3次元立体画像を表示可能な3次元表示装置と、指先または棒状の操作手段の先端の位置を検出する検出手段とを備え、前記検出手段が前記3次元表示装置上に重なっている画像表示システムを用いて、前記検出手段で検出された前記指先または前記操作手段の先端の位置に応じて前記3次元表示装置で表示される物体の表示画像の切り替え制御を行う画像表示方法であって、前記3次元表示装置により、観察者から見て前記検出手段より手前の空間および前記検出領域より奥の空間を含む空間上に複数個のオブジェクトの画像を3次元的に表示しておくステップ1と、前記指先または前記操作手段により、前記検出手段が観察者から見て奥行き方向に押し込まれ、かつ、前記指先または前記操作手段の先端の位置に対応する位置にオブジェクトが表示されている場合は、前記検出手段の押し込み量に合わせて、前記対応するオブジェクトのみを前記検出手段との相対的な位置関係を保ったまま奥行き方向に移動させ、他のオブジェクトは移動させずに表示するステップ4とを有する。
(9) A three-dimensional display device capable of displaying a three-dimensional stereoscopic image of an object, and a detection means for detecting the position of the tip of a fingertip or a rod-like operation means, wherein the detection means overlaps with the three-dimensional display device. Display method for controlling switching of a display image of an object displayed on the three-dimensional display device in accordance with the position of the fingertip detected by the detection means or the tip of the operation means using the image display system The three-dimensional display device three-dimensionally displays an image of a plurality of objects on a space including a space in front of the detection means and a space behind the detection area when viewed from the observer. The detecting means is pushed in the depth direction as viewed from the observer by the fingertip or the operating means, and corresponds to the position of the fingertip or the tip of the operating means. If an object is displayed on the screen, only the corresponding object is moved in the depth direction while maintaining the relative positional relationship with the detection means in accordance with the amount of pushing of the detection means, and other objects Has
(10) 前記手段(8)または手段(9)の画像表示方法において、前記各ステップに加えて、観察者から見て前記検出手段または前記検出領域より手前のあらかじめ定められた検出空間内の前記指先または前記操作手段の先端の存在の有無を検出するステップ5と、前記検出空間内で指先または棒状の操作手段の先端を検出し、かつ、前記指先または前記操作手段の先端の位置に対応する位置にオブジェクトが表示されている場合は、前記各オブジェクトの相対的な位置関係を保ったまま、前記対応するオブジェクトがあらかじめ定められた奥行き位置にくるように移動させて表示するステップ6と、前記ステップ6の状態で、前記検出空間内で指先または前記操作手段の先端が検出されなくなった場合に、前記各オブジェクトを移動前の位置に戻して表示するステップ7とを有する。
(10) In the image display method of the means (8) or the means (9), in addition to the steps, the detection means or the detection area in a predetermined detection space before the detection area as viewed from the
本発明の画像表示システムは、前記手段(1)のように、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む空間(画像提示空間)上に前記3次元立体画像を表示することで、たとえば、前記指先または操作手段で前記検出手段に触れたときに、前記検出手段よりも手前にも画像(オブジェクト)を表示させることが可能となる。そのため、従来の、観察者から見て前記検出領域よりも奥にのみ画像(オブジェクト)が表示されているような画像表示システムに比べ、より現実の世界での操作感が得られ、表示されている画像(オブジェクト)の挙動の違和感を低減し、操作性を向上させることができる。 As in the means (1), the image display system of the present invention has the three-dimensional structure on a space (image presentation space) including a space before the detection area and a space behind the detection means as viewed from the observer. By displaying the stereoscopic image, for example, when the detection unit is touched with the fingertip or the operation unit, the image (object) can be displayed in front of the detection unit. Therefore, compared to the conventional image display system in which an image (object) is displayed only behind the detection area as viewed from the observer, a more operational feeling in the real world is obtained and displayed. It is possible to reduce a sense of incongruity in the behavior of the image (object) that is present and improve operability.
前記手段(1)の画像表示システムにおいて、前記制御手段には、たとえば、前記手段(2)のような各手段を設ける。このようにすると、たとえば、前記手段(8)の画像表示方法のように、前記検出手段で前記指先または操作手段の先端を検出したときに、前記指先または操作手段の先端が指し示しているオブジェクト以外のオブジェクトを、前記観察者から見て手前の方向に移動させることができる。このとき、たとえば、前記オブジェクトとして複数個のボタンが前記検出手段上に表示されていれば、前記指先または操作手段の先端が指し示しているオブジェクト(ボタン)以外のオブジェクトが手前に移動するので、観察者(操作者)は、前記指し示したオブジェクト(ボタン)を押下したような視覚効果が得られ、現実の世界でのボタンを押下する操作に近い操作感が得られる。 In the image display system of the means (1), each means such as the means (2) is provided in the control means. In this way, for example, as in the image display method of the means (8), when the detection means detects the tip of the fingertip or the operation means, the object other than the object pointed to by the fingertip or the operation means This object can be moved in the direction toward the front as viewed from the observer. At this time, for example, if a plurality of buttons are displayed on the detection means as the object, an object other than the object (button) pointed to by the fingertip or the tip of the operation means moves forward, The operator (operator) can obtain a visual effect as if the object (button) pointed to is pressed, and can obtain an operation feeling close to the operation of pressing the button in the real world.
また、前記手段(1)の画像表示システムでは、たとえば、前記手段(3)のように、前記反発手段を設けてもよい。このようにすると、たとえば、前記手段(9)の画像表示方法のように、前記指先または操作手段の先端を押し下げたときに、前記指先または操作手段の先端が指し示しているオブジェクトのみを、前記観察者から見て奥の方向に移動させることができる。このとき、たとえば、前記オブジェクトとして複数個のボタンが前記検出手段上に表示されていれば、前記指先または操作手段の先端が指し示しているオブジェクト(ボタン)のみが奥に移動するので、観察者(操作者)は、前記指し示したオブジェクト(ボタン)を押下したような視覚効果が得られる。またこのとき、前記検出手段を観察者から見た奥行き方向に押し込むと、前記検出手段には、前記反発手段から前記押し込み量に応じた反発力が加わる。そのため、前記観察者(操作者)は、前記反発手段から前記検出手段に加わる反発力を指先または操作手段を通して実感することができる。そのため、現実の世界でのボタンを押下する操作に近い操作感が得られる。 In the image display system of the means (1), for example, the repulsion means may be provided as in the means (3). Thus, for example, as in the image display method of the means (9), when the fingertip or the tip of the operation means is pushed down, only the object pointed to by the fingertip or the tip of the operation means is observed in the observation. It can be moved in the back direction when viewed from the person. At this time, for example, if a plurality of buttons are displayed on the detection means as the object, only the object (button) pointed to by the fingertip or the tip of the operation means moves to the back, so that the observer ( The visual effect as if the operator) pressed the indicated object (button) is obtained. At this time, when the detection means is pushed in the depth direction as viewed from the observer, a repulsive force corresponding to the pushing amount is applied to the detection means from the repulsion means. Therefore, the observer (operator) can feel the repulsive force applied from the repulsion means to the detection means through the fingertip or the operation means. Therefore, it is possible to obtain an operation feeling close to the operation of pressing a button in the real world.
また、前記手段(2)または手段(3)の画像表示システムにおいて、前記検出手段は、前記手段(4)のように、前記第1検出手段と前記第2検出手段の2つの検出手段を備えていてもよい。このとき、前記第1検出手段で前記指先または操作手段の先端の位置を検出したときには、前記手段(2)または手段(3)の画像データ生成手段で画像を生成する。そして、前記第2検出手段で前記指先または操作手段の先端の位置を検出したときには、前記手段(10)の画像表示方法のように、前記第2検出手段で検出した指先または操作手段の先端の位置と対応するオブジェクトが前記画像提示空間内のあらかじめ定められた奥行き位置にくるように前記各オブジェクトの相対的な位置関係を保ったまま奥行き方向に並進移動させる。このようにすることで、前記指先または操作手段の先端で指し示しているオブジェクトを認識しやすくなり、操作性がさらに向上する。 Further, in the image display system of the means (2) or the means (3), the detection means includes two detection means, the first detection means and the second detection means, like the means (4). It may be. At this time, when the position of the tip of the fingertip or the operating means is detected by the first detecting means, an image is generated by the image data generating means of the means (2) or means (3). Then, when the position of the tip of the fingertip or the operation means is detected by the second detection means, as in the image display method of the means (10), the fingertip or the tip of the operation means detected by the second detection means. The object corresponding to the position is translated in the depth direction while maintaining the relative positional relationship of the respective objects so that the object corresponding to the position comes to a predetermined depth position in the image presentation space. By doing so, it becomes easier to recognize the object pointed by the fingertip or the tip of the operation means, and the operability is further improved.
また、前記手段(1)または手段(2)の画像表示システムにおいて、前記検出手段は、たとえば、タッチパネルのように前記指先または操作手段で触れることによりその位置を検出するような手段であることが好ましいが、これに限らず、たとえば、前記手段(5)のように、複数台のカメラであってもよい。前記検出手段が複数台のカメラからなる場合、各カメラにより、視差を有する前記画像提示空間の周辺の画像を撮影し、たとえば、前記制御手段において、三角測量の原理を用いて前記指先または操作手段の位置を求めればよい。 Further, in the image display system of the means (1) or means (2), the detection means may be means for detecting the position by touching with the fingertip or the operation means, for example, as a touch panel. Although it is preferable, the present invention is not limited to this. For example, a plurality of cameras may be used as in the means (5). When the detection means is composed of a plurality of cameras, each camera captures an image around the image presentation space having parallax. For example, in the control means, the fingertip or the operation means using the principle of triangulation Find the position of.
また、前記手段(1)から手段(5)の画像表示システムにおいて、前記3次元表示装置は、前記画像提示空間上に前記3次元立体画像(オブジェクト)を表示できる装置であれば、どのような表示装置であってもよいが、さまざまな用途への適用を考えた場合、簡素な構成であることが好ましい。 In the image display system of the means (1) to the means (5), the 3D display device is any device as long as it can display the 3D stereoscopic image (object) on the image presentation space. Although it may be a display device, it is preferable to have a simple configuration when considering application to various uses.
前記3次元表示装置としては、たとえば、前記手段(6)のような、焦点距離が同一のレンズを複数枚積層した等倍結像光学系を備える表示装置を用いることが好ましい。前記等倍結像光学系は、前記L0、すなわち前記等倍結像光学系から表示画像(オブジェクト)までの距離によらず、どの距離にあっても等倍率で結像させることができる。そのため、前記3次元表示装置で立体的に表示されているオブジェクトを前記検出手段より手前の空間および前記検出手段より奥の空間を含む空間(画像提示空間)上に容易に表示させることができる。 As the three-dimensional display device, for example, it is preferable to use a display device including an equal-magnification imaging optical system in which a plurality of lenses having the same focal length are stacked as in the means (6). The equal-magnification imaging optical system can form an image at equal magnification regardless of the distance, regardless of the distance L 0 , that is, the distance from the equal-magnification imaging optical system to the display image (object). Therefore, an object displayed in a three-dimensional manner on the three-dimensional display device can be easily displayed on a space (image presentation space) including a space in front of the detection means and a space behind the detection means.
また、前記手段(6)のような簡素な構成の等倍結像光学系を用いることで、たとえば、前記特許文献2に記載された立体表示装置に比べ、表示装置の構成を簡素化することができ、小型化することができる。
In addition, by using a simple-magnification imaging optical system having a simple configuration such as the means (6), for example, the configuration of the display device can be simplified as compared with the stereoscopic display device described in
なお、前記手段(6)の等倍結像光学系は、n枚のレンズを積層した光学系であるが、これに限らず、前記手段(6)の等倍光学系と光学的に等価な構成であれば、同様の効果が得られる。そのため、たとえば、前記レンズの代わりに焦点距離が同一の曲面鏡を用いることもできる。また、たとえば、平面鏡やハーフミラー、あるいは偏光ビームスプリッタ等を用いて、1枚のレンズに前記光学系に入射した光を複数回通過させることで、n枚未満のレンズでn枚のレンズを積層した光学系と等価な構成にすることもできる。 The equal-magnification imaging optical system of the means (6) is an optical system in which n lenses are laminated, but is not limited thereto, and is optically equivalent to the equal-magnification optical system of the means (6). If it is a structure, the same effect is acquired. Therefore, for example, a curved mirror having the same focal length can be used instead of the lens. In addition, for example, by using a plane mirror, a half mirror, or a polarization beam splitter, the light incident on the optical system is passed through one lens a plurality of times, thereby stacking n lenses with less than n lenses. A configuration equivalent to the optical system described above can also be used.
また、前記等倍結像光学系として、複数枚のレンズを積層させた光学系を用いる場合、たとえば、前記手段(7)のような、n+1枚の焦点距離がf1のレンズとn枚の焦点距離がf2のレンズを交互に積層した光学系であってもよい。このようにすると、焦点距離がf1のレンズをm枚積層するときの間隔が、前記手段(6)の光学系において焦点距離がf1のレンズのみをm枚積層したときの間隔に比べて狭くすることができ、表示装置をさらに小型化することができる。 Further, when an optical system in which a plurality of lenses are stacked is used as the equal magnification imaging optical system, for example, as in the means (7), n + 1 focal length f 1 lenses and n number of lenses are used. An optical system in which lenses with focal lengths f 2 are alternately stacked may be used. In this way, the interval when the focal length is laminated m sheets of lens f 1, a focal length in the optical system of the means (6) is compared to the interval when only the lens f 1 and m laminated The display device can be made smaller and the display device can be further downsized.
また、前記等倍結像光学系としては、前記手段(6)または手段(7)のように複数枚のレンズを積層した光学系に限らず、たとえば、1つまたは2つ以上の凹面鏡を組み合わせた光学系であってもよい。またさらに、棒状レンズを2次元アレイ状に配列した棒状レンズアレイでなる光学系であってもよい。 The equal-magnification imaging optical system is not limited to an optical system in which a plurality of lenses are stacked as in the means (6) or the means (7), but, for example, one or two or more concave mirrors are combined. It may be an optical system. Furthermore, an optical system composed of a rod-shaped lens array in which rod-shaped lenses are arranged in a two-dimensional array may be used.
また、前記3次元表示装置として、たとえば、前記手段(6)または手段(7)のような等倍結像光学系を備える表示装置を用いた場合、前記表示手段が表示する3次元立体画像が前記検出手段(検出領域)よりも奥にあっても、前記等倍結像光学系を通すことで、前記3次元立体画像を前記画像提示空間上に結像させることができる。そのため、物体(オブジェクト)の3次元立体画像を表示する表示手段は、3次元立体画像を表示できる手段であれば、どのような手段であってもよく、たとえば、一般的な液晶ディスプレイやプラズマディスプレイなどの2次元像を表示する2次元表示手段でもよいし、たとえば、DFDや体積走査型表示装置のように3次元立体像を表示することが可能な3次元表示手段であってもよい。 Further, when a display device including a unit magnification imaging optical system such as the means (6) or the means (7) is used as the three-dimensional display device, a three-dimensional stereoscopic image displayed by the display means is displayed. Even if it is located behind the detection means (detection region), the three-dimensional stereoscopic image can be formed on the image presentation space by passing through the equal-magnification imaging optical system. Therefore, the display means for displaying a 3D stereoscopic image of an object (object) may be any means as long as it can display a 3D stereoscopic image. For example, a general liquid crystal display or a plasma display may be used. For example, it may be a two-dimensional display unit that displays a two-dimensional image, or a three-dimensional display unit that can display a three-dimensional stereoscopic image, such as a DFD or a volume scanning display device.
以下、本発明について、図面を参照して実施の形態(実施例)とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
Hereinafter, the present invention will be described in detail together with embodiments (examples) with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same function are given the same reference numerals and their repeated explanation is omitted.
図1は、本発明の画像表示システムの原理を示す模式図である。
図1において、1は3次元表示装置、2は検出手段(タッチパネル)、3は制御手段、4は観察者、5A,5B,5Cはオブジェクト、6は画像提示空間である。
FIG. 1 is a schematic diagram showing the principle of the image display system of the present invention.
In FIG. 1, 1 is a three-dimensional display device, 2 is a detection means (touch panel), 3 is a control means, 4 is an observer, 5A, 5B and 5C are objects, and 6 is an image presentation space.
本発明の画像表示システムは、図1に示すように、物体の3次元立体画像を表示可能な3次元表示装置1と、指先またはスタイラスなどの入力ペン(操作手段)のペン先の有無や位置を検出する検出手段2と、前記検出手段2からの検出信号に応じて前記3次元表示装置1で表示する3次元立体画像の切り替え制御を行う制御手段3とにより構成される。
As shown in FIG. 1, the image display system of the present invention includes a
このとき、前記検出手段2は、たとえば、タッチパネルのように、前記指先または前記入力ペンで触れることにより、接触点の座標を検出する手段であるとする。また、前記検出手段2は、観察者4から見て裏側にあたる位置に表示されている画像(オブジェクト5A,5B)を前記観察者4が見ることができるようになっているとする。また、前記操作手段は、スタイラスなどのようなペン状のものに限らず、接触点の座標を検出できる形状であればよく、一般に、棒状のものであればどのような形状でもよい。
At this time, the
またこのとき、前記3次元表示装置1が表示可能な3次元立体画像は、1つの物体(オブジェクト)を3次元的(立体的)に表示した画像に限らず、たとえば、図1に示したように、複数個の物体(オブジェクト5A,5B,5C)を3次元的に配置した画像も含まれるとする。つまり、前記3次元表示装置1は、ある3次元空間内の任意の位置に2次元像または3次元像を表示できる装置であるとする。また、前記3次元立体画像は、図1に示したように、前記観察者4から見て前記検出手段2より手前の空間および前記検出手段2より奥の空間を含む空間(画像提示空間)6内に表示される。言い換えると、前記検出手段2は、前記画像提示空間6内を通るように配置されている。
At this time, the three-dimensional stereoscopic image that can be displayed by the three-
このように、前記検出手段2が前記画像提示空間6内を通るように配置しておけば、たとえば、図1に示したオブジェクト5Cのように、前記観察者4から見て前記検出手段2よりも手前に画像(オブジェクト)を表示させることができる。そのため、たとえば、複数個のボタンの中の1つを選択して押下するときのように、選択したボタンとそれ以外のボタンの奥行き方向の表示位置が変わる場合に、選択したボタンが前記検出手段2上に表示された状態を保ったまま表示を切り替えることができ、現実の世界での操作に近い感覚で、直感的な操作をすることができる。
Thus, if the detection means 2 is arranged so as to pass through the image presentation space 6, for example, the
なお、前記3次元表示装置1は、図1に示したように、前記3次元表示装置1の外部空間(画像提示空間6)に前記3次元立体画像(オブジェクト)を表示できる装置であれば、どのような構成の表示装置であってもよい。しかしながら、さまざまな用途への適用を考えた場合、前記3次元表示装置1は、簡素な構成であることが好ましい。そこで、前記3次元表示装置1の好ましい構成の一例について簡単に説明する。
As shown in FIG. 1, the
図2乃至図6は、本発明の画像表示システムで用いる3次元表示装置の一例を説明するための模式図であり、図2は一構成例を示す図、図3はレンズの間隔の求め方を説明する図、図4および図5はDFDの原理を説明する図、図6はDFDと等倍結像光学系を組み合わせる場合の一具体例を示す図である。
図2において、1Aは等倍結像光学系、1Bは表示面、1B’は表示面の画像の浮遊像、101n(h=1,2,3,n)は焦点距離がfのレンズである。
2 to 6 are schematic views for explaining an example of the three-dimensional display device used in the image display system of the present invention. FIG. 2 is a diagram showing an example of the configuration, and FIG. 3 is a method for obtaining the lens interval. FIG. 4 and FIG. 5 are diagrams for explaining the principle of DFD, and FIG. 6 is a diagram showing a specific example in the case of combining DFD and equal magnification imaging optical system.
In FIG. 2, 1A is an equal magnification imaging optical system, 1B is a display surface, 1B ′ is a floating image of an image on the display surface, and 101 n (h = 1, 2, 3, n) is a lens with a focal length f. is there.
本発明の画像表示システムの3次元表示装置1には、たとえば、DFDと呼ばれる表示手段(3次元表示装置)と以下で説明する複数枚のレンズからなる等倍結像光学系とを組み合わせてなる表示装置を用いることができる。
The three-
前記複数枚のレンズからなる等倍結像光学系1Aは、たとえば、図2に示すように、n枚の焦点距離が同一のレンズ101h(h=1,2,3,…,n)を間隔d1で等間隔に配置(積層)した光学系である。 The same-magnification imaging optical system 1A composed of a plurality of lenses includes, for example, as shown in FIG. 2, n lenses 101 h (h = 1, 2, 3,..., N) having the same focal length. This is an optical system arranged (laminated) at equal intervals with an interval d1.
このような、焦点距離が同一のn枚のレンズ101hが等間隔で配置されている等倍結像光学系1Aを用いて、たとえば、図2において前記等倍結像光学系の左側にある表示面1Bに表示された画像を前記等倍結像光学系1Aの右側に結像させる場合、焦点距離をf、レンズの間隔をdとすると、k枚目のレンズ101kまでによる結像の倍率Mkは、下記数式(1)から(4)のような漸化式で表される。
前記等倍結像光学系1Aにより等倍率の正立像を結像させる場合は、前記数式(1)から数式(4)を用いてMk=n=1を満たすdを求めることで、前記レンズ101hの間隔d1が求まる。また、等倍率の倒立像を結像させる場合は、前記数式(1)から数式(4)を用いてMk=n=−1を満たすdを求めることで、前記レンズ101hの間隔d1が求まる。このようにして求めたdを用い、前記n枚のレンズ101hを間隔d1=dで配置すると、前記表示面1Bに表示された画像が、図1に示したように、前記等倍結像光学系1Aの右側に等倍率でする。つまり、前記等倍結像光学系1Aを用いることで、前記表示面1Bに表示された画像を、前記表示面1Bとは異なる空間に浮遊像1B’として表示することができる。
When an erect image of equal magnification is formed by the equal magnification imaging optical system 1A, the lens is obtained by obtaining d satisfying M k = n = 1 using the equations (1) to (4). An interval d1 of 101 h is obtained. Further, when forming an inverted image of equal magnification, the distance d1 of the
ここで、前記レンズ101hの間隔d1の求め方の一例として、図3に示すように、焦点距離がfのレンズ1011,1012を2枚重ねた場合を挙げ、前記漸化式の解き方を簡単に説明する。
Here, as an example of how to obtain the distance d1 of the
前記2枚の焦点距離fのレンズ1011,1012は、図3に示すように、間隔dk-1=d1で配置されているとする。このとき、1枚目のレンズ1011から物体(表示面1B)までの距離を−L0とし、1枚目のレンズ1011から1枚目のレンズ1011による結像1Cの倍率をM1、結像1Cまでの距離をL1とし、2枚目のレンズ1012までによる結像1B’の倍率をM2、結像1B’までの距離をL2とする。このとき、前記L2は前記数式(3)および数式(4)から下記数式(9)で表され、前記M2は前記数式(1)および数式(9)から下記数式(10)で表される。
また、前記数式(9)および数式(10)において、前記L1は前記数式(3)および数式(4)から下記数式(11)で表され、前記M1は前記数式(1)および数式(11)から下記数式(12)で表される。
そして、前記数式(11)で表されるL1および前記数式(12)で表されるM1を前記数式(10)に代入すると、M2は下記数式(13)で表される。
こうして得られた前記数式(13)を、M2=1としてdについて解くと、dは、下記数式(14)のようになる。
しかしながら、この場合、前記数式(14)に示したように、dは1枚目のレンズ1011から表示面1Bまでの距離−L0に依存する。そのため、たとえば、前記表示面1Bが1枚の平面からなり、前記表示面1Bに表示された1つの2次元像をそのまま浮遊させる場合などは、前記1枚目のレンズ1011から表示面までの距離−L0に基づく間隔dでレンズを積層することで、前記表示面1Bに表示された2次元像を結像させることができる。しかしながら、前記表示面1Bが、たとえば、DFDのように複数枚の積層された表示面である場合、前記L0は、前記各表示面において異なるため、前記数式(14)に基づいてレンズの間隔d1=dを決定することができない。そのため、前記数式(14)で得られるdは、解としてはふさわしくない。
However, in this case, as shown in the equation (14), d depends on the distance −L 0 from the first lens 1011 to the
一方、前記数式(14)を、M2=−1としてdについて解くと、dは、下記数式(15)のようになる。
この場合、dは1枚目のレンズ1011から表示面1Bまでの距離−L0に依存しないので、2枚のレンズの間隔d1=2fとすれば、前記1枚目のレンズ1011から任意の距離−L0にある表示面1Bの画像を等倍率の倒立像として結像させることができる。
In this case, d does not depend on the distance −L 0 from the first lens 1011 to the
また、n=3以上、すなわち3枚以上のレンズを積層する場合は、同様の手順で前記漸化式を解いて1枚目のレンズから物体までの距離−L0に依存しないdが求まれば、その値の間隔でレンズを配置することで、等倍の正立像または倒立像を結像させることができる。このとき、詳細な計算手順は省略するが、前記漸化式を用いてn=2から8までの場合について、等倍の正立像を結像させる場合のレンズの間隔d1と等倍の倒立像を結像させる場合のレンズの間隔d1の値を求めると、下記表1のようになる。 When n = 3 or more, that is, when three or more lenses are stacked, the recurrence formula is solved by the same procedure to obtain d that does not depend on the distance −L 0 from the first lens to the object. For example, by arranging the lenses at intervals of the values, it is possible to form an equal-magnification erect image or an inverted image. At this time, although a detailed calculation procedure is omitted, in the case of n = 2 to 8 using the above recurrence formula, an inverted image that is the same as the lens interval d1 when an erect image of the same magnification is formed. When the value of the lens interval d1 in the case of forming an image is obtained, it is as shown in Table 1 below.
前記等倍結像光学系1Aは、前述のように、焦点距離が同一のn枚のレンズ101h(h=1,2,3,…,n)を、前記数式(1)から数式(4)で表される漸化式において、Mn=1または−1であり、かつ、前記オブジェクトと前記オブジェクトから最も近いレンズ1011との距離−L0に依存しない間隔d1で配置している。そのため、たとえば、複数個のオブジェクトを立体的に配置しており、各オブジェクトと前記オブジェクトから最も近いレンズレンズ1011との距離−L0が異なる場合でも、各オブジェクトを等倍率で結像させることができる。また、前記等倍結像光学系1Aは、複数枚の焦点距離が同一のレンズを等間隔で配置したものであるため、構成が簡素であり、小型化(薄型化)も容易である。
As described above, the equal-magnification imaging optical system 1A includes n lenses 101 h (h = 1, 2, 3,..., N) having the same focal length as expressed by the equations (1) to (4). In the recurrence formula represented by (), M n = 1 or −1, and the distance d1 is not dependent on the distance −L 0 between the object and the
一方、たとえば、前記複数個のオブジェクトを立体的に配置した3次元立体画像を表示する表示手段としては、たとえば、DFDのような表示手段(3次元表示装置)を用いることができる。 On the other hand, for example, display means (three-dimensional display device) such as DFD can be used as display means for displaying a three-dimensional stereoscopic image in which the plurality of objects are three-dimensionally arranged.
前記DFDは、たとえば、図4に示すように、2枚の表示面1B1,1B2が観察者の視点Pから見て奥行き方向に重なるように配置された表示手段であって、物体などの画像を表示するときには、表示対象物体を観察者の視点方向から射影した2次元像を生成し、各表示面1B1,1B2に表示する。このとき、前記観察者から見て手前の表示面1B1に表示された2次元像Obj1の輝度をγ1、奥の表示面1B2に表示された2次元像Obj2の輝度をγ2とすると、前記観察者の視点Pからは、各表示面1B1,1B2の間であって、かつ、前記手前の表示面1B1からの距離H1と奥の表示面1B2からの距離H2の比H1:H2がγ2:γ1となるような奥行き位置に前記物体の像Objが表示されているように見える。そのため、たとえば、各表示面に複数個のオブジェクトを表示するときには、各オブジェクトを表示する領域毎に手前の表示面に表示する2次元像の輝度と奥の表示面に表示する2次元像の輝度比率を制御することにより、前記複数個のオブジェクトを立体的に配置した3次元立体画像を表示することができる。
For example, as shown in FIG. 4, the DFD is a display means arranged such that two display surfaces 1B 1 and 1B 2 overlap in the depth direction when viewed from the viewpoint P of the observer. When displaying an image, a two-dimensional image obtained by projecting the display target object from the viewpoint direction of the observer is generated and displayed on each of the display surfaces 1B 1 and 1B 2 . At this time, the luminance of the two-dimensional image Obj 1 displayed on the
またこのとき、たとえば、図5に示すように、前記各表示面1B1,1B2に表示する1つのオブジェクトObj1,Obj2を小領域に区切り、前記小領域毎に手前の表示面1B1に表示する2次元像の輝度と奥の表示面1B2に表示する2次元像の輝度の比率を制御することにより、前記1つのオブジェクトObjを立体的に表示することができる。そのため、図4および図5に示したような原理を組み合わせることで、たとえば、図1に示したように、複数個の立体的なオブジェクト5A,5B,5Cを立体的に配置した画像を表示することができる。
At this time, for example, as shown in FIG. 5, one object Obj 1 , Obj 2 displayed on each of the display surfaces 1B 1 and 1B 2 is divided into small areas, and the
本発明の画像表示システムの3次元表示装置として、前記等倍結像光学系1Aと前記DFDを組み合わせた表示装置を用いる場合、たとえば、図6に示すように、前記観察者から見て手前の表示面1B1よりさらに手前に前記等倍結像光学系1Aを配置する。このとき、前記等倍結像光学系1Aは、たとえば、図6に示したように、焦点距離が同一の4枚のレンズ101h(h=1,2,3,4)を積層しておく。4枚のレンズを積層した場合、前記表1に示したように、正立像および倒立像のいずれの像も結像可能であるが、倒立像を結像させる場合のほうがレンズの間隔を狭くできる。そこで、前記等倍結像光学系1Aを、4枚のレンズ101hを積層して等倍率の倒立像を結像させる光学系とし、前記レンズ101hの焦点距離をfとすると、レンズの間隔は0.6fとなる。このとき、前記レンズの間隔は、前述のように、前記表示面と前記表示面に最も近いレンズ1011との距離−L0に依存しないようにしているので、図5に示したように、前記レンズ1011からの距離が異なる2枚の表示面1B1,1B2がある場合でも、各表示面1B1,1B2の等倍の倒立像1B1’,1B2’を結像させることができる。
In the case of using a display device in which the same-magnification imaging optical system 1A and the DFD are combined as the three-dimensional display device of the image display system of the present invention, for example, as shown in FIG. further arranging the like Baiyuizo optical system 1A in front of the
前記3次元表示装置1として、図6に示したような構成の表示装置を用いた例として、焦点距離fが77mmの4枚のレンズ101hを46mm間隔で配置した等倍結像光学系1Aを、2枚の表示面1B1,1B2を面間5mmで積層した前記表示手段(DFD)の手前(前面)の表示面1B1にほぼ密着させるように配置したところ、前記DFDから最も遠いレンズ(紙面右端のレンズ1014)から約20mmの位置に前面の表示面1B1の倒立像1B1’が結像し、約15mmの位置に後面の表示面1B2の倒立像1B2’が結像することを、本発明の発明者らは実験により確かめた。
As the three-
この3次元表示装置1を用いた場合、前記DFDの各表示面1B1,1B2に表示された画像と等倍率の倒立像1B1’,1B2’は前記DFDの外部空間に浮遊して表示されており、前記倒立像1B1’,1B2’を見ることで、前記DFDを直接見たときと同じ視覚効果が得られる。そのため、図6に示したように、前記2枚の表示面の倒立像1B1’,1B2’の間(画像提示空間)にタッチパネル(検出手段2)を配置すれば、観察者から見て前記タッチパネル2より手前にも物体(オブジェクト)を表示することができる。
When this three-
なお、図6に示した例では、2つの表示面1B1,1B2を利用して物体の3次元立体像を表示するDFDを用いている場合を挙げているが、3枚以上の表示面があってもよい。また、前記3次元立体像を表示する表示手段は、前記DFDに限らず、たとえば、体積走査型表示装置のような表示手段(3次元表示装置)であってもよい。
In the example shown in FIG. 6, a case where a DFD that displays a three-dimensional stereoscopic image of an object using two
また、積層するレンズの枚数は、図6に示したような4枚に限らず、たとえば、表1に示したように2枚以上であれば構わない。しかしながら、レンズの枚数が少ないと視野角が狭くなる。また、レンズの枚数が多いと視野角は広がるが、レンズの吸収損失や散乱などの原因により画像が劣化する。これらのことから、前記レンズの積層枚数は4枚から8枚程度とすることが好ましい。 Further, the number of lenses to be stacked is not limited to four as shown in FIG. 6, and may be two or more as shown in Table 1, for example. However, when the number of lenses is small, the viewing angle becomes narrow. In addition, when the number of lenses is large, the viewing angle is widened, but the image is deteriorated due to absorption loss or scattering of the lens. For these reasons, it is preferable that the number of laminated lenses is about 4 to 8.
また、レンズはバルクレンズ、フレネルレンズ、液晶レンズのような可変焦点レンズなどの種々のレンズを用いることが可能であるが、薄型化の観点からフレネルレンズを用いることが好ましい。 In addition, various lenses such as a variable focus lens such as a bulk lens, a Fresnel lens, and a liquid crystal lens can be used as the lens, but it is preferable to use a Fresnel lens from the viewpoint of reducing the thickness.
また、前記レンズの材料には、アクリル、ポリカーボネート、ガラスなどの種々の光学材料を用いることができるが、加工の容易さ、透明度の高さなどの観点からアクリルを用いることが好ましい。 In addition, various optical materials such as acrylic, polycarbonate, and glass can be used as the material of the lens, but it is preferable to use acrylic from the viewpoints of ease of processing and high transparency.
図7および図8は、3次元表示装置で用いる等倍結像光学系の応用例を説明するための模式図であり、図7は図6の等倍結像光学系と光学的に等価な光学系の第1の構成例を示す図、図8は図6の等倍結像光学系と光学的に等価な光学系の第2の構成例を示す図である。 7 and 8 are schematic diagrams for explaining an application example of the equal magnification imaging optical system used in the three-dimensional display device. FIG. 7 is optically equivalent to the equal magnification imaging optical system in FIG. FIG. 8 is a diagram illustrating a first configuration example of the optical system, and FIG. 8 is a diagram illustrating a second configuration example of an optical system that is optically equivalent to the equal-magnification imaging optical system in FIG.
図6に示した3次元表示装置では、前記等倍結像光学系として、たとえば、焦点距離が同一(f)の4枚のレンズ101h(h=1,2,3,4)を間隔d1=0.6fで等間隔に積層しているので、表示面1B1,1B2に表示された画像と等倍率の倒立像1B1’,1B2’を結像させることができる。これは、別の言い方をすれば、図6に示したような構成、配置でなくとも、前記表示手段1B側から前記光学系に入射した光が、間隔d1=0.6fで配置されたレンズ(結像素子)を4回通過した後、前記光学系から出射すれば、前記表示手段1Bに表示された画像と等倍率の倒立像1B’を結像させることができるということである。そこで、図6に示した光学系と光学的に等価であり、前記表示手段1Bに表示された画像と等倍率の倒立像1B’を結像させることができる光学系の構成例を以下に説明する。
In the three-dimensional display device shown in FIG. 6, as the equal magnification imaging optical system, for example, four lenses 101 h (h = 1, 2, 3, 4) having the same focal length (f) are separated by a distance d1. = 0.6f, the images are displayed on the display surfaces 1B 1 and 1B 2 , and
図6に示した等倍結像光学系と光学的に等価な光学系としては、たとえば、図7に示すように、焦点距離が同一の3枚のレンズ101h(h=1,2,4)と、平面鏡102と、ハーフミラー103からなる光学系が考えられる。このとき、表示手段1B側から入射した光が最初に通過する1枚目のレンズ1011と2回目に通過する2枚目のレンズ1012は間隔d1=0.6fで配置する。また、前記ハーフミラー103は、前記1枚目のレンズ1011と前記2枚目のレンズ1012の間に配置する。またこのとき、前記ハーフミラー103は、たとえば、前記1枚目のレンズ1011から2枚目のレンズ1012に向かう光は直進し、前記2枚目のレンズ1012から1枚目のレンズ1011に向かう光は直交する方向に進路が変わるように配置する。そして、前記ハーフミラー103で進路が変わった光の進行方向に3枚目のレンズ1014を配置する。このとき、前記2枚目のレンズ1012と3枚目のレンズ1014は、図7に一点鎖線で示した光軸上での間隔(光路)がd1になるように配置する。
As an optical system optically equivalent to the equal-magnification imaging optical system shown in FIG. 6, for example, as shown in FIG. 7, three lenses 101 h (h = 1, 2, 4) having the same focal length are used. ), A
また、前記平面鏡102は、前記2枚目のレンズ1012を通過した光が再び2枚目のレンズ1012を通過するように配置する。このとき、前記平面鏡102は前記2枚目のレンズ1012から距離d1/2(=0.3f)の位置に配置する。
Also, the
このような構成の光学系の場合、前記表示手段1B側から入射した光は、前記1枚目のレンズ1011、前記ハーフミラー103、前記2枚目のレンズ1012を通過した後、前記平面鏡102で反射され、再び2枚目のレンズ1012を通過する。そして、前記2枚目のレンズ1012を再度通過した光は、前記ハーフミラー103で進路が変更され、前記3枚目のレンズ1014を通過した後、前記光学系から出射される。
In the case of such an optical system, the light incident from the display means 1B side passes through the first
このとき、前記表示手段1B側から入射した光は、出射されるまでに合計4回、焦点距離がfのレンズを通過する。そのため、前記各レンズ101h(h=1,2,4)の間隔および前記2枚目のレンズ1012と前記平面鏡102の間隔を前述のようにすると、図6に示した光学系と光学的に等価になり、前記表示手段1Bに表示された画像と等倍率の倒立像1B’を結像させることができる。
At this time, the light incident from the display means 1B side passes through a lens having a focal length f four times in total before being emitted. Therefore, if the interval and the interval of the second sheet of
また、図7に示した光学系では、前記ハーフミラー103を用いて光の進路を変えたが、これに限らず、たとえば、偏光ビームスプリッタおよび1/4波長板ならびに偏光板を組み合わせて光の進路を変えることもできる。この場合、たとえば、前記ハーフミラー103の代わりに前記偏光ビームスプリッタを前記1枚目のレンズ1011と2枚目のレンズ1012の間に配置し、前記2枚目のレンズ1012と前記平面鏡102の間に前記1/4波長板を配置する。また、前記偏光板は、たとえば、前記1枚目のレンズ1011よりも光学的に手前の位置に、前記表示手段1B側から入射する光がp偏光になるように配置する。またこのとき、前記各レンズ101h(h=1,2,4)の間隔および前記2枚目のレンズ1012と前記平面鏡102の間隔は、図7に示した光学系の場合と同じとする。
In the optical system shown in FIG. 7, the light path is changed using the
また、図6に示した光学系は、4枚のレンズ101h(h=1,2,3,4)を積層しているが、前記レンズの代わりに、前記レンズと同等の結像効果が得られる曲面鏡、すなわち焦点距離がfの曲面鏡を用いることもできる。 In addition, the optical system shown in FIG. 6 has four lenses 101 h (h = 1, 2, 3, 4) stacked, but instead of the lens, an imaging effect equivalent to that of the lens is obtained. The obtained curved mirror, that is, a curved mirror having a focal length f can also be used.
前記曲面鏡を用いた光学系としては、たとえば、図8に示すように、3枚目のレンズ1013の代わりに焦点距離がfの曲面鏡104を配置した光学系が挙げられる。この場合、1枚目のレンズ1011と2枚目のレンズ1012の間隔、図8に一点鎖線で示した光軸上での前記2枚目のレンズ1012と前記曲面鏡104の距離および前記曲面鏡104と4枚目のレンズ1014の距離がそれぞれd1=0.6fとなるように配置すれば、図6に示した光学系と光学的に等価になり、前記表示手段1Bに表示された画像と等倍率の倒立像1B’を結像させることができる。
As an optical system using the curved mirror, for example, as shown in FIG. 8, an optical system in which a
なお、図8では、3枚目のレンズ1013の代わりに前記曲面鏡104を用いた例を示しているが、これに限らず、他のレンズの代わりに前記曲面鏡を用いてもよい。また、1枚のレンズだけでなく、複数枚のレンズ、あるいは全てのレンズの代わりに前記曲面鏡を用いてもよい。
8 shows an example in which the
また、図7および図8に示した光学系は、図6に示した光学系と光学的に等価な光学系の一例であり、これらの構成や配置に限らず、図6に示した光学系と光学的に等価であれば他の構成や配置であってもよい。また、図6乃至図8では、レンズが4枚の場合について説明したが、4枚以外の場合も、同様に、光学的に等価であればどのような構成や配置であってもよい。 The optical system shown in FIGS. 7 and 8 is an example of an optical system that is optically equivalent to the optical system shown in FIG. 6, and the optical system shown in FIG. Other configurations and arrangements may be used as long as they are optically equivalent. 6 to 8, the case where there are four lenses has been described. However, in the case where the number of lenses is not four, any configuration and arrangement may be used as long as they are optically equivalent.
またさらに、前記複数枚のレンズを積層した等倍結像光学系1Aを用いる場合、前述のように、焦点距離がfのレンズのみを等間隔で配置する代わりに、たとえば、n+1枚の焦点距離がf1のレンズと、n枚の焦点距離がf2のレンズを交互に積層し、かつ、前記焦点距離がf1のレンズを間隔d2で等間隔に配置した光学系であってもよい。 Furthermore, when using the 1 × imaging optical system 1A in which the plurality of lenses are laminated, as described above, for example, instead of arranging only the lenses having the focal length f at equal intervals, for example, n + 1 focal lengths. there a lens f 1, a focal length of the n sheets are alternately laminated lens f 2, and may be an optical system in which the focal distance is disposed at equal intervals of the lens f 1 at intervals d2.
このような等倍結像光学系1Aの場合、焦点距離がf1のレンズの間隔をdとすると、k枚目のレンズまでによる結像の倍率Mkは、下記数式(5)から(8)のような漸化式で表される。
前記等倍結像光学系により等倍率の正立像1Bを結像させる場合、前記数式(5)から数式(8)を用いてMk=2n+1=1を満たすdを求めることで、前記焦点距離がf1のレンズ101hの間隔d2が求まる。また、等倍率の倒立像1Cを結像させる場合は、前記数式(5)から数式(8)を用いてMk=2n+1=−1を満たすdを求めることで、前記焦点距離f1のレンズの間隔d2が求まる。
When an
このような、焦点距離がf1とf2の2種類のレンズを交互に積層した等倍結像光学系2にすると、焦点距離がf1のレンズをm枚積層させるときの間隔d2は、前記実施例1のように焦点距離がf1のレンズのみをm枚積層させるときに比べて狭くすることが可能である。そのため、前記等倍結像光学系を薄くすることができる。
When the same-magnification imaging
また、このような等倍結像光学系では、焦点距離f1と焦点距離f2が独立変数なので、前記数式(5)においてM2n+1=1または−1を満たすような条件下で焦点距離f1と焦点距離f2を変化させることで、結像位置Lk=2n+1を自由に変化させることができる。この点についての最も典型的な例として、n=2、すなわちレンズの全枚数が5枚の場合について考える。このとき、たとえば、前記数式(5)においてM5=−1を解くと、解の1つとして、下記数式(16)が得られる。
このとき、前記数式(16)を満たすようにf1とf2を変えることにより、等倍関係を維持したまま結像位置L5を制御することができる。 At this time, by changing f 1 and f 2 so as to satisfy the formula (16), the imaging position L 5 can be controlled while maintaining the same magnification relationship.
また、このような構成の等倍結像光学系の場合、前記レンズとして可変焦点レンズ、すなわち焦点距離を変えられるレンズを用いることが好ましい。前記可変焦点レンズとしては、たとえば、液晶レンズが挙げられる。 In the case of the 1 × magnification optical system having such a configuration, it is preferable to use a variable focus lens, that is, a lens capable of changing the focal length as the lens. An example of the variable focus lens is a liquid crystal lens.
前記レンズとして可変焦点レンズを用いると、たとえば、1組の光学系で、前記数式(5)においてM2n+1=1または−1を満たすような条件下で焦点距離f1と焦点距離f2を変化させることができる。言い換えると、たとえば、前記レンズの総数が5枚の場合、前記焦点距離がf1のレンズをある間隔で配置しているときには、前記各レンズの焦点距離f1,f2は、前記数式(16)を満たしていれば、どのような組み合わせであってもよい。そして、前記各レンズの焦点距離f1,f2の組み合わせを変えた場合、前記数式(7)から、倒立像1Cの結像位置L5が変わる。そのため、たとえば、3次元表示装置で表示可能な奥行き表示範囲が狭い場合でも、前記各レンズの焦点距離f1,f2を変化させることで、広い奥行き範囲を表現することができる。
When a variable focus lens is used as the lens, for example, the focal length f 1 and the focal length f 2 are satisfied in a set of optical systems under the condition that M 2n + 1 = 1 or −1 in the formula (5). Can be changed. In other words, for example, the case the total number of lenses is five, when the focal length is spaced a certain lens f 1 is a focal length f 1, f 2 of each lens, the equation (16 ), Any combination is acceptable. When the combination of the focal lengths f 1 and f 2 of each lens is changed, the imaging position L 5 of the
このように、前記3次元表示装置1として、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系1Aと前記DFDとを組み合わせた表示装置を用いると、非常に簡素な構成にすることができる。なお、前記等倍結像光学系1Aと前記DFDとの組み合わせは、前記3次元表示装置1の構成例の1つであって、これに限らず、3次元立体画像を前記検出手段2より手前にも表示できれば、どのような表示装置であってもよい。
As described above, when the three-
図9乃至図11は、本発明による実施例1の画像表示方法の説明するための模式図であり、図9は本実施例1の画像表示方法の概要を説明する図、図10は本実施例1の画像表示方法を実現する画像表示システムにおける制御手段の構成例を示す図、図11は図10に示した制御手段で行われる処理の手順を示すフロー図である。 FIGS. 9 to 11 are schematic diagrams for explaining the image display method according to the first embodiment of the present invention. FIG. 9 is a diagram for explaining the outline of the image display method according to the first embodiment. FIG. 11 is a flowchart showing an example of the configuration of the control means in the image display system for realizing the image display method of Example 1, and FIG. 11 is a flowchart showing the procedure of processing performed by the control means shown in FIG.
本実施例1の画像表示方法は、前記画像表示システムを用いた表示方法であり、たとえば、図9の上側に示すように、指先4Aまたは入力ペンのペン先などが前記タッチパネル(検出手段)2に触れていないときには、前記3次元表示装置1により表示される画像(オブジェクト5A,5B,5C)が前記タッチパネル2上に表示されている。なお、本実施例1および以下の実施例では、前記オブジェクト5A,5B,5Cと前記タッチパネル2が、図9の上側に示したような位置関係にある場合に、前記オブジェクト5A,5B,5Cが前記タッチパネル2上に表示されているとする。
The image display method of the first embodiment is a display method using the image display system. For example, as shown on the upper side of FIG. 9, the
そして、図9の下側に示すように、指先4Aまたは入力ペンのペン先などが前記タッチパネル2に触れると、前記指先4Aまたは入力ペンのペン先などの位置と対応するオブジェクト5B以外のオブジェクト5A,5Cが手前に移動して表示される。このようにすると、前記指先4Aまたは入力ペンのペン先で選択したオブジェクト5Bだけが、他のオブジェクト5A,5Cよりも奥にあるように見える。また、前記選択したオブジェクト5Bは前記タッチパネル2上に表示されたままである。そのため、観察者(操作者)は前記オブジェクト5Bを選択したときに、前記オブジェクト5Bを押下したような視覚効果が得られ、たとえば、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。
Then, as shown on the lower side of FIG. 9, when the
本実施例1の画像表示方法を実現する画像表示システムでは、前記制御手段3に、たとえば、図10に示すように、前記タッチパネル(検出手段)2からの検出信号を受信する検出信号受信手段301と、前記検出信号受信手段301で受信した検出信号から、前記指先4Aまたは前記操作手段の先端が検出された場合は、前記指先4Aまたは前記操作手段の先端の位置と対応するオブジェクトを除く他のオブジェクトを前記観察者4から見て手前に移動させた画像データを生成し、前記指先4Aまたは前記操作手段の先端が検出されなくなった場合は、前記観察者4から見て手前に移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段302と、前記画像データ生成手段302で生成した前記画像データを映像信号として前記3次元表示装置1に送信する映像信号送信手段303とを設ければよい。
In the image display system for realizing the image display method according to the first embodiment, the control means 3 receives, for example, a detection signal receiving means 301 for receiving a detection signal from the touch panel (detection means) 2 as shown in FIG. When the tip of the
また、図示は省略するが、前記制御手段3は、あらかじめ用意された数パターンの画像データを保持する画像データ保持手段を備えていてもよい。その場合、前記画像データ生成手段302は、前記検出信号に基づいて、前記指先または入力ペンのペン先の位置に対応する画像を前記画像データ保持手段から選択するだけでよい。 Although not shown, the control means 3 may include image data holding means for holding several patterns of image data prepared in advance. In that case, the image data generation means 302 only needs to select an image corresponding to the position of the fingertip or the pen tip of the input pen from the image data holding means based on the detection signal.
本実施例1の画像表示方法を、図10に示したような構成の画像表示システムに実行させる場合、前記制御手段3では、まず、図11に示すように、前記3次元表示装置1に初期状態を表す画像データの映像信号を送信し初期画像を表示させる(ステップ701)。
When the image display method according to the first embodiment is executed by the image display system configured as shown in FIG. 10, the
前記初期画面を表示した状態で、たとえば、前記指先4Aまたは入力ペンのペン先などで前記タッチパネル(検出手段)2に触れると、前記タッチパネル2の押圧信号がアクティブになり、前記タッチパネル2から前記制御手段3に、前記押圧信号と前記指先または入力ペンのペン先などが接触した位置の座標を示す接触点座標信号が送信される。前記押圧信号および前記接触点座標信号は、前記制御手段3の検出信号受信手段301で受信される(ステップ702)。
When the initial screen is displayed, for example, when the touch panel (detection means) 2 is touched with the
前記制御手段3は、前記検出信号受信手段301で前記押圧信号および前記接触点座標信号を受信すると、前記画像データ生成手段302において、前記接触点座標信号に基づいて、前記タッチパネル2上の前記指先4Aまたは入力ペンのペン先などが触れた位置と対応する前記3次元立体画像を表示可能な空間(画像提示空間6)内の位置を算出する(ステップ703)。また、前記画像データ生成手段302は、前記ステップ703の算出結果に基づいて、たとえば、図7の下側に示したように、前記指先4Aまたは入力ペンのペン先の位置の対応するオブジェクト5B以外のオブジェクト5A,5Cを手前に移動させた画像データを生成し、前記生成した画像データを映像信号として前記映像信号送信手段303を介して前記3次元表示装置1に送信する(ステップ704)。前記制御手段3からの映像信号を受信した前記3次元表示装置1は、前記映像信号に基づいて、表示画像を切り替える。このようにすることで、たとえば、図9の上側に示したような状態から、図9の下側に示したような状態に切り替わる。
When the detection
また、前記制御手段3が、あらかじめ数パターンの画像データを保持している場合は、前記ステップ704では、前記指先4Aまたは入力ペンのペン先の位置の対応するオブジェクト以外のオブジェクトを手前に移動させた画像データを選択し、映像信号として送信すればよい。
If the control means 3 holds several patterns of image data in advance, in
また、前記制御手段3は、前記映像信号を送信したあと、前記指先4Aまたは入力ペンのペン先が前記タッチパネル2に触れている状態が続いているか、すなわち押圧信号がアクティブであるか否かを確認する(ステップ705)。このとき、前記押圧信号がアクティブであれば、前記指先4Aまたは入力ペンのペン先の接触点座標が変化したか否かを判定する(ステップ706)。これは、前記検出信号受信手段301で検出信号を受信している間は継続され、前記接触点座標が変化した場合は前記ステップ703に戻り、新たな接触点座標に対応する画像データを生成または選択して前記3次元表示装置1に送信し、表示させる。
The control means 3 determines whether or not the
また、前記押圧信号がアクティブではない、すなわち前記指先4Aまたは入力ペンのペン先が前記検出手段から離れた場合、前記検出信号受信手段301は前記検出信号(押圧信号)を受信しなくなる。そのため、前記ステップ705で押圧信号がアクティブではないと判定された場合、前記画像データ生成手段302は、たとえば、図9の上側に示したような初期画像データ、または前記ステップ705でアクティブではないと判定される直前に前記指先4Aまたは入力ペンのペン先の位置と対応するオブジェクトと関連付けられた特定の処理を行った後の画像データを映像信号として前記3次元表示装置1に送信する(ステップ707)。
In addition, when the pressing signal is not active, that is, when the
以上説明したように、本実施例1の画像表示システムを用いた画像表示方法によれば、前記指先4Aまたは入力ペンのペン先で選択されたオブジェクト以外のオブジェクトを手前に移動させて表示させることができる。そのため、観察者(操作者)は、たとえば、前記オブジェクトを選択したときに、前記オブジェクトを押下したような視覚効果が得られ、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。そのため、表示されている画像(オブジェクト)の挙動の違和感を低減し、操作性を向上さることができる。
As described above, according to the image display method using the image display system of the first embodiment, the object other than the object selected with the
また、本実施例1の画像表示方法を実現する前記画像表示システムにおいて、前記3次元表示装置1として、たとえば、図6に示したように、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系1Aと前記DFDからなる表示装置を用いれば、前記画像表示システムの構成を簡素化し、装置を小型化することができる。
Further, in the image display system that realizes the image display method according to the first embodiment, as the three-
図12乃至図15は、本発明による実施例2の画像表示方法を説明するための模式図であり、図12は本実施例2の画像表示方法を実現する画像表示システムの概略構成を示す図、図13は本実施例2の画像表示方法の概要を説明する図、図14は本実施例2の画像表示方法を実現する画像表示システムにおける制御手段の構成例を示す図、図15は図14に示した制御手段で行われる処理の手順を示すフロー図である。 12 to 15 are schematic diagrams for explaining the image display method according to the second embodiment of the present invention. FIG. 12 is a diagram illustrating a schematic configuration of an image display system that realizes the image display method according to the second embodiment. FIG. 13 is a diagram for explaining the outline of the image display method of the second embodiment, FIG. 14 is a diagram showing a configuration example of control means in the image display system for realizing the image display method of the second embodiment, and FIG. 15 is a flowchart showing a procedure of processing performed by the control means shown in FIG.
本実施例2の画像表示方法は、基本的には前記実施例1の画像表示方法と同じで、指先4Aまたは入力ペンのペン先などが前記タッチパネル(検出手段)2に触れると、触れた位置に対応するオブジェクト以外のオブジェクトが手前に移動したような画像表示に切り替わる表示方法である。
The image display method of the second embodiment is basically the same as the image display method of the first embodiment. When the
ただし、本実施例2の画像表示方法は、前記実施例1の場合とは異なり、前記タッチパネル(検出手段)2が、前記観察者から見た奥行き方向に押し込めるような画像表示システムに適用される表示方法である。 However, unlike the case of the first embodiment, the image display method of the second embodiment is applied to an image display system in which the touch panel (detection means) 2 can be pushed in the depth direction viewed from the observer. It is a display method.
本実施例2の画像表示方法を実現する前記画像表示システムには、図12に示すように、前記3次元表示装置1、前記タッチパネル(検出手段)2、前記制御手段3に加えて、前記タッチパネル2の奥行き方向への押し込み量に応じて前記タッチパネル2に反発力を加えることができる反発手段8を備える。
As shown in FIG. 12, the image display system for realizing the image display method of the second embodiment includes the touch panel in addition to the three-
本実施例2の画像表示方法は、図12に示したような前記画像表示システムによって実現される。このとき、たとえば、図13の上側に示すように、指先4Aまたは入力ペンのペン先などが前記タッチパネル(検出手段)2に触れていないときには、前記3次元表示装置1により表示される画像(オブジェクト5A,5B,5C)が前記タッチパネル2上に表示されているとする。そして、指先4Aまたは入力ペンのペン先などが前記タッチパネル2に触れ、前記タッチパネル2を奥行き方向に押し込むと、図13の下側に示すように、前記タッチパネル2の押し込み量に応じて、前記指先4Aまたは入力ペンのペン先で選択されたオブジェクト5Bが奥に移動して表示される。このようにすると、前記指先4Aまたは入力ペンのペン先で選択したオブジェクト5Bだけが、他のオブジェクト5A,5Cよりも奥にあるように見える。またこのとき、前記タッチパネル2を観察者4から見て奥に押し込むと、前記タッチパネル2には、前記反発手段8から前記押し込み量に応じた反発力が加わる。そのため、前記観察者(操作者)4は、前記反発手段8から前記タッチパネル2に加わる反発力を指先4Aまたは操作手段を通して実感することができる。そのため、観察者(操作者)4は前記タッチパネル2を押し込んで前記オブジェクトを選択したときに、前記オブジェクトを押下したような視覚効果および体感効果が得られ、たとえば、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。
The image display method of the second embodiment is realized by the image display system as shown in FIG. At this time, for example, as shown in the upper side of FIG. 13, when the
本実施例2の画像表示方法を実現する画像表示システムでは、前記制御手段3に、たとえば、図14に示すように、前記検出手段からの検出信号を受信する検出信号受信手段301と、前記タッチパネル(検出手段)2の押し込み量を示す押込量信号を受信する押込量信号受信手段304と、前記押し込み量に応じた反発力を算出し反発制御信号として前記反発手段8に送信する反発制御信号送信手段305と、前記検出信号受信手段301で受信した検出信号から、前記指先4Aまたは前記操作手段の先端が検出された場合は、前記押込量信号に基づいて、前記指先4Aまたは前記操作手段の先端の位置と対応するオブジェクトを前記タッチパネル2との相対的な位置関係が変わらないように移動させた画像データを生成し、前記指先4Aまたは前記操作手段の先端が検出されなくなった場合は前記移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段302と、前記画像データ生成手段302で生成した前記画像データを映像信号として前記3次元表示装置1に送信する映像信号送信手段303とを設ければよい。
In the image display system that realizes the image display method according to the second embodiment, the
また、図示は省略するが、前記制御手段3は、あらかじめ用意された数パターンの画像データを保持する画像データ保持手段を備えていてもよい。その場合、前記画像データ生成手段302は、前記検出信号および押込量信号に基づいて、前記指先4Aまたは入力ペンのペン先の位置および前記タッチパネル2の押し込み量に対応する画像データを前記画像データ保持手段から選択するだけでよい。
Although not shown, the control means 3 may include image data holding means for holding several patterns of image data prepared in advance. In that case, the image data generation means 302 holds the image data corresponding to the position of the
本実施例2の画像表示方法を、図14に示したような構成の画像表示システムに実行させる場合、前記制御手段3では、まず、図15に示すように、前記3次元表示装置1に初期状態を表す画像データの映像信号を送信し初期画像を表示させる(ステップ711)。
When the image display method according to the second embodiment is executed by the image display system configured as shown in FIG. 14, the control means 3 first sets the initial display in the three-
前記初期画面を表示した状態で、たとえば、前記指先4Aまたは入力ペンのペン先などで前記タッチパネル(検出手段)2に触れると、前記タッチパネル2の押圧信号がアクティブになり、前記タッチパネル2から前記制御手段3に、前記押圧信号と前記指先4Aまたは入力ペンのペン先などが接触した位置の座標を示す接触点座標信号が送信される。前記押圧信号および前記接触点座標信号は、前記制御手段3の検出信号受信手段301で受信される。またこのとき、前記制御手段3は、前記押込量信号受信手段304により、前記タッチパネル(検出手段)2の奥行き方向への移動量を示す押し込み量信号を合わせて受信する(ステップ712)。
When the initial screen is displayed, for example, when the touch panel (detection means) 2 is touched with the
前記制御手段3は、前記検出信号受信手段301で前記押圧信号および前記接触点座標信号を受信し、前記押込量信号受信手段304で前記押込量信号を受信すると、前記画像データ生成手段302により、前記接触点座標信号および前記押込量信号に基づいて、前記タッチパネル2上の前記指先4Aまたは入力ペンのペン先などが触れた位置および前記タッチパネル2の押し込み量(奥行き位置)と対応する前記3次元立体画像を表示可能な空間(画像提示空間6)内の位置を算出する(ステップ713)。そして、たとえば、図13の下側に示したように、前記指先4Aまたは入力ペンのペン先の位置の対応するオブジェクト5Bのみを前記タッチパネル2の押し込み量と一致するように奥行き方向に移動させた画像データを生成し、前記生成した画像データを映像信号として前記映像信号送信手段303を介して前記3次元表示装置1に送信する(ステップ714)。このようにすることで、たとえば、図13の上側に示したような状態から、図13の下側に示したような状態に切り替わる。
The control means 3 receives the pressing signal and the contact point coordinate signal by the detection signal receiving means 301, and receives the pressing amount signal by the pressing amount signal receiving means 304, the image data generating means 302 Based on the contact point coordinate signal and the push amount signal, the three-dimensional corresponding to the position touched by the
また、前記ステップ714では、前記映像信号を送信するとともに、前記タッチパネル2の押し込み量と対応した反発力を算出し、反発制御信号として前記反発制御信号送信手段305を介して前記反発手段8に送信する。こうすることで、前記反発手段8は、前記反発制御信号に基づいた反発力で前記タッチパネル2を観察者4から見て手前の方向に押すので、前記反発手段8から前記タッチパネル2に加わる反発力を指先4Aまたは操作手段を通して実感することができる。
In
また、前記制御手段3が、あらかじめ数パターンの画像データを保持している場合は、前記ステップ714では、前記指先4Aまたは入力ペンのペン先の位置と対応するオブジェクトのみが前記タッチパネル2の押し込み後の位置と対応する位置に移動している画像データを選択し、映像信号として送信すればよい。
If the control means 3 holds several patterns of image data in advance, in
また、前記制御手段3は、前記映像信号および前記反発制御信号を送信したあと、前記指先4Aまたは入力ペンのペン先が前記タッチパネル2に触れている状態が続いているか、すなわち押圧信号がアクティブであるか否かを確認する(ステップ715)。このとき、前記押圧信号がアクティブであれば、前記指先4Aまたは入力ペンのペン先の接触点座標または前記タッチパネル2の押し込み量(奥行き位置)が変化したか否かを判定する(ステップ716)。これは、前記検出信号受信手段301で検出信号を受信している間は継続され、前記接触点座標または前記押し込み量が変化した場合は前記ステップ713に戻り、新たな接触点座標や前記タッチパネル2の押し込み量に対応する画像データ生成または選択して前記3次元表示装置1に送信し、表示させる。
In addition, after the video signal and the repulsion control signal are transmitted, the control means 3 continues whether the
また、前記押圧信号がアクティブではない、すなわち前記指先4Aまたは入力ペンのペン先が前記タッチパネル2から離れた場合、前記検出信号受信手段301は前記検出信号を受信しなくなる。そのため、前記ステップ715で押圧信号がアクティブではないと判定された場合、前記画像データ生成手段302は、たとえば、図13の上側に示したような初期画像データ、または前記ステップ715でアクティブではないと判定される直前の前記指先4Aまたは入力ペンのペン先の位置と対応するオブジェクトと関連付けられた特定の処理を行った後の画像データを映像信号として前記3次元表示装置1に送信する(ステップ717)。またこのとき、前記タッチパネル2は、前記反発手段8から受けた反発力によってもとの奥行き位置、すなわち押し込み量が0の位置に戻る。
In addition, when the pressing signal is not active, that is, when the
以上説明したように、本実施例2の画像表示システムを用いた画像表示方法によれば、前記指先4Aまたは入力ペンのペン先で選択されたオブジェクトのみを、前記タッチパネル(検出手段)2の押し込み量にあわせて奥行き方向に移動させて表示させることができる。そのため、観察者(操作者)は、たとえば、前記オブジェクトを選択したときに、前記オブジェクトを押下したような視覚効果が得られ、現実の空間でボタンを押下げたときと同じ感覚で操作することができる。また、本実施例2の画像表示方法では、前記反発手段8から前記タッチパネル2に加わる反発力を指先4Aまたは操作手段を通して実感することができる。そのため、表示されている画像(オブジェクト)の挙動の違和感を低減し、操作性を向上さることができる。
As described above, according to the image display method using the image display system of the second embodiment, only the object selected with the
また、本実施例2の画像表示方法を実現する前記画像表示システムにおいて、前記3次元表示装置1として、たとえば、図6に示したように、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系1Aと前記DFDからなる表示装置を用いれば、前記画像表示システムの構成を簡素化し、装置を小型化することができる。
In the image display system for realizing the image display method according to the second embodiment, as the three-
図16乃至図19は、本発明による実施例3の画像表示方法を説明するための模式図であり、図16は指先または操作手段の先端の有無に応じた表示の切り替え制御の一例を示す図、図17は指先または操作手段の先端の移動に応じた表示の切り替え制御の一例を示す図、図18は本実施例3の画像表示方法を実現する画像表示システムの構成例を示す図、図19は図18に示した画像表示システムの制御手段で行われる処理の手順を示すフロー図である。 FIGS. 16 to 19 are schematic diagrams for explaining the image display method according to the third embodiment of the present invention. FIG. 16 is a diagram illustrating an example of display switching control according to the presence / absence of the fingertip or the tip of the operation unit. FIG. 17 is a diagram showing an example of display switching control according to the movement of the tip of the fingertip or the operating means, and FIG. 18 is a diagram showing a configuration example of an image display system for realizing the image display method of the third embodiment. 19 is a flowchart showing the procedure of processing performed by the control means of the image display system shown in FIG.
本実施例3の画像表示方法は、たとえば、前記実施例1や実施例2の画像表示方法と組み合わせて用いるのに適した画像表示方法であり、前記タッチパネルのような検出手段2に触れる前に操作者が指し示そうとする位置を検出し、表示画像を切り替える画像表示方法である。 The image display method of the third embodiment is an image display method suitable for use in combination with, for example, the image display methods of the first and second embodiments, and before touching the detection means 2 such as the touch panel. This is an image display method for detecting a position to be pointed by an operator and switching display images.
本実施例3の画像表示方法では、たとえば、図16に示すように、前記タッチパネル(検出手段)2上に、任意の深さの指先検出空間9を設けておく。前記指先検出空間9内の前記指先4Aまたは入力ペンのペン先の有無や位置の検出は、たとえば、赤外線走査方式のように赤外線のグリッドを作り出し、前記指や入力ペンなどで遮光された場所の座標を読み取ることで行う。また、前記赤外線走査方式に限らず、たとえば、前記指先検出空間9をカメラで撮影しておき、その映像の中から指先4Aまたは入力ペンのペン先に相当する形状の有無や位置を検出することもできる。
In the image display method of the third embodiment, for example, as shown in FIG. 16, a fingertip detection space 9 having an arbitrary depth is provided on the touch panel (detection means) 2. The detection of the presence or position of the
そして、たとえば、図16の下側に示したように、前記指先検出空間9内に指先4Aまたは入力ペンのペン先などが入ると、前記指先4Aまたは入力ペンのペン先の位置が検出され、たとえば、前記指先4Aまたは入力ペンのペン先の位置と対応するオブジェクトが前記タッチパネル2上などのあらかじめ定められた奥行き位置にくるように移動する。図16の下側に示した例では、前記指先4Aまたは入力ペンのペン先が3つのオブジェクト5A,5B,5Cのうちの中央のオブジェクト5Bを指し示しているので、前記中央のオブジェクト5Bが前記タッチパネル2上にくるように前記3つのオブジェクト5A,5B,5Cが手前に並進移動する。また、図16の下側に示したような状態のときに、前記指先4Aを前記指先検出空間9の外側に出すと、図16の上側に示したように前記3つのオブジェクト5A,5B,5Cが奥に移動して元の位置に戻る。
And, for example, as shown on the lower side of FIG. 16, when the
また、本実施例3の画像表示方法の場合、たとえば、図17の上側に示すように、前記指先検出空間9内で指先4Aが検出され、前記指先4Aが3つのオブジェクト5A,5B,5Cのうちの中央のオブジェクト5Bを指し示している状態から、図17の下側に示すように、前記指先4Aを前記3つのオブジェクト5A,5B,5Cのうちの上のオブジェクト5Aを指し示す位置に移動させると、前記指先4Aの位置の移動にあわせて、前記上のオブジェクト5Aが前記タッチパネル2上にくるように前記3つのオブジェクト5A,5B,5Cが手前に並進移動する。また、図17の下側に示したような状態のときに、前記指先4Aを前記中央のオブジェクト5Bを指し示す位置に移動させると、前記指先4Aの位置の移動にあわせて、図17の上側に示したように、前記中央のオブジェクト5Bが前記タッチパネル2上にくるように前記3つのオブジェクト5A,5B,5Cが奥に並進移動する。
In the case of the image display method according to the third embodiment, for example, as shown in the upper side of FIG. 17, the
このようにすると、たとえば、複数個のオブジェクトが立体的に配置されているときに、前記指先4Aまたは入力ペンのペン先などで指し示しているオブジェクトがどれであるかを認識しやすくなり、操作性が向上する。
In this way, for example, when a plurality of objects are arranged three-dimensionally, it becomes easy to recognize which object is pointed to by the
また、説明は省略するが、たとえば、図16の下側および図17に示したような状態から前記指先4Aまたは入力ペンのペン先で前記タッチパネル2に触れると、前記実施例1または実施例2で説明したような方法で表示画像が切り替わるようにする。
Moreover, although description is omitted, for example, when the
本実施例3の画像表示方法を実現する画像表示システムでは、前記検出手段を、たとえば、図18に示すように、前記指先または入力ペンのペン先が触れることで前記指先または入力ペンのペン先の位置を検出するタッチパネル(第1検出手段)2Aと、前記赤外線走査方式を利用してタッチパネル2より手前の前記指先検出空間9内で前記指先4Aまたは入力ペンのペン先の有無および位置を検出する指位置検出手段(第2検出手段)2Bとする。
In the image display system that realizes the image display method according to the third embodiment, for example, as illustrated in FIG. 18, the detection unit touches the fingertip or the penpoint of the input pen to touch the fingertip or the penpoint of the input pen. A touch panel (first detection means) 2A for detecting the position of the
またこのとき、前記制御手段3には、前記第1検出手段2Aからの検出信号を受信する第1検出信号受信手段301Aと、前記第2検出手段2Bからの検出信号を受信する第2検出信号受信手段301Bとを設ける。また、前記制御手段3に設けられた前記画像データ生成手段302は、前記第1検出信号受信手段301Aからの検出信号を受信した場合、たとえば、前記実施例1で説明した手順で画像データを生成し、前記第2検出手段301Bからの検出信号を受信した場合は、前記指先4Aまたは入力ペンのペン先が指し示すオブジェクトが前記第1検出手段2A上などのあらかじめ定められた奥行き位置にくるように移動させた画像を生成する。なお、図18では、前記第2検出手段2Bからの検出信号を受信したときも、前記画像データ生成手段302において画像を生成する場合の構成例を示しているが、これに限らず、前記画像データ生成手段302から独立した別の手段で画像データを生成あるいは選択してもよい。
At this time, the control means 3 includes a first detection signal receiving means 301A for receiving a detection signal from the first detection means 2A and a second detection signal for receiving a detection signal from the second detection means 2B. Receiving means 301B is provided. Further, when the image
本実施例3の画像表示方法を、図18に示したような構成の画像表示システムに実行させる場合、前記制御手段3では、まず、図19に示すように、前記3次元表示装置1に初期状態を表す画像データの映像信号を送信し初期画像を表示させる(ステップ721)。
When the image display method of the third embodiment is executed by the image display system having the configuration as shown in FIG. 18, the control means 3 first sets the initial display in the
前記初期画面を表示した状態で、たとえば、前記指先4Aまたは入力ペンのペン先などで前記タッチパネル(第1検出手段)2Aに触れると、前記タッチパネル2Aの押圧信号がアクティブになり、前記タッチパネル2Aから前記制御手段3に第1検出信号、すなわち前記押圧信号と前記指先4Aまたは入力ペンのペン先などが接触した位置の座標を示す接触点座標信号が送信される。また、前記タッチパネルに触れなくても、前記指先検出空間9内に前記指先4Aまたは入力ペンのペン先などが入れば、前記第2検出手段2Bから前記制御手段3に第2検出信号、すなわち前記指先4Aまたは入力ペンのペン先などの位置の座標を示す指位置座標信号が送信される。そこで、前記制御手段3では、前記初期画像を表示したあと、前記第1検出信号または第2検出信号の受信の有無の判定を行う(ステップ722)。なお、前記第1検出信号を受信するときには、前記指先4Aまたは入力ペンのペン先は、前記指先検出空間9内を通って前記タッチパネル2Aに接触しているので、前記第2検出信号も受信しているはずであるが、本実施例3では、前記第1検出信号と前記第2検出信号を同時に受信した場合は、前記第1検出信号を受信したと表現する。
In a state where the initial screen is displayed, for example, when the touch panel (first detection means) 2A is touched with the
前記制御手段3は、前記第1検出信号、すなわち前記タッチパネル2Aからの押圧信号および接触点座標信号を受信すると、前記画像データ生成手段302において、たとえば、前記実施例1で説明したような手順で画像データを生成または選択し、映像信号として前記3次元表示装置1に送信する(ステップ723)。前記ステップ723の処理を前記実施例1で説明したような手順で行う場合は、図11に示したステップ702からステップ707に相当する処理を行えばよいので、詳細な説明は省略する。
When the
一方、前記制御手段3で前記第2検出信号のみ、すなわち前記第2検出手段2Bからの指位置座表信号のみを受信した場合は、前記画像データ生成手段302において、図19に示したように、前記指位置座標信号に基づき、前記指先4Aまたは入力ペンのペン先の位置と対応する前記画像提示空間6内の平面位置を算出する(ステップ724)。そして、前記算出した平面位置と対応するオブジェクト、すなわち前記指先4Aまたは入力ペンのペン先などで指し示しているオブジェクトが、たとえば、前記タッチパネル上などのあらかじめ定められた奥行き位置にくるように、前記各オブジェクトを奥行き方向に並進移動させた画像データを生成または選択し、映像信号として前記3次元表示装置1に送信する(ステップ725)。こうすることで、前記検出手段上に表示された画像(オブジェクト)は、図16の下側または図17に示したようになる。
On the other hand, when the control means 3 receives only the second detection signal, that is, only the finger position table signal from the second detection means 2B, the image data generation means 302, as shown in FIG. Based on the finger position coordinate signal, the plane position in the image presentation space 6 corresponding to the position of the
また、前記制御手段3は、前記映像信号を送信したあと、前記指先4Aまたは入力ペンのペン先が前記タッチパネル(第1検出手段)2Aに触れたか否か、すなわち前記第1検出信号を受信したか否かを確認する(ステップ726)。このとき、前記第1検出信号を受信していれば、前記ステップ723の処理に移行する。
In addition, after transmitting the video signal, the control means 3 receives whether the
一方、前記第1検出信号を受信していない場合は、前記第2検出信号(指位置座標信号)の受信が続いているか否かを判定する(ステップ727)。そして、前記第2検出信号の受信が続いている場合は、前記第2検出信号に基づく前記指先4Aまたは入力ペンのペン先の位置が変化したか否かを確認する(ステップ728)。そして、変化した場合は、前記ステップ724に戻り、新たな指位置座標に対応する画像データを生成または選択して前記3次元表示装置1に送信し、表示させる。また、前記指位置座標が変化していない場合は、前記ステップ726戻り、検出信号の受信の有無、指位置座標の変化を監視する。
On the other hand, if the first detection signal has not been received, it is determined whether or not the second detection signal (finger position coordinate signal) continues to be received (step 727). If reception of the second detection signal continues, it is checked whether the position of the
また、前記指先4Aまたは入力ペンのペン先が前記指先検出空間9の外側に出た場合、前記第2検出信号受信手段302は前記第2検出信号を受信しなくなる。そのため、前記ステップ727で前記第2検出信号の受信が途絶えたと判定された場合、前記ステップ721に戻る。そして、前記画像データ生成手段302で、たとえば、図16の上側に示したような初期画像データの生成または選択をして前記3次元表示装置1に送信し、表示させる。
Further, when the
以上説明したように、本実施例3の画像表示システムを用いた画像表示方法によれば、前記タッチパネル(第1検出手段)2A上の指先検出空間9内で、前記タッチパネル2Aに触れずに、前記指先または入力ペンのペン先で表示されている画像(オブジェクト)を指し示したときに、指し示しているオブジェクトを、たとえば、前記タッチパネル2A上などの前記画像提示空間6のあらかじめ定められた奥行き位置に移動させて表示させることができる。そのため、たとえば、複数個のオブジェクトが立体的に配置されている場合に、前記指先4Aまたは入力ペンのペン先で指し示しているオブジェクトがどのオブジェクトであるかを認識しやすくなる。
As described above, according to the image display method using the image display system of the third embodiment, without touching the
また、本実施例3の画像表示方法のように、前記指先検出空間9内で、前記タッチパネル2Aに触れずに前記指先4Aまたは入力ペンのペン先で表示されている画像(オブジェクト)を指し示した場合は、前記指し示したオブジェクトがあらかじめ定められた奥行き位置にくるように移動させ、前記指先4Aまたは入力ペンのペン先が前記タッチパネルに触れた場合は、前記実施例1または実施例2の画像表示方法のようにすることで、複数個のオブジェクトが立体的に配置されている場合の操作性を向上させることができる。
Further, like the image display method of the third embodiment, the image (object) displayed at the
また、本実施例3の画像表示方法を実現する前記画像表示システムにおいて、前記3次元表示装置1として、たとえば、図6に示したように、複数枚の焦点距離が同一のレンズを等間隔で積層配置した等倍結像光学系と前記DFDからなる表示装置を用いれば、前記画像表示システムの構成を簡素化し、装置を小型化することができる。
In the image display system that realizes the image display method according to the third embodiment, as the three-
またさらに、前記第2検出手段2Bは、前記赤外線走査方式を用いた手段やカメラを用いた手段に限らず、前記指先検出空間9内の前記指先4Aまたは入力ペンのペン先の有無や位置を検出できれば、どのような手段であってもよい。
Still further, the second detection means 2B is not limited to the means using the infrared scanning method or the means using a camera, but the presence / absence or position of the
また、本実施例3の画像表示方法では、前記実施例1または実施例2の画像表示方法と組み合わせた場合について説明したが、これに限らず、前記実施例1または実施例2以外の画像表示方法と組み合わせてもよい。また、前記実施例1または実施例2で用いた前記タッチパネルに替わる検出手段として前記第2検出手段を用いることも可能である。 In the image display method of the third embodiment, the case of combining with the image display method of the first embodiment or the second embodiment has been described. However, the present invention is not limited to this, and image display other than the first embodiment or the second embodiment is described. You may combine with a method. Moreover, it is also possible to use the second detection means as detection means in place of the touch panel used in the first or second embodiment.
図20は、本発明による実施例4の画像表示システムの概略構成を示す模式図である。 FIG. 20 is a schematic diagram illustrating a schematic configuration of the image display system according to the fourth embodiment of the present invention.
前記実施例1から実施例3では、前記検出手段2(第1検出手段2A)として、タッチパネルを用いた場合の画像表示システムの構成例を示している。しかしながら、前記検出手段2は、前記指先4Aまたは操作手段の位置が検出できればよいので、前記タッチパネルに限らず、種々の手段(装置)を用いることができる。そこで、本実施例4では、前記検出手段2として、タッチパネル以外の手段を用いた場合の画像表示システムの構成例について説明する。
In the first to third embodiments, a configuration example of an image display system when a touch panel is used as the detection unit 2 (
本実施例4の画像表示システムでは、前記検出手段2として、たとえば、図20に示すように、2台のカメラ201,202を用いる。このとき、前記各カメラ201,202は、前記タッチパネルの接触面(検出面)に相当する検出領域10の画像を撮影しており、視差を有する2枚の画像が得られるようになっている。このとき、前記制御手段3では、まず、前記視差を有する2枚の画像から、三角測量の原理に基づいて、前記指先4Aまたは操作手段の奥行き位置を測定する。そして、前記測定した奥行き位置が、前記検出領域10内である場合は、たとえば、実施例1で説明したような手順で、前記指先4Aまたは操作手段の位置と対応するオブジェクトを除く他のオブジェクトを手前に移動させた画像に切り替えさせる。このようにすることで、前記実施例1の画像表示システムと同様の効果が得られる。
In the image display system of the fourth embodiment, for example, two
またこのとき、前記検出領域10上に、たとえば、アクリル板等の透明な板を設けておけば、前記タッチパネルを用いた画像表示システムと同じ感覚で操作をすることができる。
Further, at this time, if a transparent plate such as an acrylic plate is provided on the
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。 The present invention has been specifically described above based on the above-described embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. is there.
たとえば、前記実施例1から実施例3では、前記制御手段3として、独立した前記各手段が連携して処理を行うような例を示したが、これに限らず、たとえば、コンピュータとプログラム(ソフトウェア)を用いることもできる。前記制御手段3としてコンピュータを用いる場合、前記実施例1から実施例3で説明したような手順、すなわち図11,図15,図19に示したようなフローを前記コンピュータに実行させる命令からなるプログラムを作成し、前記コンピュータに実行させればよい。このとき、前記プログラムは、たとえば、磁気的または電気的、あるいは光学的な記録媒体を通して提供することもできるし、インターネットを通して提供することもできる。
For example, in the first to third embodiments, the
また、本発明の画像表示システムを、たとえば、現金自動預け払い機や自動券売機などに適用する場合、前記制御手段3は、表示の切り替えのみを行う独立した手段であってもよいし、前記現金自動預け払い機や自動券売機で行われる処理(動作)制御を行う手段の一部であってもよい。前者の場合、前記制御手段3は、前記3次元表示装置1に映像信号を送信するとともに、他の処理制御を行う手段に前記タッチパネル(検出手段)から受信した検出信号を送信し、検出した接触点座標に応じた処理を行わせればよい。また、後者の場合は、前記制御手段3の内部に、前記他の処理制御を行う手段を設ければよい。
In addition, when the image display system of the present invention is applied to, for example, an automatic teller machine or an automatic ticket vending machine, the
1…3次元表示装置
1A…等倍結像光学系
1011,1012,1013,1014,101n…焦点距離がfのレンズ
102…平面鏡
103…ハーフミラー
104…焦点距離がfの曲面鏡
1B1…前面(手前)の表示面
1B2…後面(奥)の表示面
2…検出手段(タッチパネル)
2A…第1検出手段(タッチパネル)
2B…第2検出手段
201,202…カメラ
3…制御手段
301…検出信号受信手段
301A…第1検出信号受信手段
301B…第2検出信号受信手段
302…画像データ生成手段
303…映像信号送信手段
304…押込量信号受信手段
305…反発制御信号送信手段
4…観察者(操作者)
4A…指先
5A,5B,5C…オブジェクト
6…画像提示空間
8…反発手段
9…指先検出空間
10…検出領域
1 ... 3 dimensional display device 1A ... equal magnification imaging optical system 101 1, 101 2, 101 3 , 101 4, 101 n ...
2A ... 1st detection means (touch panel)
2B ... second detection means 201, 202 ...
4A ...
Claims (11)
前記検出手段は、観察者から見て前記3次元表示装置よりも手前であり、かつ前記3次元表示装置と重なる領域(以下、検出領域という)内の前記指先または前記操作手段の先端の位置を検出する手段であり、
前記3次元表示装置は、観察者から見て前記検出領域より手前の空間および前記検出手段より奥の空間を含む空間(以下、画像提示空間という)上に、複数個のオブジェクトが立体的に配置された3次元立体画像を表示する表示装置であることを特徴とする画像表示システム。 A three-dimensional display device capable of displaying a three-dimensional stereoscopic image of an object; a detecting means for detecting a tip position of a fingertip or a bar-like operating means; and a position of the fingertip or the tip of the operating means detected by the detecting means An image display system comprising control means for performing switching control of a display image of an object displayed on the three-dimensional display device according to
The detection means is a position in front of the 3D display device as viewed from the observer and the position of the fingertip or the tip of the operation means in an area overlapping the 3D display device (hereinafter referred to as a detection area). Means to detect,
The three-dimensional display device has a plurality of objects arranged in a three-dimensional manner in a space (hereinafter referred to as an image presentation space) including a space in front of the detection region and a space behind the detection means as viewed from the observer. An image display system, which is a display device that displays a three-dimensional stereoscopic image.
前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記指先または前記操作手段の先端の位置と対応するオブジェクトを除く他のオブジェクトを前記観察者から見て手前に移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は、前記観察者から見て手前に移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成した前記画像データを映像信号として前記3次元表示装置に送信する映像信号送信手段とを備えることを特徴とする請求項1に記載の画像表示システム。 The control means includes a detection signal receiving means for receiving a detection signal from the detection means;
When the fingertip or the tip of the operating means is detected from the detection signal received by the detection signal receiving means, other objects other than the object corresponding to the position of the fingertip or the tip of the operating means are excluded from the observer Image data moved to the front as viewed from the front, and when the fingertip or the tip of the operating means is no longer detected, the object moved to the front as viewed from the observer is returned to the position before the movement. Image data generating means for generating image data;
The image display system according to claim 1, further comprising: a video signal transmitting unit that transmits the image data generated by the image data generating unit to the three-dimensional display device as a video signal.
前記制御手段は、前記検出手段からの検出信号を受信する検出信号受信手段と、
前記検出手段の押し込み量を示す押込量信号を受信する押込量信号受信手段と、
前記押し込み量に応じた反発力を算出し反発制御信号として前記反発手段に送信する反発制御信号送信手段と、
前記検出信号受信手段で受信した検出信号から、前記指先または前記操作手段の先端が検出された場合は、前記検出手段の押し込み量に基づいて、前記指先または前記操作手段の先端の位置と対応するオブジェクトを前記検出手段との相対的な位置関係が変わらないように移動させた画像データを生成し、前記指先または前記操作手段の先端が検出されなくなった場合は前記移動させたオブジェクトを移動前の位置に戻した画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成した前記画像データを映像信号として前記3次元表示装置に送信する映像信号送信手段とを備えることを特徴とする請求項1に記載の画像表示システム。 In addition to the three-dimensional display device, the detection means, and the control means, when the detection means is pushed in the depth direction by the fingertip or the operation means, a repulsive force corresponding to the pushing amount of the detection means is applied to the detection means. With repulsive means to give,
The control means includes a detection signal receiving means for receiving a detection signal from the detection means;
A push amount signal receiving means for receiving a push amount signal indicating the push amount of the detection means;
A repulsion control signal transmitting means for calculating a repulsive force according to the pushing amount and transmitting it to the repulsion means as a repulsion control signal;
When the fingertip or the tip of the operating means is detected from the detection signal received by the detection signal receiving means, it corresponds to the position of the fingertip or the tip of the operating means based on the amount of pressing of the detecting means. Image data is generated by moving the object so that the relative positional relationship with the detection means does not change. When the tip of the fingertip or the operation means is no longer detected, the moved object is moved Image data generating means for generating image data returned to the position;
The image display system according to claim 1, further comprising: a video signal transmitting unit that transmits the image data generated by the image data generating unit to the three-dimensional display device as a video signal.
前記制御手段は、前記各手段に加えて、前記第2検出手段のみで前記指先または前記操作手段の先端の位置を検出した場合は、前記検出した位置と対応するオブジェクトが前記画像提示空間内のあらかじめ定められた奥行き位置にくるように前記各オブジェクトを奥行き方向に並進移動させた画像データを生成し、前記第2検出手段で前記指先または前記走査手段の先端の位置が検出されなくなった場合は、前記並進移動させた前記各オブジェクトをもとの奥行き位置に戻した画像データを生成する手段を備えることを特徴とする請求項2または請求項3に記載の画像表示システム。 The detection means includes a first detection means for detecting a position of the fingertip or the tip of the operation means by touching the tip of the fingertip or the operation means, and a front side of the first detection means as viewed from an observer. Second detection means for detecting the position of the fingertip or the tip of the scanning means by entering the tip of the fingertip or the operation means in a detection space;
When the control means detects the position of the tip of the fingertip or the operating means only with the second detection means in addition to the means, the object corresponding to the detected position is within the image presentation space. When image data obtained by translating each object in the depth direction so as to come to a predetermined depth position is generated, and the position of the fingertip or the tip of the scanning unit is no longer detected by the second detection unit 4. The image display system according to claim 2, further comprising means for generating image data in which the translated objects are returned to their original depth positions.
前記制御手段は、前記複数個のカメラの画像に基づいて、前記指先または前記操作手段の位置を求める手段を備えることを特徴とする請求項1または請求項2に記載の画像表示システム。 The detection means comprises a plurality of cameras that photograph the detection area,
The image display system according to claim 1, wherein the control unit includes a unit that obtains a position of the fingertip or the operation unit based on images of the plurality of cameras.
前記等倍結像光学系は、n枚(nは2以上の整数)の焦点距離が同一のレンズが等間隔で配置されており、前記各レンズの間隔dは、各レンズの焦点距離をf、k枚のレンズを通過した光の結像の倍率をMkとしたときに下記数式(1)乃至数式(4)で表される漸化式において、Mk=n=1または−1を満たし、かつ、L0に依存しない値とする光学系であることを特徴とする請求項1乃至請求項5のいずれか1項に記載の画像表示システム。
In the equal-magnification imaging optical system, n (n is an integer of 2 or more) lenses having the same focal length are arranged at equal intervals, and the interval d between the lenses indicates the focal length of each lens as f. , M k = n = 1 or −1 in the recurrence formulas expressed by the following formulas (1) to (4), where M k is the magnification of image formation of light that has passed through the k lenses. The image display system according to claim 1, wherein the image display system is an optical system that satisfies a value that does not depend on L 0 .
前記等倍結像光学系は、n+1枚(nは1以上の整数)の焦点距離がf1のレンズとn枚の焦点距離がf2のレンズが交互に配置され、かつ、前記焦点距離がf1のレンズが等間隔で配置されており、前記焦点距離f1のレンズの間隔dは、k枚のレンズを通過した光の結像の倍率をMkとしたときに下記数式(5)乃至数式(8)で表される漸化式において、Mk=2n+1=1または−1を満たし、かつ、L0に依存しない値とする光学系であることを特徴とする請求項1乃至請求項5のいずれか1項に記載の画像表示システム。
In the equal-magnification imaging optical system, n + 1 (n is an integer of 1 or more) focal length f 1 lenses and n focal length f 2 lenses are alternately arranged, and the focal length is Lenses of f 1 are arranged at equal intervals, and the distance d between the lenses of the focal length f 1 is expressed by the following formula (5), where M k is the magnification of image formation of light that has passed through the k lenses. Or an optical system satisfying M k = 2n + 1 = 1 or −1 and having a value independent of L 0 in the recursion formula represented by Formula (8). The image display system according to claim 5.
前記3次元表示装置により、観察者から見て前記検出手段で前記指先または前記操作手段の先端を検出する領域(検出領域)より手前の空間および前記検出領域より奥の空間を含む空間上に複数個のオブジェクトの画像を3次元的に表示しておくステップ1と、
前記検出手段により前記指先または棒状の操作手段を検出し、かつ、前記指先または棒状の操作手段の先端の位置に対応する位置にオブジェクトが表示されている場合は、前記対応するオブジェクト以外のオブジェクトを観察者から見て手前の方向に移動させて表示するステップ2と、
前記ステップ2の状態で、前記検出手段で前記指先または棒状の操作手段が検出されなくなった場合に、前記観察者から見て手前の方向に移動させて表示しているオブジェクトを移動前の位置に戻して表示するステップ3とを有することを特徴とする画像表示方法。 An image comprising a three-dimensional display device capable of displaying a three-dimensional stereoscopic image of an object and detection means for detecting the position of the tip of a fingertip or bar-like operation means, wherein the detection means overlaps the three-dimensional display device An image display method for performing switching control of a display image of an object displayed on the three-dimensional display device in accordance with a position of a tip of a fingertip or a bar-like operation unit detected by the detection unit using a display system. ,
With the three-dimensional display device, a plurality of spaces are provided on a space including a space in front of the area (detection area) where the detection means detects the fingertip or the tip of the operation means as viewed from the observer and a space behind the detection area. Step 1 for displaying three-dimensional images of objects,
When the detection means detects the fingertip or the bar-like operation means and an object is displayed at a position corresponding to the position of the tip of the fingertip or the bar-like operation means, an object other than the corresponding object is displayed. Step 2 to display the image by moving it in front of the viewer,
In the state of step 2, when the detection means no longer detects the fingertip or the rod-like operation means, the object displayed by moving in the front direction as viewed from the observer is moved to the position before the movement. An image display method comprising: step 3 of returning and displaying.
前記3次元表示装置により、観察者から見て前記検出手段より手前の空間および前記検出領域より奥の空間を含む空間上に複数個のオブジェクトの画像を3次元的に表示しておくステップ1と、
前記指先または前記操作手段により、前記検出手段が観察者から見て奥行き方向に押し込まれ、かつ、前記指先または前記操作手段の先端の位置に対応する位置にオブジェクトが表示されている場合は、前記検出手段の押し込み量に合わせて、前記対応するオブジェクトのみを前記検出手段との相対的な位置関係を保ったまま奥行き方向に移動させ、他のオブジェクトは移動させずに表示するステップ4とを有することを特徴とする画像表示方法。 An image comprising a three-dimensional display device capable of displaying a three-dimensional stereoscopic image of an object and detection means for detecting the position of the tip of a fingertip or bar-like operation means, wherein the detection means overlaps the three-dimensional display device An image display method for performing switching control of a display image of an object displayed on the three-dimensional display device in accordance with a position of the fingertip detected by the detection unit or a tip of the operation unit using a display system. ,
Step 3 of displaying images of a plurality of objects in a three-dimensional manner on a space including a space in front of the detection means and a space in the back of the detection area as viewed from the observer by the three-dimensional display device; ,
When the detection means is pushed in the depth direction when viewed from the observer by the fingertip or the operation means, and an object is displayed at a position corresponding to the position of the tip of the fingertip or the operation means, According to the pressing amount of the detection means, only the corresponding object is moved in the depth direction while maintaining the relative positional relationship with the detection means, and the other objects are displayed without being moved. An image display method characterized by the above.
前記検出空間内で指先または棒状の操作手段の先端を検出し、かつ、前記指先または前記操作手段の先端の位置に対応する位置にオブジェクトが表示されている場合は、前記各オブジェクトの相対的な位置関係を保ったまま、前記対応するオブジェクトがあらかじめ定められた奥行き位置にくるように移動させて表示するステップ6と、
前記ステップ6の状態で、前記検出空間内で指先または前記操作手段の先端が検出されなくなった場合に、前記各オブジェクトを移動前の位置に戻して表示するステップ7とを有することを特徴とする請求項8または請求項9に記載の画像表示方法。 In addition to the above steps, a step 5 for detecting the presence or absence of the tip of the fingertip or the operating means in a predetermined detection space before the detection means or the detection area as viewed from the observer;
When the tip of the fingertip or the rod-like operation means is detected in the detection space and the object is displayed at a position corresponding to the position of the fingertip or the tip of the operation means, the relative position of each object is Step 6 of displaying the corresponding object by moving the corresponding object to a predetermined depth position while maintaining the positional relationship;
In the state of step 6, when the fingertip or the tip of the operation means is no longer detected in the detection space, the object is returned to the position before the movement and displayed. The image display method according to claim 8 or 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005116447A JP4076090B2 (en) | 2005-04-14 | 2005-04-14 | Image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005116447A JP4076090B2 (en) | 2005-04-14 | 2005-04-14 | Image display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006293878A true JP2006293878A (en) | 2006-10-26 |
JP4076090B2 JP4076090B2 (en) | 2008-04-16 |
Family
ID=37414359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005116447A Expired - Fee Related JP4076090B2 (en) | 2005-04-14 | 2005-04-14 | Image display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4076090B2 (en) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009104818A1 (en) * | 2008-02-21 | 2009-08-27 | Sharp Kabushiki Kaisha | Display |
JP2010257160A (en) * | 2009-04-23 | 2010-11-11 | Nec Casio Mobile Communications Ltd | Terminal equipment, display method, and program |
JP2011258195A (en) * | 2010-06-09 | 2011-12-22 | Boeing Co | Man-machine interface based on gesture |
JP2012032964A (en) * | 2010-07-29 | 2012-02-16 | Olympus Imaging Corp | Display device |
WO2012053032A1 (en) * | 2010-10-20 | 2012-04-26 | 三菱電機株式会社 | Three-dimensional display device |
JP2012090256A (en) * | 2010-09-22 | 2012-05-10 | Nikon Corp | Image display device and imaging device |
JP2012103981A (en) * | 2010-11-11 | 2012-05-31 | Sony Corp | Information processor, stereoscopic vision display method and program |
JP2012103982A (en) * | 2010-11-11 | 2012-05-31 | Sony Corp | Information processor, stereoscopic vision display method and program |
JP2012103983A (en) * | 2010-11-11 | 2012-05-31 | Sony Corp | Information processor, stereoscopic vision display method and program |
WO2012087085A1 (en) * | 2010-12-24 | 2012-06-28 | Samsung Electronics Co., Ltd. | Three dimensional (3d) display terminal apparatus and operating method thereof |
JP2012208595A (en) * | 2011-03-29 | 2012-10-25 | Jvc Kenwood Corp | Stereoscopic image display device and stereoscopic image display method |
JP2013058136A (en) * | 2011-09-09 | 2013-03-28 | Kddi Corp | User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program |
JP2013066028A (en) * | 2011-09-16 | 2013-04-11 | Nikon Corp | Display device and display control program |
JP2013080491A (en) * | 2012-11-29 | 2013-05-02 | Nec Casio Mobile Communications Ltd | Terminal device, display method, and program |
EP2803198A4 (en) * | 2012-01-11 | 2015-09-16 | Samsung Electronics Co Ltd | 3d display apparatus and method thereof |
JP5781080B2 (en) * | 2010-10-20 | 2015-09-16 | 三菱電機株式会社 | 3D stereoscopic display device and 3D stereoscopic display processing device |
JP2016021082A (en) * | 2014-07-11 | 2016-02-04 | 船井電機株式会社 | Image display device |
JP2016129341A (en) * | 2016-01-26 | 2016-07-14 | 株式会社ニコン | Control device and program |
WO2018003860A1 (en) * | 2016-06-28 | 2018-01-04 | 株式会社ニコン | Display device, program, display method, and controller |
WO2018003859A1 (en) * | 2016-06-28 | 2018-01-04 | 株式会社ニコン | Display device, program, display method, and control device |
JP2019091380A (en) * | 2017-11-17 | 2019-06-13 | 株式会社東海理化電機製作所 | Display control apparatus, input apparatus, and program |
CN112485558A (en) * | 2020-11-04 | 2021-03-12 | 深圳市鼎阳科技股份有限公司 | Measurement data graphical display method and equipment and vector network analyzer |
US10963137B2 (en) | 2016-03-30 | 2021-03-30 | Brother Kogyo Kabushiki Kaisha | Information display apparatus and non-transitory recording medium storing program for controlling information display apparatus |
-
2005
- 2005-04-14 JP JP2005116447A patent/JP4076090B2/en not_active Expired - Fee Related
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101971237B (en) * | 2008-02-21 | 2013-06-26 | 夏普株式会社 | Display |
US8885018B2 (en) | 2008-02-21 | 2014-11-11 | Sharp Kabushiki Kaisha | Display device configured to simultaneously exhibit multiple display modes |
WO2009104818A1 (en) * | 2008-02-21 | 2009-08-27 | Sharp Kabushiki Kaisha | Display |
JP2010257160A (en) * | 2009-04-23 | 2010-11-11 | Nec Casio Mobile Communications Ltd | Terminal equipment, display method, and program |
JP2011258195A (en) * | 2010-06-09 | 2011-12-22 | Boeing Co | Man-machine interface based on gesture |
US9569010B2 (en) | 2010-06-09 | 2017-02-14 | The Boeing Company | Gesture-based human machine interface |
JP2012032964A (en) * | 2010-07-29 | 2012-02-16 | Olympus Imaging Corp | Display device |
JP2012090256A (en) * | 2010-09-22 | 2012-05-10 | Nikon Corp | Image display device and imaging device |
WO2012053032A1 (en) * | 2010-10-20 | 2012-04-26 | 三菱電機株式会社 | Three-dimensional display device |
JP5781080B2 (en) * | 2010-10-20 | 2015-09-16 | 三菱電機株式会社 | 3D stereoscopic display device and 3D stereoscopic display processing device |
US9083962B2 (en) | 2010-10-20 | 2015-07-14 | Mitsubishi Electric Corporation | 3Dimension stereoscopic display device |
JP2012103981A (en) * | 2010-11-11 | 2012-05-31 | Sony Corp | Information processor, stereoscopic vision display method and program |
US9176624B2 (en) | 2010-11-11 | 2015-11-03 | Sony Corporation | Information processing apparatus, stereoscopic display method, and program |
US9432652B2 (en) | 2010-11-11 | 2016-08-30 | Sony Corporation | Information processing apparatus, stereoscopic display method, and program |
US10652515B2 (en) | 2010-11-11 | 2020-05-12 | Sony Corporation | Information processing apparatus, stereoscopic display method, and program |
US9456203B2 (en) | 2010-11-11 | 2016-09-27 | Sony Corporation | Information processing apparatus, stereoscopic display method, and program |
US10349034B2 (en) | 2010-11-11 | 2019-07-09 | Sony Corporation | Information processing apparatus, stereoscopic display method, and program |
JP2012103982A (en) * | 2010-11-11 | 2012-05-31 | Sony Corp | Information processor, stereoscopic vision display method and program |
JP2012103983A (en) * | 2010-11-11 | 2012-05-31 | Sony Corp | Information processor, stereoscopic vision display method and program |
RU2616565C2 (en) * | 2010-12-24 | 2017-04-17 | Самсунг Электроникс Ко., Лтд. | Terminal with three-dimensional (3d) display and method for its operation |
AU2011345468B2 (en) * | 2010-12-24 | 2015-02-26 | Samsung Electronics Co., Ltd. | Three dimensional (3D) display terminal apparatus and operating method thereof |
WO2012087085A1 (en) * | 2010-12-24 | 2012-06-28 | Samsung Electronics Co., Ltd. | Three dimensional (3d) display terminal apparatus and operating method thereof |
JP2014507701A (en) * | 2010-12-24 | 2014-03-27 | サムスン エレクトロニクス カンパニー リミテッド | 3D display terminal device and operation method thereof |
US9495805B2 (en) | 2010-12-24 | 2016-11-15 | Samsung Electronics Co., Ltd | Three dimensional (3D) display terminal apparatus and operating method thereof |
KR101763263B1 (en) | 2010-12-24 | 2017-07-31 | 삼성전자주식회사 | 3d display terminal apparatus and operating method |
JP2012208595A (en) * | 2011-03-29 | 2012-10-25 | Jvc Kenwood Corp | Stereoscopic image display device and stereoscopic image display method |
JP2013058136A (en) * | 2011-09-09 | 2013-03-28 | Kddi Corp | User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program |
JP2013066028A (en) * | 2011-09-16 | 2013-04-11 | Nikon Corp | Display device and display control program |
EP2803198A4 (en) * | 2012-01-11 | 2015-09-16 | Samsung Electronics Co Ltd | 3d display apparatus and method thereof |
US10115220B2 (en) | 2012-01-11 | 2018-10-30 | Samsung Electronics Co., Ltd | Method and apparatus for changing 3D display based on rotation state |
JP2013080491A (en) * | 2012-11-29 | 2013-05-02 | Nec Casio Mobile Communications Ltd | Terminal device, display method, and program |
JP2016021082A (en) * | 2014-07-11 | 2016-02-04 | 船井電機株式会社 | Image display device |
JP2016129341A (en) * | 2016-01-26 | 2016-07-14 | 株式会社ニコン | Control device and program |
US10963137B2 (en) | 2016-03-30 | 2021-03-30 | Brother Kogyo Kabushiki Kaisha | Information display apparatus and non-transitory recording medium storing program for controlling information display apparatus |
WO2018003860A1 (en) * | 2016-06-28 | 2018-01-04 | 株式会社ニコン | Display device, program, display method, and controller |
JPWO2018003860A1 (en) * | 2016-06-28 | 2019-05-23 | 株式会社ニコン | Display device, program, display method and control device |
JPWO2018003859A1 (en) * | 2016-06-28 | 2019-05-16 | 株式会社ニコン | Display device, program, display method and control device |
CN109643208A (en) * | 2016-06-28 | 2019-04-16 | 株式会社尼康 | Display device, program, display methods and control device |
US10747395B2 (en) | 2016-06-28 | 2020-08-18 | Nikon Corporation | Display device, program, display method and control device |
WO2018003859A1 (en) * | 2016-06-28 | 2018-01-04 | 株式会社ニコン | Display device, program, display method, and control device |
US10983680B2 (en) | 2016-06-28 | 2021-04-20 | Nikon Corporation | Display device, program, display method and control device |
JP2019091380A (en) * | 2017-11-17 | 2019-06-13 | 株式会社東海理化電機製作所 | Display control apparatus, input apparatus, and program |
CN112485558A (en) * | 2020-11-04 | 2021-03-12 | 深圳市鼎阳科技股份有限公司 | Measurement data graphical display method and equipment and vector network analyzer |
Also Published As
Publication number | Publication date |
---|---|
JP4076090B2 (en) | 2008-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4076090B2 (en) | Image display system | |
CN109564495B (en) | Display device, storage medium, display method, and control device | |
US8570372B2 (en) | Three-dimensional imager and projection device | |
US9891704B2 (en) | Augmented reality with direct user interaction | |
WO2018003861A1 (en) | Display device and control device | |
US9658765B2 (en) | Image magnification system for computer interface | |
CN106919294B (en) | 3D touch interaction device, touch interaction method thereof and display device | |
EP2249558A1 (en) | Digital image capturing device with stereo image display and touch functions | |
WO2013018099A2 (en) | System and method for interfacing with a device via a 3d display | |
WO2006061959A1 (en) | 3-d two-dimensional image display unit and 3-d two-dimensional image displaying method | |
JP2004272354A (en) | Stereoscopic display type operation panel | |
WO2007097225A1 (en) | Image display device | |
US9727144B2 (en) | 3D interaction apparatus, display device including the same, and method of driving the same | |
JPH09238369A (en) | Three-dimension image display device | |
JP2010107685A (en) | Three-dimensional display apparatus, method, and program | |
JP6065908B2 (en) | Stereoscopic image display device, cursor display method thereof, and computer program | |
TW201303368A (en) | Display apparatus | |
JP2005175973A (en) | Stereoscopic display device | |
Yasui et al. | Occlusion-robust sensing method by using the light-field of a 3D display system toward interaction with a 3D image | |
JP2016164701A (en) | Information processor and method for controlling information processor | |
JP2013168120A (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
WO2014061310A1 (en) | Display object control system, display object control method, and program | |
JP2005189426A (en) | Information display device and information input/output device | |
JP2012252386A (en) | Display device | |
JP4503484B2 (en) | Space floating image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4076090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |