JP2011227718A - Pointing device and pointing method - Google Patents

Pointing device and pointing method Download PDF

Info

Publication number
JP2011227718A
JP2011227718A JP2010097082A JP2010097082A JP2011227718A JP 2011227718 A JP2011227718 A JP 2011227718A JP 2010097082 A JP2010097082 A JP 2010097082A JP 2010097082 A JP2010097082 A JP 2010097082A JP 2011227718 A JP2011227718 A JP 2011227718A
Authority
JP
Japan
Prior art keywords
image
parallax image
pointing
parallax
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010097082A
Other languages
Japanese (ja)
Inventor
Akihiro Oue
晃弘 大上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010097082A priority Critical patent/JP2011227718A/en
Publication of JP2011227718A publication Critical patent/JP2011227718A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve a problem related to a disclosed technique of indicating a point on a screen by a light beam and tracking the position of the point using a camera in a pointing device.SOLUTION: The pointing device of an embodiment includes: means for capturing stereoscopic image; means for extracting a parallax image from the captured stereoscopic image; and means for applying linear transformation processing to the extracted parallax image and normalizing it. The pointing device also includes: means for detecting the center coordinates of an area including the captured parallax image; means for inputting depth information for pointing the parallax image; and means for generating the parallax image using the depth information.

Description

本発明の実施形態は、画像に対してポインティングを行うポインティング装置に関する。   Embodiments described herein relate generally to a pointing device that performs pointing on an image.

現在、３次元画像や３D画像と呼ばれるような立体視画像が普及しつつある。
このような立体視画像が視聴できる環境において、従来のレーザーポインタでは水平、垂直位置しか視聴者に伝えることが出来ず、深さを伝える手段が無いという課題があった。 Currently, stereoscopic images called three-dimensional images and 3D images are becoming widespread.
In an environment where such a stereoscopic image can be viewed, there is a problem that the conventional laser pointer can convey only the horizontal and vertical positions to the viewer, and there is no means for conveying the depth.

特開2004-194033号公報Japanese Patent Laid-Open No. 2004-194033

ポインティング装置において、光ビームによってスクリーン上の点を指示し、その位置をカメラが追尾する技術が開示されている。しかし、光ビームをスクリーン上に映し出さなければならないという問題があった。 In a pointing device, a technique is disclosed in which a point on a screen is indicated by a light beam, and the camera tracks the position. However, there was a problem that the light beam had to be projected on the screen.

実施形態のポインティング装置においては、立体画像を撮像する撮像手段と、前記撮像された立体画像から視差画像を抽出する視差画像抽出手段と、前記抽出された視差画像に対して線形変換処理を行い、正規化する視差画像正規化手段を備えている。 In the pointing device of the embodiment, an imaging unit that captures a stereoscopic image, a parallax image extraction unit that extracts a parallax image from the captured stereoscopic image, and a linear conversion process on the extracted parallax image, Disparity image normalizing means for normalizing is provided.

また、前記正規化された視差画像における前記撮像された視差画像を含む領域の中心座標を検出する中心座標検出手段と、前記視差画像をポイントするための深さ情報が入力される深さ情報入力手段と、前記入力された深さ情報が用いられる視差画像を生成する視差画像生成手段を備え、視差画像に対して深さ情報が反映されたポインティングを出力するように構成されている。   In addition, a center coordinate detection unit that detects center coordinates of a region including the captured parallax image in the normalized parallax image, and depth information input for inputting depth information for pointing to the parallax image And a parallax image generating unit that generates a parallax image in which the input depth information is used, and configured to output a pointing in which the depth information is reflected on the parallax image.

実施形態に係わるポインティング装置の外観を示す図。The figure which shows the external appearance of the pointing device concerning embodiment. 実施形態に係わるポインティング装置（ポインティングデバイス）の構成を示すブロック図。1 is a block diagram showing a configuration of a pointing device (pointing device) according to an embodiment. 実施形態に係わるポインティング装置の入力画像（ポインティングデバイスが見る画像）を示す図。FIG. 3 is a diagram illustrating an input image (an image viewed by a pointing device) of the pointing device according to the embodiment. 実施形態に係わるポインティング装置の入力画像が正規化された視差画像を示す図。The figure which shows the parallax image by which the input image of the pointing device concerning embodiment was normalized. 実施形態に係わるポインティング装置における視差画像の生成例を示す図。FIG. 6 is a diagram illustrating an example of generating a parallax image in the pointing device according to the embodiment. 実施形態に係わるポインティング装置における左目用画像の例を示す図。FIG. 5 is a diagram illustrating an example of a left-eye image in the pointing device according to the embodiment. 実施形態に係わるポインティング装置における右目用画像の例を示す図。FIG. 6 is a diagram illustrating an example of a right-eye image in the pointing device according to the embodiment. 実施形態に係わるポインティング装置の動作を示すフローチャート。6 is a flowchart showing the operation of the pointing device according to the embodiment.

以下、図面を参照し、この発明の実施形態を説明する。
＜実施形態１＞
図１は、実施形態に係わるポインティング装置の外観を示す図である。
符号100はポインティング装置である。符号101は 赤外線カメラ（カメラ部）、符号105は ホイール（深さ入力部）である。
ポインティング装置100は、例えば、プロジェクタ（PJ）で投影された立体画像（３D画像）を赤外線カメラ（カメラ部）101で撮像する。そして、後述するように、ユーザによってホイールや入力キー等の深さ入力部105から、ポインティング装置100でポイント表示（ポインティング）したい対象物の深さが入力される。 Embodiments of the present invention will be described below with reference to the drawings.
<Embodiment 1>
FIG. 1 is a diagram illustrating an appearance of a pointing device according to the embodiment.
Reference numeral 100 denotes a pointing device. Reference numeral 101 denotes an infrared camera (camera unit), and reference numeral 105 denotes a wheel (depth input unit).
For example, the pointing device 100 captures a stereoscopic image (3D image) projected by a projector (PJ) with an infrared camera (camera unit) 101. As will be described later, the depth of an object to be point-displayed (pointed) by the pointing device 100 is input from the depth input unit 105 such as a wheel or an input key by the user.

図２は、実施形態に係わるポインティング装置（ポインティングデバイス）の構成を示すブロック図である。
符号101はポインティング装置100が構成する赤外線カメラ、符号102は特徴点抽出部、符号103はアフィン変換部、符号104は座標生成部、符号105は深さ入力部、符号106は座標・深さ送信部、符号107は座標・深さ受信部、符号108は視差画像生成部、符号109は視差画像出力部である。 FIG. 2 is a block diagram illustrating a configuration of a pointing device (pointing device) according to the embodiment.
Reference numeral 101 denotes an infrared camera configured by the pointing device 100, reference numeral 102 denotes a feature point extraction unit, reference numeral 103 denotes an affine transformation unit, reference numeral 104 denotes a coordinate generation unit, reference numeral 105 denotes a depth input unit, reference numeral 106 denotes a coordinate / depth transmission Reference numeral 107 denotes a coordinate / depth receiver, reference numeral 108 denotes a parallax image generator, and reference numeral 109 denotes a parallax image output unit.

まず、ユーザはプロジェクタ（PJ）で投影された視差画像表示からなる立体画像（３D画像）を赤外線カメラ（カメラ部）101で撮像する。赤外線カメラ101は、この視差画像表示領域内のポイントしたい水平、垂直位置へ向けられる。 First, the user captures a stereoscopic image (3D image) composed of parallax images projected by a projector (PJ) with an infrared camera (camera unit) 101. The infrared camera 101 is directed to the horizontal and vertical positions to be pointed in the parallax image display area.

この時の赤外線カメラ101への入力画像、すなわち赤外線カメラ101が撮像する画像（ポインティングデバイスが見る画像）は、例えば、図３に示す通りである。
後述するが、実施の形態においては、入力画像201は、この入力画像201内に視差画像表示部102によって表示される視差画像202が存在し、視差画像202内に入力画像の中心203が存在する必要がある。 An input image to the infrared camera 101 at this time, that is, an image captured by the infrared camera 101 (an image seen by the pointing device) is, for example, as shown in FIG.
As will be described later, in the embodiment, the input image 201 includes a parallax image 202 displayed by the parallax image display unit 102 in the input image 201 and a center 203 of the input image in the parallax image 202. There is a need.

特徴点抽出部102は、赤外線カメラへ101で撮像された画像すなわち入力画像201から、例えば、視差画像202の４隅を特徴点として認識する。これは視差画像202の境界を識別することによって可能である。 The feature point extraction unit 102 recognizes, for example, four corners of the parallax image 202 as feature points from the image captured by the infrared camera 101 with the image 101, that is, the input image 201. This is possible by identifying the boundaries of the parallax image 202.

そして、アフィン変換部103において、赤外線カメラへ101で撮像された視差画像202が正規化される。
幾何学において、アフィン写像あるいはアフィン線型写像とは、アフィン空間の準同型構造を保つような写像のことである。特に始域と終域が同じであるようなアフィン写像をアフィン変換という。ここでは、アフィン変換を行うことにより、線型変換処理が施される。 In the affine transformation unit 103, the parallax image 202 captured by the infrared camera 101 is normalized.
In geometry, an affine map or affine linear map is a map that maintains the homomorphic structure of the affine space. In particular, an affine map in which the start and end regions are the same is called an affine transformation. Here, linear conversion processing is performed by performing affine transformation.

正規化された視差画像を、後述するように、例えば、図４に示す。入力画像の中心203は視差画像の正規化によって入力画像の中心302に射影されている。
座標生成部104では、入力画像の中心302の、正規化された視差画像301における座標が算出される。
また、ユーザがポイントしたい深さ情報が、上記のように、深さ入力部105より入力される。
こうして生成された座標と深さ情報を、座標・深さ送信部106よりプロジェクタへ出力される。
プロジェクタでは、座標・深さ受信部107よりポインティングデバイスで生成された座標と深さ情報を受信する。
この深さ情報を利用して、視差画像生成部108で視差画像が生成され、外部へ出力される。
この、深さ情報が入力され、視差画像生成部108で視差画像が生成された視差画像、すなわち所望の深さ情報が入力されたポインティングは、ここでは、視差画像表示部109で表示される。 As will be described later, the normalized parallax image is shown in FIG. 4, for example. The center 203 of the input image is projected onto the center 302 of the input image by normalizing the parallax image.
In the coordinate generation unit 104, the coordinates in the normalized parallax image 301 of the center 302 of the input image are calculated.
Further, the depth information that the user wants to point is input from the depth input unit 105 as described above.
The coordinates and depth information generated in this way are output from the coordinate / depth transmission unit 106 to the projector.
The projector receives coordinates and depth information generated by the pointing device from the coordinate / depth receiving unit 107.
Using this depth information, a parallax image is generated by the parallax image generation unit 108 and output to the outside.
The parallax image in which the depth information is input and the parallax image is generated by the parallax image generation unit 108, that is, the pointing to which the desired depth information is input is displayed on the parallax image display unit 109 here.

符号110は立体視眼鏡であり、いわゆる３Dメガネである。ユーザは、この立体視眼鏡110を使用して、視差画像表示部109で表示された、所望の深さ情報が入力されたポインティングを視聴する。 Reference numeral 110 denotes stereoscopic glasses, which are so-called 3D glasses. Using this stereoscopic glasses 110, the user views the pointing displayed with the desired depth information displayed on the parallax image display unit 109.

図３は、実施形態に係わるポインティング装置の入力画像（ポインティングデバイスが見る画像）を示す図である。
符号20は3D映像を表示するプロジェクタ(PJ)である。プロジェクタ20は、所定のクレーリーン（図示せず）に向け、3D映像である視差画像202を表示する。 FIG. 3 is a diagram illustrating an input image (an image viewed by the pointing device) of the pointing device according to the embodiment.
Reference numeral 20 denotes a projector (PJ) that displays 3D video. The projector 20 displays a parallax image 202, which is a 3D image, toward a predetermined clayey (not shown).

ポインティング装置(PD)100は、この視差画像202を撮像する。
上記のように、ユーザは、プロジェクタ（PJ）20で投影された視差画像表示からなる立体画像（３D画像）を、赤外線カメラ（カメラ部）101で撮像する。赤外線カメラ101は、この視差画像表示領域内のポイントしたい水平、垂直位置へ向けられる。 A pointing device (PD) 100 captures the parallax image 202.
As described above, the user captures a stereoscopic image (3D image) including a parallax image display projected by the projector (PJ) 20 with the infrared camera (camera unit) 101. The infrared camera 101 is directed to the horizontal and vertical positions to be pointed in the parallax image display area.

ここでは、符号201は、入力画像すなわち、ポインティングデバイスが見る画像である。
符号203は、入力画像の中心である。
ここでは、入力画像201は、この入力画像201内に視差画像表示部102によって表示される視差画像202が存在し、視差画像202内に入力画像の中心203が存在する。 Here, reference numeral 201 denotes an input image, that is, an image viewed by the pointing device.
Reference numeral 203 denotes the center of the input image.
Here, in the input image 201, the parallax image 202 displayed by the parallax image display unit 102 exists in the input image 201, and the center 203 of the input image exists in the parallax image 202.

図４は、上記のように、実施形態に係わるポインティング装置の入力画像が正規化された視差画像を示す図である。
符号301は、正規化された視差画像である。符号302は、入力画像の中心である。
図５は、実施形態に係わるポインティング装置における視差画像の生成例を示す図である。
符号403は上記視差画像、符号404は左目用画像ポインタ、符号405は右目用画像ポインタである。
符号402は所望のポインタ位置であり、立体視眼鏡401を使用するユーザにより、視聴される。
ここでは、立体視眼鏡401の左目および右目よりポインタ位置402を通る直線を想定する。この直線と視差画像403の深さが交差する点を、それぞれ左目用画像のポインタ位置404、右目用画像のポインタ位置405とする。 FIG. 4 is a diagram illustrating a parallax image in which the input image of the pointing device according to the embodiment is normalized as described above.
Reference numeral 301 denotes a normalized parallax image. Reference numeral 302 denotes the center of the input image.
FIG. 5 is a diagram illustrating a generation example of a parallax image in the pointing device according to the embodiment.
Reference numeral 403 is the parallax image, reference numeral 404 is a left-eye image pointer, and reference numeral 405 is a right-eye image pointer.
Reference numeral 402 denotes a desired pointer position, which is viewed by a user using the stereoscopic glasses 401.
Here, a straight line passing through the pointer position 402 from the left eye and the right eye of the stereoscopic glasses 401 is assumed. The points where the straight lines and the depth of the parallax image 403 intersect are defined as a pointer position 404 for the left-eye image and a pointer position 405 for the right-eye image, respectively.

左目用画像501の左目用ポイント位置404にポインタ502を描画し、右目用画像601の右目用ポイント位置405にポインタ602を描画する。この実施の形態においては、このように視差画像を生成する。 A pointer 502 is drawn at the left eye point position 404 of the left eye image 501, and a pointer 602 is drawn at the right eye point position 405 of the right eye image 601. In this embodiment, the parallax image is generated in this way.

すなわち、上記生成された視差画像は、立体視眼鏡の左目および右目よりポインタ位置を通る直線に対し、この直線と視差画像の深さが交差する点を左目用画像ポインタ位置、右目用画像ポインタ位置とし、左目用画像の左目用ポイント位置にポインタを描画し、右目用画像の右目用ポイント位置にポインタを描画するように生成される。   That is, the generated parallax image has a left eye image pointer position and a right eye image pointer position at a point where the depth of the parallax image intersects the straight line passing the pointer position from the left eye and the right eye of the stereoscopic glasses. The pointer is drawn at the left eye point position of the left eye image, and the pointer is drawn at the right eye point position of the right eye image.

図６は、実施形態に係わるポインティング装置における左目用画像の例を示す図である。
符号501は左目用画像である。符号502はポインタ位置である。
図７は、実施形態に係わるポインティング装置における右目用画像の例を示す図である。
符号601は右目用画像である。符号602はポインタ位置である。
すなわち、この実施の形態に係るポインティング装置は、赤外線カメラ101で立体画像を撮像する。
この赤外線カメラ101で撮像された立体画像から上記のように、視差画像が抽出される。
そして、この抽出された視差画像に対してアフィン変換等の線形処理が行われ、正規化される。
また、正規化された視差画像における撮像された立体画像の中心座標が検出される。
また、立体画像に対して、上記ポイントを行うための深さ情報が入力される。
そして、この入力された深さ情報が用いられた視差画像が生成され、立体画像に対して深さ情報が反映されたポインティングが出力される。
＜実施形態２＞
上記に加え、この実施の形態においては、視差画像表示部109で表示されるポインティングに係る情報、すなわち所望の深さ情報が入力されたポインティングに係る情報は、再度、赤外線カメラ101にフィードバックされ、特に図示しないが、さらに深さ情報が自動的に調整される深さ情報調整部を構成することも可能である。 FIG. 6 is a diagram illustrating an example of a left-eye image in the pointing device according to the embodiment.
Reference numeral 501 is a left-eye image. Reference numeral 502 denotes a pointer position.
FIG. 7 is a diagram illustrating an example of a right-eye image in the pointing device according to the embodiment.
Reference numeral 601 is a right-eye image. Reference numeral 602 denotes a pointer position.
That is, the pointing device according to this embodiment captures a stereoscopic image with the infrared camera 101.
As described above, the parallax image is extracted from the stereoscopic image captured by the infrared camera 101.
Then, the extracted parallax image is subjected to linear processing such as affine transformation and normalized.
In addition, the center coordinates of the captured stereoscopic image in the normalized parallax image are detected.
Further, depth information for performing the above point is input to the stereoscopic image.
Then, a parallax image using the input depth information is generated, and pointing in which the depth information is reflected on the stereoscopic image is output.
<Embodiment 2>
In addition to the above, in this embodiment, information related to pointing displayed on the parallax image display unit 109, that is, information related to pointing to which desired depth information is input is fed back to the infrared camera 101 again. Although not particularly illustrated, it is also possible to configure a depth information adjusting unit that automatically adjusts depth information.

図８は、上記実施形態に係わるポインティング装置の動作を示すフローチャートである。
符号S10は、ここでの開始ステップである。続いて符号S11を付したステップへ進む。
符号S11は、ユーザが、ポインティング装置100の赤外線カメラ101を視差画像表示領域内のポイントしたい水平・垂直位置へ向けるステップである。続いて符号S12を付したステップへ進む。 FIG. 8 is a flowchart showing the operation of the pointing device according to the embodiment.
Reference sign S10 is a start step here. Then, it progresses to the step which attached | subjected code | symbol S11.
Reference sign S11 is a step in which the user points the infrared camera 101 of the pointing device 100 to a horizontal / vertical position where the user wants to point in the parallax image display area. Then, it progresses to the step which attached | subjected code | symbol S12.

符号S12は、特徴点抽出部102において、赤外線カメラ101への入力画像201から視差画像202の４隅を特徴点として認識するステップである。例えば、視差画像202の境界を識別する。続いて符号S13を付したステップへ進む。   Symbol S12 is a step in which the feature point extraction unit 102 recognizes four corners of the parallax image 202 from the input image 201 to the infrared camera 101 as feature points. For example, the boundary of the parallax image 202 is identified. Then, it progresses to the step which attached | subjected code | symbol S13.

符号S13は、アフィン変換部103において、視差画像202を正規化するステップである。上記のように、例えばアフィン変換等の線形変換処理を行う。続いて符号S14を付したステップへ進む。   Symbol S13 is a step of normalizing the parallax image 202 in the affine transformation unit 103. As described above, for example, linear transformation processing such as affine transformation is performed. Then, it progresses to the step which attached | subjected code | symbol S14.

符号S14は、上記のように、座標生成部104で、入力画像の中心302の正規化された視差画像における座標を検出するステップである。続いて符号S15を付したステップへ進む。   Reference S14 is a step in which the coordinate generation unit 104 detects the coordinates in the normalized parallax image of the center 302 of the input image as described above. Then, it progresses to the step which attached | subjected code | symbol S15.

符号S15は、ポイントしたい深さ情報をユーザが、深さ入力部105より入力するステップである。ここで所望のポインティングの深さが入力される。
ポインティングの深さは例えば、図１に示すホイール105が用いられる。ユーザはこのホイール105を操作し、所望のポインティングの深さが入力される。
ここでのポインティングの深さは例えば、センチメートル（cm）やミリメートル（mm）、メートル（m）等の長さの単位が表示されるように構成しても良いし、実際に表示されるポインティングを見ながら、ユーザが前後等を調整するように構成しても良い。続いて符号S16を付したステップへ進む。 Reference S15 is a step in which the user inputs depth information to be pointed from the depth input unit 105. Here, a desired pointing depth is input.
For example, a wheel 105 shown in FIG. 1 is used for the pointing depth. The user operates the wheel 105 to input a desired pointing depth.
The pointing depth here may be configured to display a unit of length such as centimeter (cm), millimeter (mm), or meter (m), or the pointing that is actually displayed. The user may be configured to adjust the front and back while watching. Subsequently, the process proceeds to the step denoted by reference numeral S16.

符号S16は、符号S14で得た座標および符号S15で入力された深さ情報をプロジェクタへ送信するステップである。
符号S17は、ポインティングデバイスより符号S16で送信された座標および深さ情報を受信するステップである。
符号S18は、視差画像生成部108で、上記深さ情報を利用して視差画像を生成するステップである。続いて符号S19を付したステップへ進む。
符号S19は、深さ情報が調整されたポインタ（視差画像）を出力するステップである。続いて符号S19を付したステップへ進む。
符号S20は、上記深さ情報に基づいたポインタ（視差画像）を表示するステップである。続いて符号S20を付したステップへ進む。
符号S21は終了ステップであり、ここでの処理は終了する。
この実施の形態は、上記のように、そして視差画像表示部107により、左目用画像501と右目用画像502が出力される。最後に表示された視差画像を立体視眼鏡108を介して視聴し、左目用画像501を左目で、右目用画像502を右目で視聴することにより、上記入力された深さ情報に基づいて、３次元（３D）ポインティングが実現される。 Reference S16 is a step of transmitting the coordinates obtained in S14 and the depth information input in S15 to the projector.
Symbol S17 is a step of receiving the coordinate and depth information transmitted by the symbol S16 from the pointing device.
Reference S18 is a step in which the parallax image generation unit 108 generates a parallax image using the depth information. Then, it progresses to the step which attached | subjected code | symbol S19.
Symbol S19 is a step of outputting a pointer (parallax image) whose depth information has been adjusted. Then, it progresses to the step which attached | subjected code | symbol S19.
Symbol S20 is a step of displaying a pointer (parallax image) based on the depth information. Then, it progresses to the step which attached | subjected code | symbol S20.
Symbol S21 is an end step, and the processing here ends.
In this embodiment, as described above, the parallax image display unit 107 outputs the left-eye image 501 and the right-eye image 502. The last displayed parallax image is viewed through the stereoscopic glasses 108, the left-eye image 501 is viewed with the left eye, and the right-eye image 502 is viewed with the right eye. Dimensional (3D) pointing is achieved.

上記のように構成することによって、この実施の形態においては、深さ情報が入力され、その深さ情報を用いてポインタの視差画像が生成される。これにより、実用的な３次元ポインティング装置を実現することが可能になる。   By configuring as described above, in this embodiment, depth information is input, and a parallax image of the pointer is generated using the depth information. Thereby, a practical three-dimensional pointing device can be realized.

なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。   Note that the above embodiment is not limited to the description itself, and in the implementation stage, the constituent elements can be variously modified and embodied without departing from the spirit of the invention.

101…ポインティング装置、101…赤外線カメラ、102…特徴点抽出部、103…アフィン変換部、104…座標生成部、105…深さ入力部、106…座標・深さ送信部、107…座標・深さ受信部、108…視差画像生成部、109…視差画像表示部、110…立体視眼鏡。   DESCRIPTION OF SYMBOLS 101 ... Pointing device, 101 ... Infrared camera, 102 ... Feature point extraction part, 103 ... Affine transformation part, 104 ... Coordinate generation part, 105 ... Depth input part, 106 ... Coordinate / depth transmission part, 107 ... Coordinate / depth A receiving unit, 108 ... a parallax image generation unit, 109 ... a parallax image display unit, 110 ... stereoscopic vision glasses.

Claims (8)

立体画像に対してポインティングを行うポインティング装置において、
立体画像を撮像する撮像手段と、
前記撮像された立体画像から視差画像を抽出する視差画像抽出手段と、
前記抽出された視差画像に対して線形変換処理を行い、正規化する視差画像正規化手段と、
前記正規化された視差画像における前記撮像された立体画像の中心座標を検出する中心座標検出手段と、
前記立体画像をポイントするための深さ情報が入力される深さ情報入力手段と、
前記入力された深さ情報が用いられる視差画像を生成する視差画像生成手段を備え、立体画像に対して深さ情報が反映されたポインティングを出力することを特徴とするポインティング装置。 In a pointing device that performs pointing on a stereoscopic image,
An imaging means for imaging a stereoscopic image;
Parallax image extraction means for extracting a parallax image from the captured stereoscopic image;
A parallax image normalizing unit that performs linear transformation processing on the extracted parallax image and normalizes the parallax image;
Center coordinate detection means for detecting center coordinates of the captured stereoscopic image in the normalized parallax image;
Depth information input means for inputting depth information for pointing to the stereoscopic image;
A pointing device comprising: a parallax image generating unit configured to generate a parallax image using the input depth information, and outputting a pointing in which the depth information is reflected on a stereoscopic image. 前記線形処理は、アフィン変換処理が用いられることを特徴とする請求項１または２に記載のポインティング装置。   The pointing device according to claim 1, wherein an affine transformation process is used for the linear process. 前記生成された視差画像は、立体視眼鏡を通して視聴されることを特徴とする請求項１乃至２に記載のポインティング装置。   The pointing device according to claim 1, wherein the generated parallax image is viewed through stereoscopic glasses. 前記生成された視差画像は、前記立体視眼鏡の左目および右目より前記ポインタ位置を通る直線に対し、この直線と視差画像の深さが交差する点を左目用画像ポインタ位置、右目用画像ポインタ位置とし、左目用画像の左目用ポイント位置にポインタを描画し、右目用画像の右目用ポイント位置にポインタを描画するように生成されることを特徴とする請求項１乃至３に記載のポインティング装置。   The generated parallax image has a left eye image pointer position and a right eye image pointer position at a point where the depth of the parallax image intersects with a straight line passing through the pointer position from the left eye and right eye of the stereoscopic glasses. 4. The pointing device according to claim 1, wherein the pointing device is generated so that a pointer is drawn at a left eye point position of a left eye image and a pointer is drawn at a right eye point position of a right eye image. 立体画像に対してポインティングを行うポインティング方法において、
立体画像を撮像するステップと、
前記撮像された立体画像から視差画像を抽出するステップと、
前記抽出された視差画像に対して線形処理を行い、正規化するステップと、
前記正規化された視差画像における前記撮像された立体画像の中心座標を検出するステップと、
前記立体画像をポイントするための深さ情報が入力されるステップと、
前記入力された深さ情報が用いられる視差画像を生成するステップを備え、立体画像に対して深さ情報が反映されたポインティングを出力することを特徴とするポインティング方法。 In a pointing method for pointing to a stereoscopic image,
Capturing a stereoscopic image;
Extracting a parallax image from the captured stereoscopic image;
Performing linear processing on the extracted parallax image and normalizing;
Detecting center coordinates of the captured stereoscopic image in the normalized parallax image;
Depth information for pointing to the stereoscopic image is input;
A pointing method comprising: generating a parallax image in which the input depth information is used, and outputting a pointing in which the depth information is reflected on a stereoscopic image. 前記生成された視差画像を用いて深さ情報を調整し、出力するステップをさらに備えることを特徴とする請求項５に記載のポインティング方法。   The pointing method according to claim 5, further comprising a step of adjusting and outputting depth information using the generated parallax image. 前記線形処理は、アフィン変換処理が用いられることを特徴とする請求項５または６に記載のポインティング方法。   The pointing method according to claim 5, wherein an affine transformation process is used for the linear process. 前記生成された視差画像は、前記立体視眼鏡の左目および右目より前記ポインタ位置を通る直線に対し、この直線と視差画像の深さが交差する点を左目用画像ポインタ位置、右目用画像ポインタ位置とし、左目用画像の左目用ポイント位置にポインタを描画し、右目用画像の右目用ポイント位置にポインタを描画するように生成されることを特徴とする請求項５乃至７に記載のポインティング方法。   The generated parallax image has a left eye image pointer position and a right eye image pointer position at a point where the depth of the parallax image intersects with a straight line passing through the pointer position from the left eye and the right eye of the stereoscopic glasses. 8. The pointing method according to claim 5, wherein the pointing method is generated such that a pointer is drawn at a left-eye point position of a left-eye image and a pointer is drawn at a right-eye point position of a right-eye image.
JP2010097082A 2010-04-20 2010-04-20 Pointing device and pointing method Pending JP2011227718A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010097082A JP2011227718A (en) 2010-04-20 2010-04-20 Pointing device and pointing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010097082A JP2011227718A (en) 2010-04-20 2010-04-20 Pointing device and pointing method

Publications (1)

Publication Number Publication Date
JP2011227718A true JP2011227718A (en) 2011-11-10

Family

ID=45042986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010097082A Pending JP2011227718A (en) 2010-04-20 2010-04-20 Pointing device and pointing method

Country Status (1)

Country Link
JP (1) JP2011227718A (en)

Similar Documents

Publication Publication Date Title
US10572010B2 (en) Adaptive parallax adjustment method and virtual reality display device
EP2549762B1 (en) Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
JP5917017B2 (en) Image processing apparatus, control method therefor, and program
WO2015093315A1 (en) Image processing device and method, and program
CN102939764B (en) Image processor, image display apparatus, and imaging device
US8446461B2 (en) Three-dimensional (3D) display method and system
TW201234838A (en) Stereoscopic display device and control method of stereoscopic display device
CN103270759A (en) Zero disparity plane for feedback-ased three-dimensional video
US20110181593A1 (en) Image processing apparatus, 3d display apparatus, and image processing method
US20150029311A1 (en) Image processing method and image processing apparatus
US20130027396A1 (en) Device and method for 2d to 3d conversion
US20130044180A1 (en) Stereoscopic teleconferencing techniques
JP2015154091A (en) Image processing method, image processing device and electronic apparatus
US20120007949A1 (en) Method and apparatus for displaying
US20130050816A1 (en) Three-dimensional image processing apparatus and three-dimensional image processing method
JP2016032227A (en) Image display system, three-dimensional image pointing device, and image display device
KR20130033815A (en) Image display apparatus, and method for operating the same
TWI486052B (en) Three-dimensional image processing device and three-dimensional image processing method
US20130009949A1 (en) Method, system and computer program product for re-convergence of a stereoscopic image
JP5765418B2 (en) Stereoscopic image generation apparatus, stereoscopic image generation method, and stereoscopic image generation program
JP2011227718A (en) Pointing device and pointing method
US9269177B2 (en) Method for processing image and apparatus for processing image
JP4249187B2 (en) 3D image processing apparatus and program thereof
KR20120126897A (en) Electronic device and method for processing a 3-dimensional image

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111205