JP2014128022A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2014128022A JP2014128022A JP2012286197A JP2012286197A JP2014128022A JP 2014128022 A JP2014128022 A JP 2014128022A JP 2012286197 A JP2012286197 A JP 2012286197A JP 2012286197 A JP2012286197 A JP 2012286197A JP 2014128022 A JP2014128022 A JP 2014128022A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- marker
- dimensional image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
３次元画像を表示可能な３次元表示器で、３次元画像と、カーソル等のマーカーとを重ねて表示する技術が開示されている。 A technique for displaying a 3D image and a marker such as a cursor in a 3D display capable of displaying a 3D image is disclosed.
特許文献１に開示されている技術は、３次元画像と、カーソルとの互いの奥方向の位置関係を考慮しないで表示している。そのため、特許文献１に開示されている技術は、両者の重なりを検出する検出手段によって重なりを検出した場合、３次元画像と、カーソルとの相対位置関係に応じて、何れか一方を他方より手前に表示するように描画を制御する。したがって、特許文献１に開示されている技術は、カーソル等のマーカーを所望の３次元画像の手前に表示するために、マーカーを描画する手段に加え、両者の重なりを検出する手段を必要としていた。
The technique disclosed in
そこで、本発明の画像処理装置は、３次元画像情報を取得する取得手段と、前記取得手段により取得された３次元画像情報に基づいて３次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて、前記表示手段により表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定手段と、前記指定手段により指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、を有する。 Accordingly, an image processing apparatus according to the present invention includes an acquisition unit that acquires 3D image information, a display unit that displays a 3D image based on the 3D image information acquired by the acquisition unit, and an operation unit. Based on the received user instruction, designation means for designating a marker position indicating a part of the three-dimensional image displayed by the display means, and a predetermined range for the marker position designated by the designation means And a drawing means for drawing a marker displayed three-dimensionally in front of the three-dimensional image.
本発明によれば、前記両者の重なりを検出する手段を要さずに、所望の３次元画像の手前にマーカーを表示することができる。 According to the present invention, a marker can be displayed in front of a desired three-dimensional image without requiring a means for detecting the overlap between the two.
以下、本発明の実施形態を説明するに先立って、以降の説明で用いる用語について説明する。
２次元画像とは、表示器で表示される、例えば人や風景等を表す２次元の画像そのものを意味する。
３次元画像とは、３次元表示器で表示される、例えば人や風景等を表す３次元の画像そのものを意味する。即ち、３次元画像は、視差を有する複数の２次元画像で構成され、例えば左目用及び右目用の２つの２次元画像が交互に配置される画像である。
２次元画像情報又は３次元画像情報とは、上記の２次元画像又は３次元画像を表示するための信号源の情報を意味する。特に３次元画像情報は、少なくとも左目用及び右目用の２次元画像情報を有する。
次に、簡単に３次元表示器について説明する。３次元表示器は、３次元画像情報として、その表示器の１つの画面中に複数の２次元画像を表す複数の２次元画像情報を同時に表示する。つまり、３次元表示器に表示される３次元画像は、少なくともユーザーの左目及び右目の各視点から見た２枚以上の複数の２次元画像情報に基づいて表示される画像である。したがって、その３次元表示器の同じ位置近傍に立体表示された３次元画像は、ユーザーの視点によって大きく異なることになる。なお、ここでいう「近傍」とは、前記３次元表示器の同じ位置から予め定められた範囲のことを意味する。以下、説明で用いる「近傍」についても同様の意味であるとする。
Prior to describing embodiments of the present invention, terms used in the following description will be described below.
The two-dimensional image means a two-dimensional image itself that is displayed on a display device and represents, for example, a person or a landscape.
The three-dimensional image means a three-dimensional image itself that is displayed on a three-dimensional display and represents, for example, a person or a landscape. That is, the three-dimensional image is composed of a plurality of two-dimensional images having parallax, and is an image in which two two-dimensional images for left eye and right eye, for example, are alternately arranged.
The two-dimensional image information or the three-dimensional image information means information on a signal source for displaying the above two-dimensional image or three-dimensional image. In particular, the three-dimensional image information includes at least left-eye and right-eye two-dimensional image information.
Next, the three-dimensional display will be briefly described. The three-dimensional display device simultaneously displays a plurality of pieces of two-dimensional image information representing a plurality of two-dimensional images on one screen of the display device as three-dimensional image information. That is, the three-dimensional image displayed on the three-dimensional display is an image displayed based on at least two or more pieces of two-dimensional image information viewed from each viewpoint of the user's left eye and right eye. Therefore, the three-dimensional image displayed stereoscopically in the vicinity of the same position of the three-dimensional display greatly varies depending on the viewpoint of the user. The term “near” here means a predetermined range from the same position of the three-dimensional display. Hereinafter, “neighboring” used in the description has the same meaning.
以下、本発明の実施形態について図面に基づき説明する。 Embodiments of the present invention will be described below with reference to the drawings.
＜実施形態１＞
図１は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。
本実施形態の画像処理装置は、一般的なパーソナルコンピュータ１（以後、ＰＣ１という）を有し、ネットワーク制御部９０、ネットワーク回線１１０を介して外部から３次元画像情報等を取得する。なお、画像処理装置は、後述の記憶装置８０等から３次元画像情報を取得するようにしてもよい。また、画像処理装置は、取得した３次元画像情報に基づいた３次元画像を立体表示するための表示器２を有する。
ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０で制御される。なお、ＣＰＵ１０は、ＲＯＭ６０等に格納されているプログラムを実行することにより後述の画像処理装置の機能（ソフトウェア構成）及びフローチャートに係る処理を実現する。また、ＰＣ１は、３次元画像情報や本実施形態に用いられるプログラム等を保持する記憶装置８０を有する。更に、ＰＣ１は、各種設定やプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０、一時的な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０を有する。
<
FIG. 1 is a diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present embodiment.
The image processing apparatus according to the present embodiment includes a general personal computer 1 (hereinafter referred to as a PC 1), and acquires three-dimensional image information and the like from the outside via a
The
表示器２は、３次元画像を表示する３次元表示器３０を有する。また、表示器２は、３次元表示器３０の表示面にタッチパネル４０を有する。ユーザーは、表示面に表示された３次元画像を、タッチパネル４０を介して直接タッチして操作することができる。また、ユーザーは、キーボード５０を介してＰＣ１に対する各種の入力操作をすることができる。更に、表示器２は、撮像装置２０を有する。撮像装置２０は、ユーザーの位置や動作を認識するために３次元表示器３０の近傍に設けられている。
ＣＰＵ１０は、タッチパネル４０、マウスやタッチパッド５５、キーボード５０等を介して受け付けたユーザーの操作に基づいて、表示するマーカーの位置を指定する。なお、タッチパネル４０、マウスやタッチパッド５５、キーボード５０等は、操作部の一例である。また、本実施形態における「マーカー」とは、表示された画像の一部（以後、画像オブジェクトという）を指し示すために表示する矢印、文字、数字等を入力する際に、その入力位置を指し示すために表示するポインターやカーソル等の総称である。
The
The
次に、表示器２について、図２Ａから図２Ｄまでを用いて詳細に説明する。
図２Ａは、３次元表示器３０として用いられるレンチキュラー多視点表示器の一例を示す図である。
図２Ａに示す３次元表示器３０は、液晶表示器３００と、液晶表示器３００の前面に備えられたレンチキュラーレンズ３０１とを有する。更に、図２Ａに示す３次元表示器３０は、レンチキュラーレンズ３０１の前面に備えられたタッチパネル４０と、画面中央部に備えられた撮像装置２０とを有する。
Next, the
FIG. 2A is a diagram illustrating an example of a lenticular multi-viewpoint display used as the three-
A three-
図２Ｂは、多視点の画像を表示するための各レンチキュラーレンズ３０１と、相対位置が保証された各表示画素との一例を示す図である。
図２Ｂの３次元表示器３０は、ユーザーが６方向からこの３次元表示器３０を見た場合の多視点３次元画像の表示を可能にするため、各１つのレンチキュラーレンズ内に画素３０２から画素３０３までの一続きの７つの表示画素を有する。なお、多視点３次元画像とは、後述する図３で示すように、例えば同一被写体を複数の視点から撮影して得られた複数の視点の３次元画像やコンピュータグラフィックス等で制作された３次元画像のことである。また、本実施形態の３次元表示器３０は、公知の技術で一般的に実現される表示器であり、カラー表示が可能であるが、説明を簡略化するため、単色表示が可能な表示器であるものとする。また、以後の図において、本実施形態の３次元表示器３０における表示画素の並びを１次元的に表現するものとする。なお、以降の説明で単に「視点」と述べる場合、「視点」は、３次元表示器３０の位置から見たユーザーの両目の位置のことを意味し、１つの「視点」にはユーザーの右目用の画像と、左目用の画像とが届けられる。
FIG. 2B is a diagram illustrating an example of each
The three-
次に、ユーザーが異なる視点から３次元表示器３０を見た場合に見える画素について、図２Ｃ、図２Ｄを用いて説明する。
図２Ｃは、ユーザーが視点１から３次元表示器３０を見た場合に見える画素の一例を示す図である。
図２Ｄは、ユーザーが視点４から３次元表示器３０を見た場合に見える画素の一例を示す図である。
レンチキュラーレンズ３０１の光学特性により、視点１のユーザーの右目では画素２のみが、視点１のユーザーの左目では画素１のみが見える。また、視点４のユーザーの右目では画素５のみが、視点４のユーザーの左目では画素４のみが見える。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であるため、詳細な説明を省略する。
Next, pixels that can be seen when the user views the three-
FIG. 2C is a diagram illustrating an example of pixels that are visible when the user views the three-
FIG. 2D is a diagram illustrating an example of pixels that are visible when the user views the three-
Due to the optical characteristics of the
図３は、上記の６つの視点と、その視点に対応する画像を表示するために撮影する撮影画像との関係の一例を示す図である。
それぞれの視点では、ユーザーの左右の目それぞれで見た画像に相当する２つの２次元画像が撮影される。３次元表示器３０は、同一被写体を視点１から視点６まで連続的に３次元表示するため、視点Ｎ（Ｎは１から６までの何れかの整数）においてユーザーの左目に届ける画像Ｎと、視点Ｎ−１においてユーザーの右目に届ける画像とが同じとなる。３次元表示器３０は、これらの画像を示す２次元画像情報を分割して先のレンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すれば、図３で示す視点から被写体を見た際と同じ立体像をユーザーに見せることができる。即ち、図２Ｃ、図２Ｄで示す画素１は、視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の一部であり、画素２は、視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の一部である。また、図２Ｃ、図２Ｄで示す画素４は、視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の一部であり、画素５は、視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の一部である。
FIG. 3 is a diagram illustrating an example of a relationship between the above-described six viewpoints and a captured image that is captured to display an image corresponding to the viewpoint.
At each viewpoint, two two-dimensional images corresponding to images viewed by the user's left and right eyes are taken. Since the three-
図４は、本実施形態の画像処理装置の機能構成の一例を示す図である。
画像処理装置は、多視点３次元画像情報取得部４０１と、３次元画像表示部４０２と、画像指定部４０３と、マーカー描画部４０４とを有する。
多視点３次元画像情報取得部４０１は、ＣＰＵ１０によって制御される。多視点３次元画像情報取得部４０１は、３次元画像情報を記憶装置８０から取得したり、ネットワーク制御部９０及びネットワーク回線１１０を介して外部から取得したりする。なお、多視点３次元画像情報取得部４０１による処理は、取得処理の一例である。
３次元画像表示部４０２は、表示器２の機能に対応し、ＣＰＵ１０によって制御される。３次元画像表示部４０２は、多視点３次元画像情報取得部４０１で取得された３次元画像情報に基づいて、３次元画像を表示する。なお、３次元画像表示部４０２による処理は、表示処理の一例である。
FIG. 4 is a diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
The image processing apparatus includes a multi-viewpoint three-dimensional image
The multi-view 3D image
The three-dimensional
画像指定部４０３は、ＣＰＵ１０によって制御される。画像指定部４０３は、タッチパネル４０、キーボード５０、マウスやタッチパッド５５及び撮像装置２０を介したユーザーの指示に基づいて、表示器２に表示された画像オブジェクトの画像情報を画像指定する。つまり、画像指定部４０３は、ユーザーによる上記の画像指定操作に基づいて、画像オブジェクトの画像情報を画像指定することになる。詳細については、図５等を用いて後述する。なお、画像指定部４０３による処理は、指定処理の一例である。
マーカー描画部４０４は、ＣＰＵ１０によって制御される。マーカー描画部４０４は、画像指定部により画像指定された３次元画像オブジェクトをより明確に表示するために、前記３次元画像オブジェクトの近傍、かつ、その手前の３次元位置にマーカーを描画する。なお、マーカー描画部４０４による処理は、描画処理の一例である。
The
The
図５は、３次元画像表示部４０２が多視点３次元画像を表示している状態で、ユーザーが所望する画像オブジェクトを画像指定部４０３が指定し、マーカー描画部４０４が画像オブジェクトを指し示すマーカーを描画する処理の一例を示すフローチャートである。
Ｓ５００で、３次元画像表示部４０２は、例えば撮影した３次元画像を閲覧できるアプリケーションプログラム等の実行に応じて、３次元画像を３次元表示器３０で３次元表示し、処理をＳ５０１に進める。
Ｓ５０１で、ＣＰＵ１０は、指定の視点方向から見た３次元画像を表示する指示を検知したか否かを判定し、検知したと判定した場合、処理をＳ５０２に進める。一方、ＣＰＵ１０は、検知しなかったと判定した場合、処理をＳ５０３に進める。例えば、ＣＰＵ１０は、アプリケーションプログラム中の視点指定ボタン等でユーザーが所望する視点Ｎを指定した場合、指定された視点Ｎから見た３次元画像を正面に表示する視点指定の要求があると判定して処理をＳ５０２に進める。
In FIG. 5, in a state where the three-dimensional
In step S500, the three-dimensional
In S501, the
本実施形態では、画像オブジェクトをユーザーが指し示す前に、複数の視点の画像のうちでどの視点から見た画像に対してユーザーが画像オブジェクトを指し示すべきか、その視点Ｎを指定する処理が行われる。即ち、ユーザーは、多視点３次元画像のうち、指し示すべき画像オブジェクトを指し示しやすい視点Ｎの３次元画像上で指し示す。なお、画像指定部４０３は、複数の視点の画像のうち、ユーザーにより指定された視点の３次元画像を指定する。
Ｓ５０２で、画像指定部４０３は、３次元画像表示部４０２により表示された多視点３次元画像から、ユーザーにより指定された視点の３次元画像を指定して表示し、処理をＳ５０３に進める。Ｓ５０２の処理について、図６Ａ、図６Ｂを用いてより具体的に説明する。
In the present embodiment, before the user points to the image object, a process for designating the viewpoint N as to which image the user should point to the image object from among the viewpoints among the images of the plurality of viewpoints is performed. . That is, the user points on the three-dimensional image at the viewpoint N that easily points to the image object to be pointed out of the multi-viewpoint three-dimensional images. Note that the
In step S502, the
図６Ａは、タッチパネル４０の表示の一例を示す図である。
図６Ｂは、各視点と、３次元画像表示との関係の一例を示す図である。
３次元画像表示部４０２は、タッチパネル４０に表示される視点選択ボタン６０１のスクロールによる視点の選択に応じて、前述の６視点から成る多視点３次元画像の各視点から見た３次元画像を順次、３次元表示器３０の正面に表示させる。なお、３次元表示するための３次元画像情報は、既定の規格に合致しているものとする。３次元画像表示部４０２は、多視点３次元画像情報取得部４０１で取得され、記憶装置８０やＲＡＭ７０に格納された３次元画像情報の中から、必要に応じて３次元表示器３０が有する表示用記憶素子に各視点の３次元画像情報を選択的に供給して表示を行う。
そして、画像指定部４０３は、３次元画像表示部４０２により表示された多視点３次元画像から、ユーザーにより指定された視点の３次元画像を指定する。
FIG. 6A is a diagram illustrating an example of display on the
FIG. 6B is a diagram illustrating an example of the relationship between each viewpoint and three-dimensional image display.
The three-dimensional
Then, the
以下、ユーザーが多視点３次元画像から所望する視点を選択する手順について説明する。
３次元表示器３０のタッチパネル４０の中央部の表示領域６００に表示される情報は、ユーザーの操作により、図２で説明した多視点３次元画像を表示するための３次元画像情報から指定の視点の３次元画像のみを表示する３次元画像情報に切り替えられる。即ち、３次元画像表示部４０２は、３次元表示器３０を正面から見た場合のみユーザーが任意の視点の３次元画像を見ることができるように、各視点から見た３次元画像を表示領域６００に順次、表示するように表示制御する。より具体的には、ユーザーは、画面下部に表示された視点選択ボタン６０１をタッチパネル４０の操作によりスクロールすることで表示領域６００に表示される表示画像を切り替えることができる。例えばユーザーは、視点選択ボタン６０１をタッチパネル４０の操作で矢印方向にスクロールすれば、視点選択ボタン６０１の位置に応じて表示画像を視点６、視点５、視点４、視点３、視点２、視点１の順に各視点から見た３次元画像に切り替えることができる。
なお、ユーザーが視点選択ボタン６０１を操作しなければ、Ｓ５０１で視点指定が無いと判定され、３次元画像表示部４０２は、表示領域６００に多視点３次元画像を表示したまま、処理をＳ５０３に進める。
A procedure for the user to select a desired viewpoint from the multi-viewpoint three-dimensional image will be described below.
The information displayed in the
If the user does not operate the
多視点３次元画像は、１つのレンチキュラーレンズ内にある各視点から見た３次元画像である。３次元画像表示部４０２は、多視点３次元画像を表示するために、多視点３次元画像を構成する全ての２次元画像情報を含む３次元画像情報６０３を表示する。しかし、３次元画像表示部４０２は、処理がＳ５０２に移行すると、視点選択ボタン６０１の位置に応じて、例えば視点４用の３次元画像情報６０４が示す３次元画像を表示領域６００に表示する。ここで、視点４用の３次元画像情報６０４は、ユーザーが３次元表示器３０の正面から見た場合に視点４の３次元画像が表示されるための情報に変更されている。即ち、３次元画像表示部４０２は、レンチキュラーレンズの中央部の画素位置に視点４の左目用２次元画像情報４及び右目用２次元画像情報５を表示し、他の画素位置を黒データに固定する。これにより、ユーザーは、３次元表示器３０を正面から見れば視点４の３次元画像が見え、それ以外の角度からは何も見えなくなる。つまり、Ｓ５０２で、画像指定部４０３は、多視点３次元画像を示す３次元画像情報の一部を書き換えて、指定の視点の３次元画像のみを示す３次元画像情報に変更（又は生成）する処理を行っている。
The multi-viewpoint three-dimensional image is a three-dimensional image viewed from each viewpoint in one lenticular lens. The 3D
図５のフローチャートは一般化されているため、本実施形態では視点を４に指定した場合について説明する。つまり、図中のＮを４と読み替えて以降の説明をする。
画像指定部４０３は、視点選択ボタン６０１をユーザーが矢印方向に移動させた場合、その位置に応じて、表示する３次元画像情報を、視点４の３次元画像を表示する３次元画像情報６０４から他の視点における３次元画像情報に変更する。これにより、３次元画像表示部４０２は、視点選択ボタン６０１で指示された視点から見た３次元画像を順次表示することができる。また、指定された視点の３次元画像以外の３次元画像については表示されない処理（無効化処理）が施されているので、ユーザーが３次元表示器３０を異なる角度で見ることによって所望する画像と異なる画像が選択されることを防止することができる。ユーザーは、この視点選択ボタン６０１をスクロールして、所望の視点からの３次元画像が表示された状態にした上で、表示された３次元画像の中で、更に画像指定するべき画像オブジェクトをタッチパネル４０で指し示す。即ち、ユーザーは、タッチパネル４０を介して画像オブジェクトを指定するための入力操作（以後、画像指定入力という）を行う。
Since the flowchart of FIG. 5 is generalized, a case where the viewpoint is designated as 4 will be described in the present embodiment. That is, the following explanation will be made by replacing N in the drawing with 4.
When the user moves the
Ｓ５０３で、画像指定部４０３は、ユーザーによる画像指定入力を検知した場合、処理をＳ５０４に進める。一方、画像指定部４０３は、ユーザーによる画像指定入力を検知しなかった場合、処理をＳ５００に戻す。
Ｓ５０４、Ｓ５０５の処理は、ユーザーによって指示された画像オブジェクトを画像指定部４０３が認識する処理である。
視点４で表示される３次元画像中でユーザーが指し示した画像オブジェクトを画像指定部４０３が認識する処理を、図７Ａ、図７Ｂを用いて説明する。
図７Ａは、視点４で３次元画像として表示した左目用の画像４の一例を示す図である。
図７Ｂは、視点４で３次元画像として表示した右目用の画像５の一例を示す図である。
なお、両画像中には視差に応じて異なる矩形の被写体が表示されている。
図７Ａの左目用画像４中の矩形の被写体の中央部Ｑ４の位置（Ｘ４、Ｙ４）は、Ｓ５０３でユーザーがタッチパネル４０で指定した画像オブジェクトを指し示した位置である。
本実施形態では、ユーザーが指し示した位置はどの視点においても、その左目用の２次元画像上で確定させる。例えば視点Ｎであれば画像Ｎ上の位置である。
In step S503, when the
The processes in S504 and S505 are processes in which the
Processing for the
FIG. 7A is a diagram illustrating an example of the image 4 for the left eye displayed as a three-dimensional image at the viewpoint 4.
FIG. 7B is a diagram illustrating an example of the right-eye image 5 displayed as a three-dimensional image at the viewpoint 4.
In both images, different rectangular subjects are displayed according to the parallax.
The position (X4, Y4) of the central portion Q4 of the rectangular subject in the left-eye image 4 in FIG. 7A is the position that points to the image object designated by the user on the
In this embodiment, the position pointed to by the user is determined on the two-dimensional image for the left eye at any viewpoint. For example, if it is the viewpoint N, it is a position on the image N.
図３で説明したように、各画像１から７までは、画像４を正面にし、それぞれ被写体に既定の角度を有して撮影されている。したがって、仮想平面図７００中の被写体の座標位置は、図７Ａの左目画像４における被写体の点Ｐ１、Ｐ２、Ｐ３を、左目の視線Ｌ４１、Ｌ４２、Ｌ４３の方向に沿って仮想平面図７００に射影すれば得ることができる。この被写体の点Ｐ１からＰ３までをオブジェクトの変化点と呼ぶ。同様に、図７Ｂの右目用画像５における被写体の点Ｐ１、Ｐ２、Ｐ３を、既定の角度を有した右目の視線Ｌ５１、Ｌ５２、Ｌ５３の方向に沿って仮想平面図７００に射影する。そして、これら点Ｐ１からＰ３までを通る視線Ｌ４１からＬ４３までのそれぞれがＬ５１からＬ５３までと仮想平面図７００上で交差する位置が、仮想平面図７００中の被写体の点Ｐ１からＰ３までの奥行きに対応する座標位置である。
なお、画像指定部４０３が仮想平面図７００における被写体の点Ｐ１、Ｐ２、Ｐ３の奥行きに対応する座標位置を求める処理が画像オブジェクトを認識する処理であり、図５に示すＳ５０４の処理である。
As described with reference to FIG. 3, each of the
Note that the process in which the
Ｓ５０４で、画像指定部４０３は、画像４からの視線Ｌ４１と、画像５からの視線Ｌ５１との交点Ｐ１と、画像４からの視線Ｌ４２と、画像５からの視線Ｌ５２との交点Ｐ２と、画像４からの視線Ｌ４３と、画像５からの視線Ｌ５３との交点Ｐ３とを求めた。この交点Ｐ１からＰ３までの位置関係を図８Ａ、図８Ｂの仮想平面図７００に示す。
図８Ａは、各画像からの視線の交点の仮想平面上における位置関係の一例を示す図である。
この各交点Ｐ１、Ｐ２、Ｐ３を仮想平面図７００上で結べば、ユーザーが指し示した画像オブジェクト全体の奥行きに対応する座標位置を含む３次元の座標位置（３次元位置）を得ることができる。この様子を図８Ｂに示す。
図８Ｂは、マーカーが表示される位置の一例を示す図である。
画像指定部４０３が、このオブジェクト全体の奥行きに対応する座標位置を含む３次元位置を求める処理が、図５におけるＳ５０５の処理である。
なお、本実施形態では、両画像中の被写体の形状の変化点Ｐ１からＰ３までから得られる視線の交点から画像オブジェクトの３次元位置を求めたが、これに限る必要はない。例えば変化点は３次元的なものでなく、両画像中の被写体で対として認識できる画像の濃淡の変化等の模様であってもよい。
In step S504, the
FIG. 8A is a diagram illustrating an example of the positional relationship on the virtual plane of the intersection of the lines of sight from each image.
By connecting the intersections P1, P2, and P3 on the
FIG. 8B is a diagram illustrating an example of a position where a marker is displayed.
The process in which the
In the present embodiment, the three-dimensional position of the image object is obtained from the intersection of the lines of sight obtained from the change points P1 to P3 of the shape of the subject in both images. However, the present invention is not limited to this. For example, the change point is not three-dimensional, and may be a pattern such as a change in shade of an image that can be recognized as a pair by a subject in both images.
ここで、図８Ｂにおいて、ユーザーが指し示した箇所は、画像４の指定ポイントＱ４からの視線Ｌ４０が仮想平面上のＰ１と、Ｐ２とを結ぶ被写体の面と交わる位置Ｑである。この位置Ｑを画像オブジェクトの奥行きを考慮して３次元的に指し示すマーカーを、本実施形態では画像４上で上向きに正立する、矢印形状のマーカー８００とする。
マーカー描画部４０４は、仮想平面図７００上でマーカー８００を指定された画像オブジェクト中の指し示した箇所である位置Ｑから奥行き方向で所定の距離内の位置（近傍位置Ｍ）にマーカーを表示できるように設定する。マーカー描画部４０４が、このマーカー８００の表示位置を近傍位置Ｍに設定する処理が、図５に示すＳ５０６の処理である。
次に、Ｓ５０７で、マーカー描画部４０４は、マーカー８００を３次元表示するために画像５中に描画する位置を決定する。マーカー描画部４０４は、指定された視点が視点Ｎである場合、画像Ｎ＋１上のマーカーの描画位置を決定する。Ｓ５０７の処理について、図８Ｂを用いて説明する。
マーカー描画部４０４は、Ｓ５０６で設定した仮想平面図７００のマーカー８００の表示位置となる位置Ｍから、画像５に向けた視線Ｌ５０と、画像５中の直線Ｙ＝Ｙ４との交点（Ｘ５、Ｙ４）に、画像５上のマーカー８００の描画位置Ｑ５を決定する。なお、画像５に向けた視線Ｌ５０が他のオブジェクトで遮られた場合、視線Ｌ５０と、直線Ｙ＝Ｙ４との交点は無いため、描画位置Ｑ５は存在しないことになる。
Here, in FIG. 8B, the point indicated by the user is the position Q where the line of sight L40 from the designated point Q4 of the image 4 intersects the surface of the subject connecting P1 and P2 on the virtual plane. In this embodiment, a marker that points this position Q in a three-dimensional manner in consideration of the depth of the image object is an arrow-shaped marker 800 that stands upright on the image 4.
The
In step S <b> 507, the
The
次に、マーカーの描画処理、即ち、Ｓ５０８の処理について、図９Ａ、図９Ｂ、図９Ｃを用いて説明する。
図９Ａは、各視点の画像中のマーカー位置にマーカーが描画された一例を示す図である。
図９Ｂは、マーカー描画部４０４により生成された左目に与えられる画像の一例を示す図である。
図９Ｃは、マーカー描画部４０４により生成された右目に与えられる画像の一例を示す図である。
マーカー描画部４０４は、図９Ａに示すように、先に説明した視点４の左目用２次元画像中のマーカー位置Ｑ４（Ｘ４、Ｙ４）及び視点４の右目用２次元画像中のマーカー位置Ｑ５（Ｘ５、Ｙ４）に、矢印形状のマーカーを被写体に重ねて描画する。つまり、マーカー描画部４０４は、左目に与えられる画像４及び右目に与えられる画像５を、図９Ｂ、図９Ｃのように生成する。なお、マーカー描画部４０４は、ＲＯＭ６０等に予め格納されている矢印形状のマーカー８００を含むマーカー描画パーツから任意のパーツを選択してマーカーの描画をすることができる。
Next, the marker drawing process, that is, the process of S508 will be described with reference to FIGS. 9A, 9B, and 9C.
FIG. 9A is a diagram illustrating an example in which a marker is drawn at a marker position in each viewpoint image.
FIG. 9B is a diagram illustrating an example of an image given by the left eye generated by the
FIG. 9C is a diagram illustrating an example of an image given by the right eye generated by the
As shown in FIG. 9A, the
画像４中に描画したマーカー９０１と、画像５中に描画したマーカー９０２とは、被写体に対する視点の角度の違いからその幅が異なるが、これらの違いは各視点に応じて予めマーカー描画データとしてＲＯＭ６０に記憶保持されている。したがって、マーカー描画部４０４は、各視点画像用のマーカー描画データをＲＯＭ６０等から読み出して描画すれば、高速に描画することができる。
ユーザーは、画像４及び画像５の被写体に重ねて描画したマーカー９０１及び９０２を、それぞれ左右の目で見れば、仮想平面図７００に示すように、３次元表示における奥行き方向で、被写体の手前の近傍位置にマーカー８００が立体的に見える。
The
If the user sees the
以上、Ｓ５０８では視点４の３次元画像中の画像指定された画像オブジェクトを指し示すマーカー８００を３次元描画して３次元表示したが、先に説明したように、画像５は視点５の左目用２次元画像である。したがって、図７Ａ、図７Ｂを用いて説明した一連の処理と同様に、画像指定部４０３は、画像５の２次元画像と、画像６の２次元画像とを用いて仮想平面図７００上に被写体及びマーカー８００を認識すれば、画像６上にマーカー位置Ｑ６を得ることができる。即ち、図５におけるＳ５０５からＳ５０８までの処理を全ての視点に対して順次繰り返せば、マーカー描画部４０４は、多視点３次元画像として画像オブジェクトを指し示すマーカー８００を描画することができる。
処理をＳ５０８からＳ５００に戻せば、今描画したマーカー８００は、視点Ｎから３次元画像として見ることができる。なお、この状態でユーザーが更に画像指定位置を移動させれば、その移動に応じて先の処理が繰り返し実行される。そのため、マーカー８００は、ユーザーが指し示す画像オブジェクトの３次元位置に応じてその近傍を３次元的に変えながら移動して表示されることになる。
As described above, in S508, the marker 800 indicating the image object designated in the three-dimensional image of the viewpoint 4 is three-dimensionally drawn and three-dimensionally displayed. However, as described above, the image 5 is for the
If the processing is returned from S508 to S500, the marker 800 just drawn can be viewed from the viewpoint N as a three-dimensional image. If the user further moves the image designation position in this state, the previous processing is repeatedly executed according to the movement. Therefore, the marker 800 is moved and displayed while changing its neighborhood three-dimensionally according to the three-dimensional position of the image object pointed to by the user.
図１０Ａは、仮想平面図の表示の一例を示す図である。
図１０Ｂは、図１０Ａに対応する視点画像の一例を示す図である。なお、図１０Ｂの１００１は、３個の被写体それぞれを正面から見て指し示した例で、それぞれマーカーは１００６、１００７、１００８として３次元表示されている。
図１０Ｃは、図１０Ａと異なる視点の仮想平面図の表示の一例を示す図である。
図１０Ｄは、図１０Ｃに対応する視点画像の一例を示す図である。
図１０Ａの１００２の視点からはマーカー１００６として指し示した画像オブジェクトは、被写体１００５の影に隠れてほとんど見ることができない。したがって、その近傍に表示されたマーカー１００６は、この視点からは図示するように、ほとんど見ることができない。これは本実施形態によるマーカーの描画が指し示された画像オブジェクトをより正確に指し示していることを意味する。
FIG. 10A is a diagram illustrating an example of a virtual plan view display.
FIG. 10B is a diagram illustrating an example of a viewpoint image corresponding to FIG. 10A. Note that
FIG. 10C is a diagram illustrating an example of a display of a virtual plan view at a different viewpoint from FIG. 10A.
FIG. 10D is a diagram illustrating an example of a viewpoint image corresponding to FIG. 10C.
From the viewpoint of 1002 in FIG. 10A, the image object pointed as the
なお、本実施形態は、画像指定された画像オブジェクトを指し示すマーカーの描画方法を特徴とする。そのため、本実施形態は、指し示した画像オブジェクトをその後、特定の目的のために確定させる操作、指し示した機能表示タブを有効にする操作、その操作に従う後続の処理等に関して、公知の技術の適用を妨げるものではない。つまり、２次元表示器を用いた従来のコンピュータシステムでプレゼンテーションのために広く使われている図面を作成するためのアプリケーションソフト等と同様の操作をすることができる。例えば、３次元表示された特定の画像オブジェクトのみを削除したり、より手前に配置したり、拡大処理したり、新たな既定形状の画像オブジェクトを所望する位置に挿入したりする操作等があげられる。 The present embodiment is characterized by a method of drawing a marker that points to an image object for which an image has been designated. Therefore, in the present embodiment, application of a known technique is applied to an operation for confirming the indicated image object for a specific purpose, an operation for enabling the indicated function display tab, a subsequent process according to the operation, and the like. It does not prevent it. That is, it is possible to perform the same operation as application software for creating a drawing widely used for presentation in a conventional computer system using a two-dimensional display. For example, operations such as deleting a specific image object displayed three-dimensionally, placing it closer, enlarging, or inserting a new default shape image object at a desired position, etc. .
以上、本実施形態によれば、３次元画像表示部４０２は、多視点３次元画像情報取得部４０１が取得した多視点３次元画像情報に基づいて多視点３次元画像を表示する。そして、画像指定部４０３は、３次元画像表示部４０２により表示された多視点３次元画像から、ユーザーの指示に基づいて画像オブジェクトを指定する。更に、マーカー描画部４０４は、画像指定部４０３により指定された画像オブジェクトの近傍に、常に前記画像オブジェクトの手前に表示されるようにマーカーを描画する。これにより、本実施形態の画像処理装置は、前記画像オブジェクトと、マーカーとの重なりを検出する手段を要さずに、所望の３次元画像の手前にマーカーを表示することができる。
As described above, according to the present embodiment, the 3D
＜実施形態２＞
次に、マーカーが他の被写体で隠れている場合において、マーカーを別形態で描画する場合の実施形態について説明する。
図１１Ａから図１１Ｄまでは、図１０Ａから図１０Ｄまでで説明したように、ユーザーが指し示した視点と異なる視点で画像オブジェクト及びマーカーを見た際に、マーカーが他の被写体の後ろに隠れる場合におけるマーカーの別描画形態の一例を示す図である。
図１１Ａは、図１０Ａと同図である。
図１１Ｂは、図１０Ｂと同図である。
図１１Ｃは、図１０Ｃと同図である。
図１１Ｄは、図１０Ｄに示されるマーカー１００６の隠れている部分を識別可能に表示した視点画像の一例を示す図である。より具体的には、ほとんど被写体１００５に隠れているマーカー１１０１において、隠れた部分のみが色を変えて描画されている。
<
Next, an embodiment in which the marker is drawn in another form when the marker is hidden by another subject will be described.
11A to 11D, in the case where the marker is hidden behind another subject when the image object and the marker are viewed from a viewpoint different from the viewpoint pointed to by the user, as described in FIGS. 10A to 10D. It is a figure which shows an example of another drawing form of a marker.
FIG. 11A is the same as FIG. 10A.
FIG. 11B is the same as FIG. 10B.
FIG. 11C is the same as FIG. 10C.
FIG. 11D is a diagram illustrating an example of a viewpoint image in which a hidden portion of the
本来、図１１Ｃの仮想平面図１００４のマーカー１００６から図１１Ｄの視点画像１００３への視線Ｌ１１０は、オブジェクト１００５で遮られるため、視点画像１００３上までは届かない。そのため、マーカー描画部４０４は、マーカー１１０１を視点画像１００３上に描くことはできないが、本実施形態ではマーカーから各視点画像上への視線が他のオブジェクトで遮られていても、遮られる部分を識別可能なマーカー１１０１として描画する。即ち、マーカー描画部４０４は、視線Ｌ１１０及び視線Ｌ１１１を用いて、その一部が他のオブジェクトで遮られる部分を識別できるように、マーカー１１０１を描画する。なお、マーカー描画部４０４によるマーカー描画方法は、マーカー１１０１のように隠れた部分の色を変更して描画する方法に限る必要はない。例えば、マーカー描画部４０４は、隠れたマーカー部分の輪郭のみを実線表示し、その中は被写体１００５を透過して表示するようにしてもよい。
実施形態１では、マーカーが他の被写体に全て隠れた場合、ユーザーは、その視点から画像指定した画像オブジェクトを判別することができない。しかし、本実施形態によれば、マーカー描画部４０４が隠れた部分のマーカーを識別可能に描画することで、ユーザーは、隠れた画像オブジェクトの位置を推定することができるようになる。
Originally, the line of sight L110 from the
In the first embodiment, when the markers are all hidden behind other subjects, the user cannot discriminate the image object designated as an image from the viewpoint. However, according to the present embodiment, the
＜実施形態３＞
実施形態１では、画像指定部４０３の実施形態として、ユーザーがタッチパネル４０で画像オブジェクトをタッチして画像指定する前に、画像指定しやすい視点の３次元画像を選択させる実施形態について説明した。本実施形態では、画像指定部４０３が上記のような操作によらずユーザーの所望する画像オブジェクトを直接指し示せる実施形態について説明する。
本実施形態では、画像指定部４０３は、表示器３０を操作観測しているユーザーを、撮像装置２０を制御して撮影する。その後、画像指定部４０３は、撮影した画像からユーザーの表示器３０に対する位置を認識して、ユーザーの表示器３０に対する視点を認識する。そして、画像指定部４０３は、この認識したユーザーの視点と、タッチパネル４０のタッチ位置とによって画像指定された画像オブジェクトを確定する。なお、ユーザーの表示器３０に対する位置情報は、ユーザー位置情報の一例である。また、表示器３０の位置情報は、表示器位置情報の一例である。
<Embodiment 3>
In the first embodiment, as an embodiment of the
In the present embodiment, the
図１２は、本実施形態における処理の一例を示すフローチャートである。
なお、図５で前述した処理と同じ処理については、同じ番号で記述している。また、図５で前述した処理と同じ処理については、説明を省略する。
Ｓ５１０で、画像指定部４０３は、ユーザーの視点を認識する。Ｓ５１０の処理の詳細について、図１３、図１４を用いて詳述する。
図１３は、視点認識の原理の一例を示す図である。
図１４は、Ｓ５１０の視点認識処理の一例を示すフローチャートである。
Ｓ１３１１で、画像指定部４０３は、撮像装置２０を制御して表示器３０の中央に設置された撮像装置２０で正面を撮影し、図１３の撮影画像１２００に示す画像データを得る。そして、画像指定部４０３は、この撮影画像１２００を示す画像データをＲＡＭ７０に一時記憶させ、処理をＳ１３１２に進める。
Ｓ１３１２で、画像指定部４０３は、公知のパターンマッチング顔認識技術でユーザーの顔の位置を指定する。画像指定部４０３は、公知のパターンマッチング顔認識技術でユーザーの顔の位置を指定する。画像指定部４０３は、一般的に、人の顔認識は横に並ぶ１対の目の存在に着目して容易にその重心位置を認識することができる。
FIG. 12 is a flowchart illustrating an example of processing in the present embodiment.
The same processes as those described above with reference to FIG. 5 are described with the same numbers. The description of the same processing as that described above with reference to FIG.
In step S510, the
FIG. 13 is a diagram illustrating an example of the principle of viewpoint recognition.
FIG. 14 is a flowchart illustrating an example of the viewpoint recognition process in S510.
In step S <b> 1311, the
In step S1312, the
認識したユーザーの顔の位置からユーザーの視点を指定する原理について、図１３を用いて説明する。
一般的に、両目の視差を利用した３次元表示器では、観察者が表示器から所定の距離Ｌｍ離れた位置で最も立体画像を良好に見ることができる。即ち、撮影されたユーザーは、表示器３０から、距離Ｌｍ離れた位置で撮影されたと推定することができる。したがって、画像指定部４０３は、得られた撮影画像のユーザーの両目の間隔Ｌｉが標準的に８ｃｍだと想定して、ユーザーの位置の表示器中央からのズレＬｏを求めることができる。また、図１３において、表示器３０の前Ｌｍの位置に示す仮想のライン１２０１上のユーザーの位置、即ち点Ｐから表示器３０の中央を目指す方向がユーザーの視点といえる。
画像指定部４０３は、ユーザーが多視点３次元表示器３０を点Ｐの位置から見た場合、予め撮影され、表示されたどの視点の３次元画像が最も良好に見えるかを判定することでユーザーが見ている視点の画像を特定することができる。即ち、表示器中央からのズレＬｏが正の値なら、視点１か、視点２か、視点３の何れかであり、表示器中央からのズレＬｏが負の値なら、視点６か、視点５か、視点４の何れかかである。
The principle of designating the user's viewpoint from the recognized user's face position will be described with reference to FIG.
In general, in a three-dimensional display using the parallax of both eyes, the observer can most satisfactorily view a stereoscopic image at a position away from the display by a predetermined distance Lm. In other words, it can be estimated that the photographed user is photographed at a position away from the
When the user views the multi-viewpoint three-
画像指定部４０３は、図１３に示されるような推定されたユーザーの位置Ｐと、それぞれ表示されている３次元画像の視線が仮想のライン１２０１と交わる位置とを比較して、ユーザーの位置Ｐに近い視線を求める。これにより、画像指定部４０３は、その視点に対応する画像がユーザーの所望する３次元画像であると判定することができる。なお、距離Ｌ１は、視点３と、視点２とを識別する閾値であり、Ｌ２は、視点２と、視点１とを識別する閾値である。また、距離−Ｌ１は、視点４と、視点５とを識別する閾値であり、−Ｌ２は、視点５と、視点６とを識別する閾値である。これらは、それぞれ仮想のライン１２０１と、両視線とが交わる中間点の表示器３０の中央からの距離とすることができる。
The
図１４に戻って説明を続ける。
Ｓ１３１３で、画像指定部４０３は、上述した通りにユーザーの位置の表示器中央からのズレＬｏを求めて、処理をＳ１３１４に進める。
Ｓ１３１４で、画像指定部４０３は、Ｌｏの符号を判定する。画像指定部４０３は、符号が正であると判定した場合、処理をＳ１３１５に進め、符号が負であると判定した場合、処理をＳ１３２０に進める。
Ｓ１３１５で、画像指定部４０３は、Ｌｏ＞Ｌ２であると判定した場合、処理をＳ１３１９に進め、ユーザーの視点を視点１に指定する。一方、Ｓ１３１５で、画像指定部４０３は、Ｌｏ＞Ｌ２でなないと判定した場合、処理をＳ１３１６に進める。
Ｓ１３１６で、画像指定部４０３は、Ｌｏ＞Ｌ１であると判定した場合、処理をＳ１３１８に進め、ユーザーの視点を視点２に指定する。一方、Ｓ１３１６で、画像指定部４０３は、Ｌｏ＞Ｌ１でないと判定した場合、処理をＳ１３１７に進め、ユーザーの視点を３に指定する。
Returning to FIG. 14, the description will be continued.
In step S1313, the
In step S1314, the
If the
If the
Ｓ１３２０で、画像指定部４０３は、Ｌｏ＜−Ｌ２であると判定した場合、処理をＳ１３２４に進め、ユーザーの視点を視点６に指定する。一方、Ｓ１３２０で、画像指定部４０３は、Ｌｏ＜−Ｌ２でないと判定した場合、処理をＳ１３２１に進める。
Ｓ１３２１で、画像指定部４０３は、Ｌｏ＜−Ｌ１であると判定した場合、処理をＳ１３２３に進め、ユーザーの視点を視点４に指定する。一方、Ｓ１３２１で、画像指定部４０３は、Ｌｏ＜−Ｌ１でないと判定した場合、処理をＳ１３２２に進め、ユーザーの視点を視点５に指定する。なお、図１３で示す撮影画像１２００の例では、画像指定部４０３は、ユーザーの視点を視点２として指定する。
以上の処理により、図１２のＳ５１０の視点認識処理で、画像指定部４０３は、ユーザーが見ている３次元画像を視点２の３次元画像であると認識する。その後、画像指定部４０３は、Ｓ５０５で設定が左目用の２次元画像であれば、視点２の左目用画像を使って実施形態１で説明した場合と同様に、Ｎを２として以降の処理を行う。
If the
If the
With the above processing, in the viewpoint recognition processing in S510 of FIG. 12, the
以上、本実施形態によれば、実施形態１で説明した多視点３次元画像から視点を指定するためのユーザーの操作が不要となるため、操作性及び制御性においてより有利となる。
なお、図１２のＳ５００からＳ５０８までの一連の処理が多視点３次元画像に対しても繰り返し実行されれば、ユーザーは、より的確に画像オブジェクトを指し示すことができる。より具体的には、ユーザーは、表示される３次元画像をどの視点からでも３次元表示されるマーカーを見ながらタッチパネル４０等を操作してより的確に画像オブジェクトを指し示すことができる。
なお、本実施形態では、ユーザーの視点を識別するために、表示器２が有する撮像装置２０を用いたが、例えば表示器２が２組の撮像装置２０を有する場合、画像指定部４０３は、ユーザーまでの距離をより正確に識別することができる。そのため、画像指定部４０３は、より精度良くユーザーの視点を指定することができるようになる。また、ユーザーの視点を認識するための方法は、撮像装置を用いた上述の方法に限る必要はない。例えば、表示器２が２組の赤外線送受信装置を有し、表示器２からそれぞれユーザー方向に無指向性で赤外線を放射し、その反射光の強度からユーザーの位置を検出して視点を認識する方法を用いてもよい。また、ユーザーの視点を直接認識する方法や、表示器の位置と、ユーザーが発信するＧＰＳ等の位置情報（ＧＰＳ情報）との関係からユーザーの位置を検出して、視点を認識する方法等を用いるようにしてもよい。なお、上記の方法等により、ユーザーの位置情報を取得する処理は、位置情報取得処理の一例である。
As described above, according to the present embodiment, the user's operation for designating the viewpoint from the multi-viewpoint three-dimensional image described in the first embodiment is unnecessary, which is more advantageous in terms of operability and controllability.
If the series of processing from S500 to S508 in FIG. 12 is repeatedly performed on a multi-viewpoint three-dimensional image, the user can more accurately point to the image object. More specifically, the user can point the image object more accurately by operating the
In this embodiment, the
＜実施形態４＞
実施形態１では、画像指定部４０３の実施形態として、多視点３次元画像の中から画像オブジェクトを画像指定しやすい視点を図６Ａの視点選択ボタン６０１で指定する実施形態について説明した。本実施形態では、画像オブジェクトの３次元位置近傍にマーカーを表示して指し示すため、初期的に適当な既定の画像オブジェクトを差し示せば、以降はそのマーカーを移動させればユーザーが望む画像オブジェクトを指し示すことができる。これにより、実施形態１で説明したユーザーの視点選択操作が不要になる。以下、本実施形態について詳述する。
<Embodiment 4>
In the first embodiment, as an embodiment of the
図１５は、本実施形態における３次元画像上の指定オブジェクト近傍に３次元マーカーを描画する処理の一例を示すフローチャートである。
なお、図５で前述した処理と同じ処理については、同じ番号で記述している。また、図５で前述した処理と同じ処理については、説明を省略する。
Ｓ５１１で、画像指定部４０３は、画像オブジェクトを指定するための視点を予め決められた視点に初期設定する。ここでは、画像指定部４０３は、視点を、ユーザーの正面からの視点４に初期設定するものとする。更に、画像指定部４０３は、マーカーの位置を予め決められた位置（初期位置）に初期設定する。ここでは、画像指定部４０３は、マーカーの位置を画像４の画面の中央の位置に初期設定するものとする。なお、ユーザーは、既定の視点及びマーカー位置を予めＲＯＭ６０等に登録しておくことができる。
FIG. 15 is a flowchart illustrating an example of processing for drawing a three-dimensional marker in the vicinity of a specified object on a three-dimensional image in the present embodiment.
The same processes as those described above with reference to FIG. 5 are described with the same numbers. The description of the same processing as that described above with reference to FIG.
In step S511, the
Ｓ５１２で、画像指定部４０３は、Ｓ５００で多視点３次元表示した画像に対して、マウスやキーボード等の矢印キー或いはマウスパッド等の操作で、Ｓ５１１で初期設定したマーカー位置からの移動を含めてマーカー位置を検知する。なお、マウス等の操作部を介して受け付けたユーザーによる初期設定したマーカー位置からの移動操作は、ユーザーによる移動指示の一例である。
ここで、ユーザーの操作がなければ、視点４の画像４の中央の画像オブジェクトが、ユーザーが画像指定する画像オブジェクトになる。なお、前述したＳ５０４からＳ５０８までの一連のマーカー描画部４０４の処理により、再びＳ５００で３次元表示される画像中のマーカーは、視点４の中央部に見える画像オブジェクトを指し示している。したがって、もしこのマーカーが指し示す画像オブジェクトが所望するオブジェクトでなければ、ユーザーは、マウス等の操作でマーカーを移動させれば、画像指定部４０３がその移動を検知して、所望する画像オブジェクトを画像指定することができる。
In step S512, the
Here, if there is no user operation, the center image object of the image 4 of the viewpoint 4 becomes an image object designated by the user. Note that the marker in the image three-dimensionally displayed again in S500 points to the image object that can be seen in the center of the viewpoint 4 by the series of processing of the
以上、本実施形態によれば、ユーザーが視点を指定する操作や視点を認識する手段を用いることなく、所望する画像オブジェクトをマーカーで指し示すことが可能となるため、操作性及び制御性においてより有利となる。 As described above, according to the present embodiment, it is possible to point a desired image object with a marker without using an operation for specifying a viewpoint or a means for recognizing the viewpoint, which is more advantageous in terms of operability and controllability. It becomes.
＜実施形態５＞
実施形態１から実施形態４までは、視差分割方式としてレンチキュラーレンズ方式を用いた多視点３次元表示器を用いた場合の実施形態について説明した。しかしながら、３次元表示器３０は、レンチキュラーレンズを用いるものに限定されることなく他の３次元表示器を用いることも可能である。本実施形態では、パララックスバリア方式の３次元表示器を用いた場合の実施形態について説明する。
図１６は、本実施形態で用いるパララックスバリア方式の３次元表示器の表示原理の一例を示す図である。
例えば図１６に示すパララックスバリア方式の表示器３０は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮るための光学的なバリア１６０を有する。これにより、図１６に示すように、右目に対しては左目用画素がパララックスバリア１６０で光路遮光され、逆に左目に対しては右目用画素がパララックスバリア１６０で光路遮光される。その結果、右目と、左目とには、両目の視点で撮影された異なる視点の画像が見えるため、立体表示がなされる。
<Embodiment 5>
In the first to fourth embodiments, the embodiment in which a multi-viewpoint three-dimensional display using a lenticular lens method as a parallax division method is used has been described. However, the three-
FIG. 16 is a diagram showing an example of the display principle of the parallax barrier type three-dimensional display used in the present embodiment.
For example, the parallax
図１７を用いて、パララックスバリア方式の３次元表示器を使った実施形態について詳述する。
図１７は、パララックスバリア方式を用いた場合の表示の一例を示す図である。
図１７の液晶表示器３００は、それぞれ右目用表示画素１７０と、左目用表示画素１７１とを隣接対として有している。３次元表示器３０は、視点１から見た３次元画像を表示する場合、３次元画像情報１７２として、右目用画素位置に図３に示す画像２の２次元画像情報を、左目用画素位置に画像１の２次元画像情報を、それぞれ短冊状に分解して表示する。
ここで、多視点画像として図１７に示すように各視点の３次元画像情報を有する場合、画像指定部４０３は、先のレンチキュラーレンズ方式の場合と同様に、順次表示する３次元画像情報を切り替えて表示する。これにより、ユーザーは、所望する視点の画像を指定することができる。また、タッチ画像を指定する際に用いる２次元画像情報も、先の実施形態と同様に予め設定されたどちらかの目用の２次元画像情報を用いればよい。画像指定部４０３は、用いる３次元表示器の原理に応じて表示する２次元画像情報又は３次元画像情報を選択して３次元表示器で表示することができる。即ち、図５、図６Ａ、図６Ｂで説明した、視点を選択する際の各視点の３次元画像情報については、各視点用の３次元画像情報を直接用いればよい。
An embodiment using a parallax barrier type three-dimensional display will be described in detail with reference to FIG.
FIG. 17 is a diagram illustrating an example of display when the parallax barrier method is used.
The
Here, as shown in FIG. 17, as the multi-viewpoint image, the
以上、本実施形態におけるパララックスバリア方式の３次元表示器を用いた３次元表示器を用いれば、レンチキュラーレンズ方式を用いた場合よりも、より画素密度の高い表示が可能となり、より正確に画像を指定することができる。 As described above, if a three-dimensional display using the parallax barrier type three-dimensional display in the present embodiment is used, display with a higher pixel density is possible than when the lenticular lens method is used, and the image is more accurately displayed. Can be specified.
＜その他の実施形態＞
先の実施形態では、多視点３次元表示している画像オブジェクトに対する画像指定を、タッチパネル４０を用いて指定する場合の実施形態について説明した。だが、タッチパネル４０を用いて指定する形態に限る必要はなく、ユーザーは、マウスやタッチパッド５５或いはキーボード５０の複数のキーを用いても画面に表示した画像オブジェクトを指し示し、マーカー表示するようにしてもよい。なお、その場合、画像指定部４０３は、従来の公知の技術として開示されている通り、表示されているマーカーの位置に対する変化量が入力されたとして、その変化量に応じてマーカー位置を移動させることができる。また、画像指定した画像オブジェクトに対する一般的な制御や指示も同様に可能である。したがって、これらの入力手段を用いても同様に本実施形態の効果を得ることができる。
<Other embodiments>
In the previous embodiment, the embodiment in the case where the image designation for the image object displayed in the multi-viewpoint three-dimensional manner is designated using the
また、先の実施形態では、画像指定部４０３は、視点４の左右の目用の画像４と、画像５とから仮想平面図を作成した。しかし、画像指定部４０３は、画像が多視点３次元画像の場合、隣り合う２種の画像に限定されず、より離れた角度の他の画像、例えば画像４と、画像７とから仮想平面図を作成してもよい。これにより、画像指定部４０３は、指し示す画像オブジェクトに限らず、周辺の他の画像オブジェクトを含む、より広い範囲の画像に対して仮想平面図を作成することができる。
なお、先の実施形態では、多視点３次元画像として７方向からカメラで撮影した被写体の一部を画像オブジェクトとして説明したが、コンピュータグラフィックス等で作成された多視点３次元画像であっても同様に実施することができる。また、画像オブジェクトが３次元空間に表示された機能タブやアイコンを含むようにしてもよい。
In the previous embodiment, the
In the previous embodiment, a part of a subject photographed by a camera from seven directions as a multi-viewpoint three-dimensional image has been described as an image object. However, a multi-viewpoint three-dimensional image created by computer graphics or the like may be used. It can be implemented similarly. The image object may include function tabs and icons displayed in the three-dimensional space.
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 Moreover, this embodiment is implement | achieved also by performing the following processes. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
以上、上述した各実施形態によれば、３次元画像と、マーカーとの重なりを検出する手段を要さずに、所望の３次元画像の手前に常にマーカーを表示することができる。 As described above, according to each embodiment described above, a marker can always be displayed in front of a desired three-dimensional image without requiring a means for detecting an overlap between the three-dimensional image and the marker.
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiment of the present invention has been described in detail above, but the present embodiment is not limited to the specific embodiment, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.
Claims (11)
前記取得手段により取得された３次元画像情報に基づいて３次元画像を表示する表示手段と、
操作部を介して受け付けたユーザーの指示に基づいて、前記表示手段により表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定手段と、
前記指定手段により指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、
を有する画像処理装置。 Acquisition means for acquiring three-dimensional image information;
Display means for displaying a three-dimensional image based on the three-dimensional image information acquired by the acquisition means;
Designation means for designating a marker position indicating a part of the three-dimensional image displayed by the display means based on a user instruction received via the operation unit;
Drawing means for drawing a marker displayed three-dimensionally in front of the three-dimensional image in a predetermined range with respect to the marker position designated by the designation means;
An image processing apparatus.
前記指定手段は、前記位置情報取得手段により取得された前記ユーザー位置情報と、３次元表示器の表示器位置情報とに基づいて指定した視点の３次元画像の一部を指し示すマーカー位置を指定する請求項１に記載の画像処理装置 It further has position information acquisition means for acquiring user position information indicating the position of the user,
The designation unit designates a marker position that indicates a part of a three-dimensional image of the designated viewpoint based on the user position information acquired by the position information acquisition unit and the display unit position information of the three-dimensional display. The image processing apparatus according to claim 1.
３次元画像情報を取得する取得ステップと、
前記取得ステップにより取得された３次元画像情報に基づいて３次元画像を表示する表示ステップと、
操作部を介して受け付けたユーザーの指示に基づいて、前記表示ステップにより表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定ステップと、
前記指定ステップにより指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画ステップと、
を含む画像処理方法。 An image processing method executed by an image processing apparatus,
An acquisition step of acquiring three-dimensional image information;
A display step of displaying a three-dimensional image based on the three-dimensional image information acquired by the acquisition step;
A designation step for designating a marker position indicating a part of the three-dimensional image displayed by the display step based on a user instruction received via the operation unit;
A drawing step of drawing a marker displayed three-dimensionally in front of the three-dimensional image in a predetermined range with respect to the marker position specified by the specifying step;
An image processing method including:
３次元画像情報を取得する取得ステップと、
前記取得ステップにより取得された３次元画像情報に基づいて３次元画像を表示する表示ステップと、
操作部を介して受け付けたユーザーの指示に基づいて、前記表示ステップにより表示された前記３次元画像の一部を指し示すマーカー位置を指定する指定ステップと、
前記指定ステップにより指定された前記マーカー位置に対する予め定められた範囲に、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画ステップと、
を実行させるためのプログラム。 On the computer,
An acquisition step of acquiring three-dimensional image information;
A display step of displaying a three-dimensional image based on the three-dimensional image information acquired by the acquisition step;
A designation step for designating a marker position indicating a part of the three-dimensional image displayed by the display step based on a user instruction received via the operation unit;
A drawing step of drawing a marker displayed three-dimensionally in front of the three-dimensional image in a predetermined range with respect to the marker position specified by the specifying step;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012286197A JP2014128022A (en) | 2012-12-27 | 2012-12-27 | Image processing apparatus, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012286197A JP2014128022A (en) | 2012-12-27 | 2012-12-27 | Image processing apparatus, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014128022A true JP2014128022A (en) | 2014-07-07 |
Family
ID=51407159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012286197A Pending JP2014128022A (en) | 2012-12-27 | 2012-12-27 | Image processing apparatus, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014128022A (en) |
-
2012
- 2012-12-27 JP JP2012286197A patent/JP2014128022A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5830987B2 (en) | Display control apparatus, display control method, and computer program | |
| JP6508280B2 (en) | Control device, detection device, display system, electronic device, and program | |
| Livingston et al. | Pursuit of “X-ray vision” for augmented reality | |
| JP5167439B1 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
| US9979946B2 (en) | I/O device, I/O program, and I/O method | |
| JP2011035592A (en) | Display control program and information processing system | |
| JP2012256110A (en) | Information processing apparatus, information processing method, and program | |
| JP2015143976A (en) | Information processing device, method for controlling the same, and program | |
| JP2013017146A (en) | Display controller, display control method and program | |
| CN102508548A (en) | Operation method and system for electronic information equipment | |
| CN104134235A (en) | Real space and virtual space fusion method and real space and virtual space fusion system | |
| JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
| US20150381970A1 (en) | Input/output device, input/output program, and input/output method | |
| JP2022058753A (en) | Information processing apparatus, information processing method, and program | |
| JP2013168120A (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and program | |
| JP2015037282A (en) | Image processing device, image processing method, and program | |
| CN104850383A (en) | Information processing method and electronic equipment | |
| JP2014128022A (en) | Image processing apparatus, image processing method and program | |
| EP3121792B1 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
| US9218104B2 (en) | Image processing device, image processing method, and computer program product | |
| JP2008098861A (en) | Image processing apparatus, program, and recording medium | |
| JP2013250757A (en) | Image processing device, image processing method, and program | |
| JP2014142568A (en) | Image processing apparatus, image processing method, and program | |
| JP7040660B1 (en) | Information processing equipment and information processing method | |
| JP5520772B2 (en) | Stereoscopic image display system and display method |